Blog

Par Aïcha SIDI & Pierre VARLY

Introduction

Le programme PISA suscite de nombreux articles dans la presse, analyses secondaires et papiers scientifiques. Comme nous y encourage cet article, intéressons nous aux facteurs contextuels qui peuvent expliquer les résultats des différents pays. Au départ un projet conçu pour les pays de l’OCDE (économies développées), le programme PISA s’est étendu à des pays en développement à travers les programmes PISA+ et PISA for development.

Si le cadre d’analyse des politiques éducatives mesuré par PISA est bien défini et explique une partie des résultats des élèves, peut-il être répliqué dans les pays en développement ? A la suite du travail réalisé par la société Varlyproject sur la modélisation des différences de taux d’achèvement du primaire (et résultats à des tests), le cadre d’analyse PISA a été quelque peu complété par l’introduction d’indicateurs socio-économiques. Voir Outils de benchmarking pour la scolarisation primaire universelle

Les variables macro utilisées dans le programme PISA sont renseignées à travers une collecte de données sur le fonctionnement des systèmes éducatifs et à partir des questionnaires adressés aux chefs d’établissement et se focalisent sur la centralisation (processus de décision), l’autonomie et les types d’évaluation en particulier. Le but de l’OCDE est de faire ressortir les bonnes pratiques en termes de politiques éducatives. Le revenu par habitant, les taux de scolarisation et quelques autres indicateurs complètent ce cadre d’analyse qui est décrit ici.

Des  effets différents des variables mesurées par PISA selon les pays

Certains auteurs ont appliqué ce cadre d’analyse en distinguant des groupes de pays. L’étude d’Hanushek , Link, et Woessmann (2013) est basée sur des données en panel de 2000 à 2009 concerne 42 pays classés selon leur revenu. L’indice d’autonomie scolaire a été calculé en mesurant la capacité de décision des chefs d’établissement dans différents domaines. L’augmentation de l’autonomie des écoles, en particulier dans la décision concernant le contenu académique, a un impact négatif sur les acquis scolaires dans les pays à faible revenu. Mais, dans les pays à revenus élevés, une plus grande autonomie sur le contenu académique, personnel et budgétaire a un impact positif sur la réussite des élèves.

Hanushek et Ludger (2005) ont trouvé que le regroupement précoce par niveau (au primaire) augmente les inégalités dans l’éducation (au secondaire). Globalement les pays où les inégalités scolaires sont élevées peinent à améliorer les résultats des élèves. Ainsi, Jens Henrik Haahr & al (2005) recommandent de regrouper les élèves de niveaux moyens avec les élèves de niveau plus faible, afin de réduire les inégalités scolaires.

La variété des situations socioéconomiques

65 pays ont participé aux enquêtes PISA 2009-2012. Comme le clame, l’OCDE 80% de l’économie mondiale est couverte mais des continents entiers et des pays à large population ne participent que partiellement comme l’Inde (quelques Etats) et la Chine (Shangaï). Seules l’Ile Maurice et la Tunisie participent sur le continent africain et l’océan indien. Ainsi, en termes de population couverte l’enquête de l’OCDE ne donne qu’une vision restreinte des compétences des jeunes de 15 ans.

Carte des pays participant aux enquêtes PISA

Source : Auteurs et Daniel Dalet pour le fond de carte

Malgré ces limites, les pays participant sont très divers tant sur le plan géographique, culturel que sur le plan de l’organisation du système éducatif, avec un niveau économique relativement proche.

Lors des travaux similaires que nous avions réalisé sur l’enseignement primaire qui se focalisaient sur les pays à bas et moyen revenus (en gros tous les pays en gris sur la carte), nous avions pu mettre en évidence que les pays fortement centralisés et ayant fait partie du bloc soviétique avaient atteint la scolarisation universelle et avaient donc sur ce point de meilleures performances que les autres. Comparés à des pays aux économies développées et en prenant comme variable d’étude cette fois la qualité des acquis de l’enseignement secondaire, qu’en est-il ?

Justification du choix des variables et construction d’un jeu de données

Pour pouvoir caractériser la situation des différents pays, en partant de la littérature, mais également sur la base d’une réflexion propre, nous avons constitué une base d’indicateurs contextuels. Les données ont été calculées en moyenne sur cinq ans afin de caractériser la situation des enfants sur la tranche d’âge 11-15 ans, de la sortie de l’enseignement primaire à l’âge du test PISA. Pour certains indicateurs tels que le taux de fécondité et le taux de chômage nous avons choisi la tranche d’âge 15-19 ans (perspectives des jeunes).

Nous avons pris en compte les facteurs contextuels qui ont un impact non négligeable sur l’éducation selon SIDI (2012). Nous y avons ajouté le taux de fertilité des adolescents qui est le nombre de naissances pour mille jeunes filles âgées de 15 à 19 ans. Cet indicateur peut être un facteur d’abandon scolaire mais également le signe d’un manque d’accès aux services de planning familiaux et d’avortement, de mariage précoce et plus généralement est liée au statut de la femme. De nombreuses études ont montré un lien entre qualité de l’éducation et comportement des femmes en terme de naissances.

Le fait de parler la langue d’enseignement -et donc du test- à la maison est un des facteurs clés pouvant expliquer les différences de résultats. Si l’enquête PISA collecte cette information, cela ne concerne que les enfants à l’école. Cette information peut être obtenue par les recensements et enquêtes ménage sur l’ensemble de la population, mais il n’existe pas de statistiques internationales comparables. Nous avons donc opté pour un proxy, la diversité linguistique mesurée par la Société Internationale de Linguistique (Sil).

Les analyses ont été menées sur les données PISA 2009 et variables contextuelles 2005-2009 et sur les données PISA 2012 et variables 2008-2012. Les deux analyses ayant donné des résultats très proches seuls ceux de 2012 sont présentés. Toutes les variables ont un taux de réponse supérieur à 70%. Le taux de femmes enseignantes, la taille de classe, le taux de redoublement et la proportion de dépenses dans l’éducation ont un taux de réponse de moins de 80%. Les imputations des valeurs manquantes ont été faites par la moyenne en distinguant les pays OCDE des autres.

Les pays d’Europe Centrale et d’Asie Centrale membres de l’OCDE ont été ajoutés au groupe des pays dits industrialisés, les autres inclus dans une région appelée CIES. Pour le reste, la classification est essentiellement basée sur la position géographique.

Eléments de comparaison

En dehors de la situation du revenu par habitant, les pays industrialisés se singularisent par la relative forte proportion d’élèves dans l’enseignement technique et la part de la population ayant accès à Internet. Les pays Arabes par la faible part d’enseignement technique, la part élevée de l’enseignement privé et une plus forte croissance démographique. L’Asie par un ratio élèves par enseignant plus élevé, un plus haut niveau de dépenses dans l’éducation et une plus grande propension à grouper les élèves par niveau (ability grouping). Les pays d’Europe et d’Asie Centrale par une plus grande proportion de femmes enseignants (fortement corrélé avec le taux de scolarisation du primaire), de moindres taux de redoublement, une faible proportion d’enseignement privé, pas de croissance démographique, des taux de chômage des jeunes (15-19 ans) plus élevés et une faible décentralisation du processus de recrutement des enseignants. Enfin, l’Amérique Latine se caractérise par une faible diversité linguistique, des indicateurs de fécondité des femmes de 15-19 ans élevés et par une moindre publication des résultats d’évaluations.

Les liens vers les données brutes, définition des indicateurs et documents de référence pour les indicateurs PISA sont fournis dans le tableau ci-dessous.

Caractéristiques des régions* avec min et max en gras calculées sur la période 2008-2012 pour les pays participant à PISA et PISA +

* L’Afrique subsaharienne ne comptant que l’Ile Maurice n’est pas présentée.

L’examen des  corrélations entre différentes variables et le score PISA (en maths) montre que les deux variables les plus corrélées avec le score sont : l’accès à Internet (0,71) et le taux de fertilité des femmes 15-19 ans (-0,66) loin devant le revenu par habitant (0,50). Pour le reste et sans rentrer dans les détails, beaucoup de variables sont corrélées entre elles, ce qui suppose l’usage de techniques adaptées pour la modélisation. Ainsi, l’accès à Internet est fortement lié au revenu par habitant. On notera que les variables de politiques éducatives PISA sont relativement peu corrélées avec les variables socioéconomiques. De plus, la corrélation n’est pas synonyme de causalité. En outre, le revenu par habitant (comme d’autres variables) est à la fois le résultat et la cause de la qualité de l’éducation.

Représentation des variables

Pour pouvoir interpréter plus facilement les effets des différentes variables, celles-ci sont regroupées en facteurs, grâce à une analyse en composantes principales (ACP). L’ACP groupe les variables en deux axes : un axe horizontal reflétant le niveau de développement et la qualité de l’éducation et un second axe (vertical) lié  aux conditions démographiques, au niveau de dépenses en éducation et certains paramètres de politiques éducatives comme la part du privé. Ainsi les variables PISA se répartissent le long de cet axe vertical. Ce plan représente à 44.9% de l’inertie totale, les variables PISA étant considéré comme des variables supplémentaires.

Dix pays n’ont pas participés à PISA 2012. Pour les représenter dans le premier plan factoriel, nous avons donc juste tenu compte de leur coordonnées dans le premier plan factoriel sur toutes les autres variables, à l’exception du score PISA. Notons également que les différentes ACP réalisées (sans le score, sans le taux de fertilité, sans les variables PISA) ne modifient pas radicalement la position des variables et des pays. Sur le graphique  qui représente les variables, comme attendu, le taux de fécondité est opposé à la qualité de l’éducation appréhendée par le score PISA en maths.

Représentation des variables dans le premier plan principal

Représentation des pays

L’ACP permet aussi de représenter les pays dans le plan constitué par les variables. De manière très nette, les pays d’une même zone tendent à se regrouper.

Par exemple, au sein de la région CIES, les pays d’Asie Centrale (en bas à gauche) se distinguent des pays d’Europe Centrale (en bas à droite). Pour l’analyse des données de cette région, nous renvoyons à cette publication de l’UNICEF. Le Vietnam de son part son héritage politique est proche des pays d’Asie Centrale, ce qui tient en partie au faible développement de l’enseignement privé.

Les pays d’Amérique Centrale et des Caraïbes se regroupent à gauche tandis que les pays industrialisés se retrouvent à droite. Les situations des pays Arabes et d’Asie sont très hétérogènes. Les pays d’Asie Centrale occupent une position opposée à celle des pays industrialisés, à savoir une plus faible qualité de l’éducation et niveau de développement et des variables démographiques et éducatives inverses. Dans ce cas, il faut s’interroger sur la pertinence de vouloir répliquer les politiques éducatives du Nord dans ces pays vu les différences importantes de contexte sociodémographique. A tout le moins, cela donne des indications sur certaines orientations politiques permettant d’obtenir de meilleurs résultats scolaires, quitte à prendre les pays industrialisés comme modèles.

Quantifier l’effet des variables contextuelles

Dans l’optique de distinguer l’effet des variables de politique éducative de celui des facteurs contextuels nous allons utiliser la régression PLS. Plutôt que de considérer l’effet individuel d’une variable sur le score PISA et d’en déduire une mesure de politique immédiate, nous préférons considérer que les variables sont la manifestation d’un comportement ou d’un trait latent qui ne peut pas être forcément défini explicitement à partir de l’indicateur. Par exemple, plutôt que de considérer que de donner plus de latitude aux régions ou aux écoles pour recruter des enseignants va mécaniquement augmenter le score PISA, nous considérons que le fait de donner plus d’autonomie est une variable manifeste de la capacité d’un Etat à décentraliser l’éducation, à mener à bien des réformes et à gouverner. Mais dans la plupart des études PISA, ce raisonnement en variables manifestes et comportements latents est relativement marginal et les résultats trop directement interprétés en termes de politiques éducatives.

Ainsi, lorsqu’on indique que le taux de fécondité est opposé à la qualité de l’éducation, on ne dit pas que réduire ce taux va augmenter le score. On l’interprète avantage en disant que cela reflète le statut de la femme et les opportunités/difficultés des jeunes filles qui peuvent avoir un lien avec la qualité de l’éducation. D’ailleurs, la proportion de femmes enseignantes est également un indicateur de statut de la femme très corrélé aux taux d’achèvement du primaire dans les pays en développement.

Ainsi, avant de tirer des conclusions parfois hâtives sur la conduite à tenir, modélisons les variables par bloc de facteurs. Les variables sont regroupés par bloc caractérisant un comportement ou un thème particulier. La terminologie propre à PISA (school ressources, school selection et PISA indicators) a été conservé telle quelle.

Variables ayant un effet sur le score PISA

La part de variance expliquée (R²) est de 0,79, avec le seul GDP le R² vaut 0,25. Notre modèle explique bien la variance des scores de math. Les variables significatives sont présentées dans le tableau ci-dessous.

Schéma d’analyse des données macro PISA (régression des moindres carrés partielles)

Le graphique suivant indique la contribution à l’explication de la variance de chacun des blocs de variables.

Le revenu par habitant (GDP) est prépondérant. Globalement, les variables du cadre d’analyse PISA existant contribuent fortement à l’explication de la variance tandis que les variables démographiques et de développement contribuent peu. Lorsque l’on introduit les facteurs socio économiques, les variables du cadre d’analyse PISA restent significatives. La part de l’enseignement technique, de l’enseignement privé, le pourcentage de femmes enseignantes, le ratio élèves enseignant et le taux de redoublement le sont également. D’autres variables explicatives peuvent être envisagées comme la consommation de drogue et d’alcool chez les adolescents, mesurée dans plus de 40 pays européens, voir ici.

Conclusion

Plusieurs analyses secondaires menées par des économistes ont montré un certain danger à vouloir répliquer les mesures de politique induites par les résultats PISA dans les pays en développement. En effet, les effets des variables différentes selon les groupes de revenu. Si le programme PISA devait se développer dans les pays à bas revenus et en Afrique (comme TIMSS et PIRLS qui peinent à le faire), davantage d’attention devrait être apportée à la variété linguistique, à la situation de la femme mais également à la capacité des Etats à mener des réformes dans l’éducation avant d’interpréter les scores. La problématique de la décentralisation et de l’autonomie des établissements n’est pas la même en Finlande qu’au Cameroun où l’on parle 280 langues. Une meilleure prise en compte des contextes permettrait déjà de mieux faire accepter les résultats des enquêtes par les autorités politiques.

Les résultats de nos analyses ne remettent pas en cause les cadres d’analyse utilisés jusque là. Elles permettent d’établir de manière relativement nette des comportements homogènes au sein des régions. Ainsi, les pays d’Asie Centrale et d’Europe de l’Est (CIES) se sont penchés sur la question de la qualité de l’éducation au sein d’instances politiques régionales, sous l’impulsion de l’UNICEF.

Bien que le caractère scientifique des études PISA ne saurait être remis en cause, la stratégie de communication qui consiste principalement à produire des classements parfois brutaux, se doit d’être sensiblement revue si le programme veut s’étendre aux pays en développement. Si le leadership technique de l’OCDE, avec son armée d’experts et de statisticiens, a été très utile dans le développement de l’évaluation des acquis scolaires, sa capacité à coopérer avec les pays en développement semble limitée. Sur un plan politique, d’autres organisations se doivent de prendre le relais. Le récent rapport de suivi de l’UNESCO qui traite de la question des acquis des apprentissages reste encore trop focalisé sur un cadre d’analyse très classique insistant sur la formation des enseignants par exemple. Les questions de gestion de l’éducation et la possibilité que la faible qualité de l’éducation soit une politique délibérée de maintien des populations dans l’ignorance et la pauvreté doivent être mieux traitées.

Pour aller plus loin:

Nous vous suggérons la lecture de l’ouvrage suivant paru en 2013:  PISA, Power, and Policy the emergence of global educational governance, Edited by HEINZ-DIETER MEYER & AARON BENAVOT, Oxford Studies in Comparative education. Notamment le papierde Marlaine Lockheed. Causes and Consequences of International Assessments in Developing Countries