Méta-analyses et ECR

Les méta-analyses sont des synthèse quantitatives d’études primaires sélectionnées selon des critères précisément définis.
Les études primaires sont des études par comparaison de groupes : soit des essais contrôlés randomisés (ECR) quand les élèves sont répartis aléatoirement entre les groupes intervention et contrôle, soit des études quasi-expérimentales quand ce n’est pas le cas.

Vous trouverez sur cette page des analyses (fichiers pdf rédigés par l’auteur du site) sur les méthodes, les résultats et les conclusions d’ECR et de méta-analyses portant la plupart du temps sur l’enseignement des mathématiques. Ces études ont été conduites par des organisations anglo-saxonnes et internationales : Education Endowment Foundation au Royaume -Uni, le What Works Clearinghouse et le Center for research and reform in education aux Etats-Unis, et la collaboration internationale Campbell.

Certaines revues en langue anglaise constituent également une bonne source d’informations.

Organisme britannique qui réalise des ECR de grande ampleur et publie des synthèses et des recommandations.Organisme américain qui réalise des méta-analyses et publie des documents cadrant leurs réalisation.Organisme américain qui réalise des best evidence synthesis (méta-analyses de haute qualité)Collaboration internationale qui réalise et publie des méta-analyses.

Méta-analyses comme ECR font appel à des calculs statistiques dont une présentation est également proposée sur ce site.

Education Endowment Foundation (EEF)

Trois analyses sont proposées ici qui rendent compte de la large gamme d’actions réalisées par EEF.

La traduction française de Improving Mathematics in key stage two and three, à destination des praticiens et intitulée Favoriser un enseignement efficace des mathématiques à l’école primaire et au collège. Guide d’orientation, est également disponible (ainsi qu’un guide d’auto-évaluation).

Education Endowment Foundation : l’enseignement fondé sur des preuves au Royaume-UniComment améliorer le niveau des élèves en mathématiques ? La réponse de EEF.Les essais contrôlés randomisés au Royaume-Uni : évaluer les interventions efficaces pour favoriser l’apprentissage des mathématiquesAnalyse des essais contrôlés randomisés (ECR) multi-niveaux d’Education Endowment Foundation au Royaume Uni
Ce document propose une analyse globale des textes publiés par Education Endowment Foundation (EEF) sur son site internet. Dans un premier temps, les synthèses réalisées par EEF à partir d’études publiées ces 40 dernières années sont présentées : les méthodes mises en œuvre par les méta-analyses rassemblées sous la bannière du Toolkit (« boite à outils ») sont explicitées et certains de leurs résultats sont proposés. Puis les documents experts comme les examens de synthèses (à destination des chercheurs) et les rapports d’orientation (à destination des enseignants) sont analysés. Dans un deuxième temps, les expériences conduites par EEF sur le territoire britannique dans le but d’évaluer l’effet de certaines interventions sur les apprentissages des élèves sont passées en revue : leur procédures sont expliquées et une présentation générale de leurs résultats est proposée. Un troisième chapitre est consacré aux conclusions que l’on peut tirer de l’ensemble de ces études en ce qui concerne l’enseignement et l’apprentissage des mathématiques. Enfin, un bilan global et quelques commentaires sur les procédures mais aussi les missions que s’est fixé Education Endowment Foundation sont esquissés.Dans un premier temps, le cadre de cet examen des preuves est détaillé à partir des éléments (explicites ou non) fournit par les auteurs. Dans un second temps, les méta-analyses qui ont été (ou non) exploitées par les auteurs, les 24 questions de recherche posées dans cet examen des preuves et les réponses apportées aux 10 questions de recherche a priori les mieux documentées sont analysées. Le manque de clarté de cette synthèse est alors discuté au regard de ses résultats et de l’absence de procédures qui devraient encadrer une analyse de ce type.Depuis sa création en 2011, Education Endowment Foudation (EEF) a réalisé une centaine d’essais contrôlés randomisés (ECR) dans les établissements scolaires britanniques. Il s’agit pour cette fondation d’évaluer de façon scientifique l’impact d’interventions ciblées sur les apprentissages des élèves et de permettre aux acteurs en charge de l’enseignement de définir les actions à mettre en œuvre afin d’élever le niveau scolaire. Les évaluations de l’impact d’une intervention d’une part et de sa mise en œuvre d’autre part, sont encadrées par des procédures clairement définies par EEF et s’appuient sur le cadre plus vaste des études par comparaison de groupes. Leurs études d’efficacité en conditions réelles montrent que les élèves ont progressé en mathématiques au mieux de 3 mois (ce qui correspond à une taille d’effet égale à 0,26). Enfin, d’après les conclusions d’une méta-analyse conduite sur 48 résultats en mathématiques, les élèves de milieux socio-économiques défavorisés n’ont pas plus profité de ces interventions que les autres élèves. L’intérêt porté à ce type d’analyse par le Conseil Scientifique de l’Education Nationale (CSEN) souligne que ce pan de la recherche est probablement amené à prendre de l’importance en France dans le domaine des Sciences de l’Education.Les méthodes statistiques utilisées pour calculer les résultats de 11 essais contrôlés randomisés conduits (ECR) par Education Endowment Foundation (EEF) en Grande-Bretagne sont analysées. Les modèles mathématiques et les données publiées ont dans un premier temps été identifiés. Devant l’absence d’informations pour plusieurs de ces études, des hypothèses de calculs ont été émises qui ont permis de recalculer les tailles d’effet. Il a alors été montré que certaines préconisations publiées par les documents cadre d’EEF n’ont pas été suivies. Des pistes sont proposées pour améliorer la qualité des comptes-rendus de ce type d’études.

Un fichier Excel est disponible

What Works Clearinghouse (WWC)

Depuis 2004, le What Works Clearinghouse (WWC) réalise des méta-analyses sur les enseignements disciplinaires mais aussi sur l’attitude des élèves face à l’école, la formation des enseignants et les élèves à profil particulier. L’analyse des méthodes et des résultats des méta-analyses portant sur l’enseignement des mathématiques au secondaire est proposée dans Comment améliorer le niveau des élèves en mathématiques ? La réponse du WWC. La traduction du Guide des pratiques Assisting Students Struggling with Mathematics: Intervention in the Elementary Grades est également disponible.

Comment améliorer le niveau des élèves en mathématiques ? La réponse du WWC

Dans une première partie il s’agira de comprendre comment procède le WWC pour examiner les études scientifiques quantitatives portant sur des questions relatives à l’enseignement ; l’objectif ici sera de donner du sens aux résultats publiés dans leurs synthèses. Dans un second temps, nous ferons le point sur leurs conclusions les plus fiables concernant plus particulièrement l’enseignement des mathématiques dans le secondaire, avant de conclure dans une troisième partie en pointant les qualités et les défauts de cette approche scientifique fondée sur les règles de l’evidence based education si souvent décriée en France.

Les ressources

  • Comment enseigner les maths ? la réponse du WWC . Fichier pdf de 85 pages (format A5)
  • Les publications du What Works Clearinghouse (WWC) sont mis à la disposition des particuliers et sont tous téléchargeables sur leur site Find What Works. On peut distinguer quatre catégories principales :
    • Les documents de références qui expliquent la démarche du WWC. Ce sont principalement les WWC Procedures et Standards Handbook (publiés séparément ou en un seul volume selon les versions). Vous trouverez ici des traductions partielles du Manuel des procédures (4.0) du Manuel des normes (4.0) publiés en 2017, du premier chapitre (une présentation générale) du Manuel des Procédures et des Normes (5.0) publié en 2022 et des annexes qui détaillent les calculs statistiques de la version 5.0.
    • Les Rapports d’intervention qui publient les résultats des méta-analyses menées par le WWC. Aucune préconisation n’est proposée. A titre d’exemple, vous pouvez télécharger ici le Rapport sur l’intervention Odyssey Maths.
    • Les Guides des Pratiques, qui s’appuient sur des synthèses de revues mais qui tiennent aussi compte de l’avis des experts en émettant des préconisations. A titre d’exemple, vous pouvez télécharger ici le Guide des Pratiques Assisting students struggling with matematics : intervention in the elementary grades (voir aussi ci-dessous la comparaison entre cette synthèse et la synthèse de Campbell portant sur la même question). Une traduction de ce guide est également téléchargeable ici et a été publiée par l’Harmattan.
    • Les fichiers csv qui regroupent les données du WWC et qui permettent d’exploiter leurs données dans un tableur.
  • La traduction de Assisting Students Struggling with Mathematics: Intervention in the Elementary Grades à destination des enseignants est téléchargeable ici.

Center for Research and Reform in Education

Le Center for Research and Reform in Education, dirigé par Robert SLAVIN jusqu’à sa mort en 2021, a réalisé plusieurs synthèses. Ces synthèses peuvent être réparties en deux groupes :

  • Le premier groupe est constitué de travaux s’intéressant à l’enseignement de la lecture, de la rédaction, des sciences, des mathématiques, aussi bien à l’école primaire qu’au collège ou au lycée.
  • Un second groupe rassemble des méta-analyses qui ont comme objectif de définir des critères de qualité pour ce type de synthèses en Sciences de l’éducation.

Pour l’essentiel, nous nous intéressons ici à la méta-analyse qui porte sur l’apprentissage des mathématiques par les élèves du secondaire (SLAVIN, 2009). Les méthodes et résultats ont été analysées dans Comment enseigner les maths ? La réponse du Center for Research and Reform in Education publié en juin 2011 (34 pages).

Comment enseigner les maths ? La réponse du Center for Research and Reform in Education

La synthèse de SLAVIN poursuivait un double objectif :

  • Le premier est de repérer les interventions susceptibles de favoriser l’apprentissage des mathématiques par les élèves du secondaire.
  • Le second est de caractériser ces interventions en identifiant certains de leurs éléments les plus remarquables.

Dans la première partie de l’analyse, la méthode mise en œuvre pour la réalisation de cette méta-analyse est décrite. C’est l’occasion alors de revenir sur certains des fondements qui structurent ce type de synthèses quantitatives. La présentation des résultats constitue la seconde partie, où une attention plus particulière sera accordée aux éléments concernant l’apprentissage coopératif, clairement mis en avant par Robert SLAVIN. Les sept études primaires s’intéressant à cette pratique pédagogique qui ont été sélectionnées par Robert SALVIN sont analysées et ses conclusions sont discutées. La troisième partie s’appuie sur cette analyse pour alimenter une discussion sur les points saillants de cette synthèse, et certains éléments associés à la qualité des méta-analyse menées dans le domaine des sciences de l’éducation sont proposés.

Les lecteurs souhaitant comprendre comment les résultats présentés dans les différents tableaux des parties 2 et 3 ont été calculés, sont invités à consulter les fichiers Excel. Un formulaire propose les formules mathématiques utilisées. Une présentation des outils statistiques mis en œuvre dans les méta-analyses en éducation est également disponible sur ce site.

Les ressources

Comparaison de deux méta-analyses : WWC et Campbell

Les méthodes et certains résultats de deux méta-analyses conduites par Campbell et par le What Works Clearinghouse (WWC) ont été comparés et publiés en 2021 dans Comment aider les élèves en difficulté en mathématiques ? Les réponses de Campbell et du What Works Clearinghouse (WWC) (28 pages). Elles concernaient toutes les deux l’apprentissage des mathématiques pour les élèves en difficulté.

Comment aider les élèves en difficulté en mathématiques ? Les réponses de Campbell et du What Works Clearinghouse (WWC)

La sélection, le codage et les calculs des tailles d’effet des études primaires concernées par deux méta-analyses réalisées par Campbell et par le What Works Clearinghouse (WWC) ont été comparés. Publiées toutes les deux au début de l’année 2021, ces synthèses posent une même question : définir les interventions efficaces en direction des élèves en difficulté en mathématiques et scolarisés en primaire. Dix-neuf études communes ont été recensées. Presque toutes sont caractérisées comme associées à un enseignement en petits groupes par Campbell et à un enseignement explicite par le WWC. L’apprentissage soutenu par les pairs présenté par Campbell comme ayant un impact global positif important semble peu concerner les mathématiques dans cette synthèse, et ne figure pas parmi les recommandations proposées par le WWC.

Des fichiers Excel sont téléchargeables qui détaillent tous ces calculs (voir ci-dessous).

Les ressources

Autres ressources

La revue Review of Educational Research (RER) publie des revues critiques et intégratives de la littérature de recherche portant sur l’éducation, y compris des conceptualisations, des interprétations et des synthèses de la littérature et des travaux universitaires dans un domaine largement pertinent pour l’éducation et la recherche pédagogique.

AERA Open est une revue à comité de lecture et en libre accès publiée par l’American Educational Research Association (AERA). AERA Open vise à faire progresser les connaissances liées à l’éducation et à l’apprentissage grâce à des études empiriques et théoriques rigoureuses, menées dans un large éventail de disciplines académiques. AERA Open publie des études sur l’éducation et l’apprentissage dans divers contextes, tels que l’enseignement de la petite enfance, parascolaire, primaire et secondaire et postsecondaire.