Pour comprendre les calculs qui aboutissent aux résultats publiés dans les méta-analyse
| Trois documents rédigés par l’auteure du site Mathadoc | Traductions des Procedures and Standards Handbook du WWC | Ressources complémentaires sur internet. |
Les documents Mathadoc
| Mesurer l’effet d’un traitement. Les méta-analyses en sciences de l’éducation. Comment calculer une taille d’effet, une erreur type et un intervalle de confiance. Première approche de l’hétérogénéité des tailles d’effet. | 131 pages + 38 pages d’annexes + 12 fichiers Excel (voir ci-dessous) | Pour les débutants |
| Introduction au calcul de la taille d’effet globale d’une intervention dans les méta-analyses en Sciences de l’éducation Publié dans la revue Mesure et évaluation en éducation. Il propose une description rapide des méthodes de calculs des tailles d’effet selon le modèle de l’effet fixe et le modèle des effets aléatoires. | 30 pages avec un exemple numérique + 1 fichier Excel | Pour ceux qui connaissent les tests d’hypothèses |
| La régression linéaire multiple dans les études par comparaison de groupes en milieu scolaire Cette méthode d’analyse statistique est passée en revue pour les ECR (randomisé au niveau individuel ou au niveau de cluster) et des méta-analyses. | 38 pages + 15 pages d’annexes + 2 fichiers Excel | Pour ceux qui connaissent les tests d’hypothèses et le calcul des tailles d’effet |
Mesurer l’effet d’un traitement. Les méta-analyses en sciences de l’éducation
Les analyses statistiques utilisées pour décrire les résultats des études par comparaison de groupes dans le domaine des sciences de l’éducation sont expliquées. La première partie de ce livre est consacrée à la description d’une série de données (on parle de statistiques descriptives), et s’attache particulièrement à analyser les distributions dites normales. Les notions de probabilités mises en œuvre par la suite y seront également présentées. La seconde partie traite ensuite de la comparaison entre deux échantillons extraits d’une population quand l’un d’eux a été soumis à un traitement qui intéresse le chercheur (on parle de statistiques inférentielles). Dans la troisième partie, les règles qui encadrent la réalisation des méta-analyses et plus particulièrement l’analyse quantitative de leurs données sont détaillés. Des annexes comprenant notamment des formulaires et la liste des fonctions à utiliser avec le tableur Excel (le pictogramme χ dans le texte principal signale la présence en annexe 9 d’une information pertinente). Des exemples, dont les données sont soit réelles soit fictives sont proposés tout au long du livre et les fichiers Excel correspondants peuvent être téléchargés ci-dessous.
Télécharger le texte principal de 131 pages, les annexes.
Les exemples numériques (fichiers Excel) à télécharger. Dans ces fichiers , les numéros qui suivent les indicateurs statistiques calculés permettent d’identifier la formule utilisée et décrite dans les annexes.
- Exemple 1_252 poids
- Exemple 2_29 846 scores PISA
- Exemple 3_2 000 scores d’élèves (fictifs)
- Exemple 4_intervalles de confiance
- Exemple 5_différences de moyennes
- Exemple 6_4 pays de l’OCDE
- Exemple 7_Méta-analyses (tailles d’effet, sous-groupes d’études)
- Exemple 8_Scores de deux groupes d’élèves (fictifs)
- Exemple 9 _Correction pour cluster
- Exemple 10_2 méta-analyses WWC
- Exemple 11_2 sous-groupes d’études
- Exemple 12_2 méta-analyses (fictives)
Introduction au calcul de la taille d’effet globale d’une intervention dans les méta-analyses en sciences de l’éducation
Ce texte a été publiée dans la revue Mesure et évaluation en éducation et est librement accessible sur le site internet de cette publication.
Résumé. Quand plusieurs études par comparaison de groupes (intervention et contrôle) portent sur une même intervention en milieu scolaire, la synthèse de leurs résultats permet d’évaluer l’effet de cette intervention et de répondre aux attentes des praticiens, mais aussi d’orienter les recherches futures. C’est dans ce but que sont réalisées des synthèses quantitatives ou encore des méta-analyses. Pour chacune des études sélectionnées, une taille d’effet est calculée qui est le g de Hedges (différence standardisée des moyennes des deux groupes) quand la variable à expliquer est un score posttest. La taille d’effet globale est alors estimée en suivant dans la plupart des cas le modèle des effets aléatoires. Enfin, pour conclure quant à l’intérêt de l’intervention, les tailles d’effet sont traduites en nombre de mois de progrès. Un exemple numérique est proposé pour faciliter la compréhension des modèles analytiques mis en œuvre dans une méta-analyse pour les cas les plus simples.
Télécharger le texte de 30 pages.
Fichier excel : exemple numérique de 6 études fictives
La régression linéaire multiple dans les études par comparaison de groupes en milieu scolaire
Les outils statistiques mettant en œuvre des régressions linéaires multiples dans le but d’analyser les résultats d’études quantitatives dans le domaine des Sciences de l’éducation sont expliqués en différenciant deux niveaux d’études. Dans un premier temps, les méthodes utilisées pour décrire les données issues d’études primaires par comparaison de groupes sont détaillées. Les calculs permettant d’estimer les coefficients de régression et les tests statistiques mis en œuvre pour évaluer la qualité des modèles linéaires choisis sont exposés. L’interprétation des coefficients de régression estimés quand certaines variables dépendantes sont catégorielles est illustrée par des exemples numériques. Le second niveau concerne les synthèses quantitatives d’études primaires, et plus précisément les méta-analyse (on parlera alors de méta-régressions). Les procédures utilisées pour analyser l’influence de variables modératrices sur les tailles d’effet sont présentées en s’appuyant sur des exemples issus de la littérature scientifiques. Un dernier chapitre propose quelques commentaires sur la nature des variables explicatives (médiatrices ou modératrices) et sur le type d’analyses (exploratoires on confirmatoires).
Télécharger le texte de 38 pages et ses annexes.
Fichiers Excel :
Traduction des Procedures and Standards Handbook du WWC
Les Procedures and Standards Handbook du WWC publiés par le What Works Clearinghouse expliquent les méthodes suivies par le WWC. Selon les versions, ils sont publiés séparément ou en un seul volume. Vous trouverez ici des traductions partielles du Manuel des procédures (4.0) du Manuel des normes (4.0) publiés en 2017, du premier chapitre (une présentation générale) du Manuel des Procédures et des Normes (5.0) et des annexes qui détaillent les calculs statistiques de la version 5.0. Ces documents sont téléchargeables en version originale sur le site Find What Works.
Ressources complémentaires sur internet
Deux livres téléchargeables gratuitement : Introduction to Meta-analysis (2009), très souvent cités dans les articles, est une référence en la matière. Une nouvelle version a été publiée en 2021 (non téléchargeable gratuitement). Indispensable pour comprendre les analyses statistiques mises en œuvre dans les méta-analyses. Systematic Reviews in Educational Research (2020) présente les grandes lignes des synthèses d’études publiées en sciences de l’éducation en analysant les critiques souvent émises à l’encontre des analyses quantitatives.
La revue Research Synthesis Methods s’attache à développer et diffuser des méthodes pour concevoir, mener, analyser, interpréter, rapporter et appliquer une synthèse de recherche systématique. Certains articles sont gratuits.