L'effet de tests standardisés sur les résultats scolaires des élèves : 1910-2010

L’effet de testing sur les résultats scolaires :
1910-2010

Richard P. PHELPS

© 2012, Richard P 1
Association Mondiale des Sciences d'Education, 17th Congre
PHELPS

Meta-analysés

• Une méthode pour
résumer une littérature
de recherche importante,
avec une mesure unique
et comparable.

PHELPS

L'effet de tests standardisés sur les
résultats scolaires des élèves

• étude de 12 ans

• analysé a peu pré de 700 études
unique, et plus de 1500 effets unique
• 2000 autres études étaient passé en
revue mais pas inclus (jugées
inappropriés d’inclure)
• centaines autres ne passeront pas en
revue – il n’y a pas assez de temps ou
d’argent

PHELPS

Chercher les études d’inclure dans la
méta-analyse

1. On a inclus les études qu’ont trouvé en effet d’un test
sur les résultats scolaires des élèves ou sur les
enseignements des enseigneurs…

PHELPS

Études inclus dans la méta-analyse

2. …quand:
• Un test est introduit de nouveau ou est enlevé
• La quantité de testing est augmenté ou est diminué
• Conséquences d’un test sont introduit ou sont enlevé

PHELPS

Études inclus dans la méta-analyse
3. …plus les méta-analyse d’autres chercheurs (e.g.)

• Kulik, Kulik, Bangert-Drowns, & Schwalb
(1983-1991) à propos de:
– testing pour obtenir le dessus sur le
sujet, << mastery testing >>
– fréquence de testing, et
– programmes des étudiants universitaire
redoublé
• Basol & Johanson (2009) à propos du
fréquence de testing
• Jaekyung Lee (2007) à propos des
administrations très grandes
• W.J. Haynie (2007) à propos de la formation

PHELPS

Nombre d’études et d’effets,
par type de méthodologie

Type de méthodologie Nombre Nombre
d’études d’effets
Quantitatives 177 640

Enquêtes et sondages
247 813
d’opinion (EUA et Canada)

Qualitatives 245 245

TOTAL 669 1698

PHELPS

Taille d’effet: d de Cohen

d = (YE - YC) / Spool

YE = moyenne du groupe
expérimental
YC = moyenne du groupe contrôlé
Spool = déviation standardisé

PHELPS

Taille d’effet: Autres formules

d = t*((n1+n2/n1*n2)^0,5
d = 2r/(1-r²)^0,5
d = (YE avant-YE après-YC avant+
YC après)/Spool après

PHELPS

Taille d’effet: Interprétation

• d entre 0,25 et 0,50  un effet faible
• d entre 0,50 et 0,75  un effet moyen
• d plus de 0,75  un effet fort

PHELPS

Études quantitatives
(population couverture ≈ 7 million
personnes )

PHELPS

Études quantitatives : Taille d’effet

• Taille d’effet calcul << squelettique >> :

d ≈ +0,55 …un effet moyen

• Taille d’effet squelettique réglé pour la fiabilité (a cause de l’erreur qui
résulte du procès quand on mesure)

d ≈ +0,70 …un effet assez fort

• Taille d’effet par chercheur

d ≈ +0,88 …un effet fort

PHELPS

Modérateurs important

Group de Traitement (par contre le group de Taille d’effet
contrôle)… moyen
…connaissant de performance +0,98

…a enseignement spécialisé (e.g., tuteurs) +0,96

… conséquences de test plus fortes +0,87

…testing est plus fréquent +0,85

PHELPS

Modérateurs – Origine de testing

Nombre Taille d’effet
d’études moyen
Chercheur ou Professeur 87 0,93
National 24 0,87
Commercial 38 0,82
Régional 11 0,72
Total 160

PHELPS

Modérateurs – Patronage de test

Nombre Taille d’Effet
d’études moyen
International 5 1,02
Local 99 0,93
National 45 0,81
Régional 11 0,64
Total 160

PHELPS

Modérateurs – Désigne d’étude

d’études moyen
Pré-post 12 0,97
Expérience, Quasi-expérience 107 0,94
Multi variance 26 0,80
Expérience, post test 7 0,60
Pré-post (avec test parallèle) 8 0,58
Total 160

PHELPS

Modérateurs – Taille d’étude

d’études moyen
Agrégeât 9 1,60
Taille petite 118 0,91
Taille grande 33 0,57
Total 160

PHELPS

Modérateurs – Taille d’administration

d’études moyen
Salle de classe 115 0,95
Taille moyenne 6 0,72
Taille grande 39 0,71

Total 160

PHELPS

Enquêtes et sondages d’opinion

PHELPS

Pourcentage d’items d’enquête,
par groupe de répondeur et type d’enquête

50
45
40
35
30 Education
Percent

25 Providers
20
15 Education
10 Consumers
5
0
Public opinion polls Program evaluation
surveys*

PHELPS

Nombre et pourcentage d’articles d’enquête,
par conséquence de test et le groupe
affecté

Conséquence Nombre % Groupe affecté Nombre %

forte 507 62 Elèves 393 46

moyenne 184 23 Écoles 281 33

faible 33 4 Enseigneurs 116 14

pas de
pas connu 89 11 64 7
conséquence

TOTAL 813 TOTAL 854

PHELPS

Sondages d’opinion, par an

• 244 entre 1958 et 2008, aux États-Unis et en Canada
• 813 combinaisons uniques de question-réponse.
• a peut pré 700.000 réponses uniques d’individuels

120

100

80

60

40

20

0
1960 1965 1970 1975 1980 1985 1990 1995 2000 2005
Year

PHELPS

Enquêtes et sondages d’opinion :
Tests standardisés simples et tests de performance

Tests simples Tests de performance
(N ≈125) (N ≈ 50)
L’opinion des répondants d d
Connaissance des élèves est amélioré 1,2 1,0

…pondérée par la population de l’étude 1,9 0,5

Enseignement est amélioré 1,0 1,4


Tests aligne le programme scolaire 1,0 1,0


PHELPS

Études qualitatives : Résumé
(On ne peut pas calculer un taille d’effet)

PHELPS

Études qualitatives, par méthodologie

Nombre
Méthode de recherche d’études %

Dossiers 120 43

Expérimentes ou comparaisons avant-après 21 7

Entrevues (individu ou groupe) 75 27

Journaux 2 1

Revues des rapports officiels, enregistrements 33 12

Revues des recherches 8 3

Enquêtes 22 8

ÉTUDES TOTAL 281 100

PHELPS

Études qualitatives:
L'effet sur les résultats scolaires des élèves
244 études menées depuis 100 ans aux plus de 30 pays

Nombre d’ Pourcentage Pourcentage
Direction d’effet études d’études pas inféré

Positive 204 84 93

Positive inféré 24 10

Mélangé 5 2 2

Pas de change 8 3 4

Négative 3 1 1

ÉTUDES TOTAL 244 100 100

PHELPS

Études qualitatives : Le testing améliore les
résultats scolaires et l’enseignement
Nombre
Connaissance est amélioré d’études %

Oui 200 95

Résultats mélangés 1 <1

Non 10 5


Nombre
Enseignement est amélioré d’études %
Oui 158 96
Non 7 4

PHELPS

Études qualitatives:
Variation par rigueur et conséquence de test
Niveau de rigueur
Direction d’effet fort moyen faible Études Total
Positive 95 67 42 204
Positive inféré 10 8 6 24
Mélangé 3 1 1 5
Pas de change 4 3 1 8
Négative 1 1 1 3
ÉTUDES TOTAL 113 80 51 244

Conséquence
Direction d’effet fort moyenne faible pas connu Études Total
Positive 133 27 38 6 204
Positive inféré 12 5 7 24
Mélangé 4 1 5
Pas de change 2 1 5 8
Négative 3 3
ÉTUDES TOTAL 154 33 51 6 244
PHELPS

Études qualitatives : Tests standardisés simples
et tests de performance

Tests simples Tests de performance
(N =176) (N = 69)
Résultats d’étude % %
En générale, positifs 93 95

Conséquences de test fortes 71 42

Rigueur d’étude fort 46 48

Attitudes des élèves positives 60 71

Attitudes des enseigneurs positives 55 80

Connaissances des élèves amélioré 95 95

Enseignement amélioré 92 100

Nombre des élèves important 86 68

PHELPS

Une littérature de recherche énorme

• Mais, prétentions que la littérature
n’existe pas de toute sont
communes

– Quelques prétentions sont fait
par ceux qui opposent le testing
standardisé qui prennent leurs
désirs pour la réalité

– Autres sont << prétentions de
premierité >>

PHELPS

Revues des recherches dépréciant

• Avec une revue de la littérature
de recherche dépréciant un
chercheur assure tout le monde
que n’importe qu’autre chercheur
a fait une étude sur le même
sujet

PHELPS

Prétentions de premierité

• Avec une prétention
de premierité, un
chercheur insiste
qu’on est le premier à
étudier un sujet

PHELPS

Les coûts sociaux

• Les recherches des faibles sont perdu; les résultats
qui restes sont favorables aux puissants
• Décisions politiques sont basés sur leurs résultats

• On paie encore et encore pour recherches déjà fait

PHELPS

L’effet de testing sur les résultats scolaires :
1910-2010

Richard P. PHELPS

PHELPS

L'effet de tests standardisés sur les résultats scolaires des élèves : 1910-2010

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Similaire à L'effet de tests standardisés sur les résultats scolaires des élèves : 1910-2010

Similaire à L'effet de tests standardisés sur les résultats scolaires des élèves : 1910-2010 (20)

Plus de Richard P Phelps

Plus de Richard P Phelps (18)

Dernier

Dernier (20)

L'effet de tests standardisés sur les résultats scolaires des élèves : 1910-2010