l'échantillonnage , cades des évaluations d'impact Moussa P Blimpo

1. L’ échantillonnage
Cadre des évaluations d'impact
Moussa P. Blimpo
1

2. Introduction
▪ Evaluation d’une politique publique
▪ Objectif ultime: Même école avec et sans le traitement en même
temps 🡪 Impossible
▪ D’ou l’usage de la théorie statistique
▪ Définir un groupe de traitement et un groupe de control
▪ Assignement aléatoire: Meilleur façon d’assurer la comparabilité
▪ Object de cette présentation:
▪ Comment construire un échantillon permettant de détecter de
manière crédible un effet significatif ?
▪ Quel doit être la taille de l’échantillon pour mon étude?
▪ Comment dois-je sélectionner les participants?
▪ Comment les composantes de l'échantillonnage affectent-elles ce
qu'il est possible d'apprendre d'une évaluation d'impact ?
2

3. Plan de présentation
1. Base de sondage
▪ Quels groupes ou quelles populations nous intéressent ?
▪ Comment les trouve-t-on: Représentativité
▪ Important pour la validité externe
2. Taille de l'échantillon
▪ Pourquoi est-ce si important : crédibilité des résultats
▪ Déterminants de la taille adéquate d’un échantillon
▪ Autres questions relatives a l’échantillonnage
▪ Exemples
3

4. Base de sondage
▪ Qui est ce qui nous intéresse ?
a) Toutes les écoles?
b) Toutes les écoles publiques?
c) Toutes les écoles primaires publiques?
d) Toutes les écoles publiques dans une région donnée?
▪ La validité externe: de quoi s’agit t-il?
▪ Les conclusions tirées d'une population (c) peuvent-elles être utiles pour des
écoles privées? Ecole publiques secondaire?
▪ Les conclusions tirées d'une population (d) peuvent-elles être utiles pour
préparer des mesures à portée nationale ?
▪ Faisabilité: Que voulons-nous apprendre?
▪ Il peut ne pas être possible ou souhaitable de piloter un programme ou une
politique dont le champ d’application est extrêmement large
4

5. Base de sondage
L’UNITÉ OU L’OBSERVATION DE BASE
▪ Fonction de la taille et du type d'expérience
▪ Informations nécessaires avant de tirer un échantillon
▪ Une liste exhaustive de toutes les unités d'observation disponibles pour
l'échantillonnage dans chaque zone ou chaque groupe
▪ A défaut, d’autre méthodes peuvent être utilisées: Mais moins désirable
5
Expérience Randomisée Unité ou observation de base
Pilote pour de nouveau livres Ecole ou classe
Incitation pour les enseignant des régions
défavorisées
liste des écoles dans les régions
défavorisées

6. Taille de l'échantillon
CRÉDIBILITÉ DES RÉSULTATS
▪ Census vs. Echantillons
▪ Census: certitude totale, mais trop cher et non pratique
▪ Echantillons: Collecte plus rapide et efficace. Fondements
scientifiques (statistique) solides.
▪ Si par exemple nous voulons savoir quel sont les dépenses
annuel moyenne d'une école primaire a Dakar.
▪ Option 1 : Nous interrogeons cinq directeurs d’écoles de façon
aléatoire et nous utilisons la moyenne de leurs réponses.
▪ Option 2 : Nous interrogeons 300 directeurs d’écoles de façon
aléatoire et nous utilisons la moyenne de leurs réponses.
▪ Quelle sera la moyenne la plus proche de la vraie
moyenne ? Pourquoi?
6

7. Taille de l'échantillon
CRÉDIBILITÉ DES RÉSULTATS (2)
▪ De manière similaire, quand on détermine l'impact du
programme
▪ Il faut beaucoup d'observations pour pouvoir dire avec certitude que la
différence est attribuable au programme en place.
▪ Deux type d’erreur sont possible
▪ Que veut dire certitude?
▪ Il s’agit de minimiser les erreurs du type I et II
7
Le program en réalité (Inconnu)
N’a pas d’impact a un Impact
L’étude conclut que le
program
a un Impact Erreur I Correct
N’a pas d’impact Correct Erreur 2

8. Calcul de la taille de l'échantillon
PLUSIEURS FACTEURS EN JEU
▪ Le choix de l’échantillon a un fondement scientifique
(statistique). Il y a des formules pour ca!
▪ L'essentiel de ce qu'il faut avoir à l'esprit :
1. Taille de l'effet détectable
2. Probabilité d'erreurs de type 1 et de type 2
3. Variance du/des résultat(s)
4. D’autre facteurs entre an jeu dans des cas spéciaux (On verra plus
tard)
8

9. Calcul de la taille de l'échantillon
EFFET MINIMAL DETECTABLE
▪ Taille de l'effet détectable
▪ L'effet minimal recherché pour faire la distinction par rapport à zéro
▪ Exemple: Une amélioration du score moyen de 10%? 25%?
▪ Les résultats des élèves sont t-ils meilleur dans les écoles
ou les enseignants ont reçu une formation supplémentaire?
▪ Postulat 1 : En moyenne, le score dans les écoles sans formation est de 50%, contre
55% dans les écoles dont les enseignants ont reçu la formation.
▪ Postulat 2 : En moyenne, le score dans les écoles sans formation est de 50%, contre
85% dans les écoles dont les enseignants ont reçu la formation.
▪ Lequel des 2 postulat nécessite une échantillons plus large?
▪ Échantillons plus larges 🡪 des effets plus petits sont plus
faciles à détecter
9

10. Il es plus facile de détecter de grandes différences
10
Calcul de la taille de l'échantillon
EFFET MINIMAL DETECTABLE(2)

11. Calcul de la taille de l'échantillon
COMMENT CHOISIR LA TAILLE DE L'EFFET DÉTECTABLE
▪ L'effet minimal incitant la réponse d’une intervention
publique
▪ Ce programme a fait progresser significativement le taux
moyen de réussite de 15%.
▪ Génial - voyons comment nous pouvons répliquer ceci à plus
grande échelle.
▪ L'effet minimal qui vous permettra de dire qu'un
programme n'a pas été un échec
▪ Ce programme a fait régresser significativement
l’absentéisme de 0.5%
▪ Ah bon! Toutes ces dépenses pour pour un si piètre impact?
11

12. Calcul de la taille de l'échantillon
ERREURS DE TYPE 1 ET TYPE 2
▪ Type 1
▪ Niveau de significativité des estimations fixé
généralement à 1 % ou 5 %
▪ Probabilité de 1 % ou 5 % qu'il n'y ait pas d'effet, mais
nous en trouvons un
▪ Type 2
▪ Puissance généralement fixée à 80 % ou 90 %
▪ Probabilité de 20 % ou 10 % qu'il y ait un effet mais
nous ne pouvons pas le détecter
▪ Échantillons plus larges 🡪 puissance plus grande
12

13. Calcul de la taille de l'échantillon
VARIANCE DE LA VARIABLE D’INTÉRÊT
▪ Moins de variabilité
sous-jacente 🡪 différences
plus faciles à détecter 🡪
possibilité d’avoir un plus
petit échantillon
13

14. Calcul de la taille de l'échantillon
VARIANCE DE LA VARIABLE D’INTÉRÊT (2)
▪ Comment la connaître avant de décider de la taille de
l'échantillon et avant de collecter nos données ?
▪ Idéalement, données préexistantes. Souvent...inexistantes
▪ Possibilité d'utiliser des données préexistantes provenant
d'une population similaire
▪ Exemples : Enquêtes sur les écoles, test nationaux
▪ Relève plus de la conjecture que des sciences exactes
14

15. Autres questions a considérer
1. Groupes de traitement multiples
2. Echantillonnage par group
3. Résultats désagrégés par catégories
4. Stratification
15

16. Autres questions
GROUPES DE TRAITEMENT MULTIPLES
▪ Simplicité de la comparaison de chaque traitement
séparément au groupe de comparaison
▪ Il faut de très grands échantillons pour comparer les groupes
de traitement
▪ Notamment si les traitements sont très similaires, les différences
entre les groupes de traitement seront moindres
▪ En fait, c'est comme si l'on fixe une taille d'effet détectable très
petite
16

17. Pourquoi?
▪ Pour éviter la contamination
▪ Exemple: Déparasitage
▪ Faisabilité et considérations politiques
▪ Exemple: Peut être politiquement ou éthiquement incorrect de traiter
des voisins différemment
▪ Choix naturel
▪ Exemple: Program d’infos par radio: rayon de couverture
▪ Exemple 2: Programmes qui affecte la classe entière (Formation de
l’enseignant par exemple)
17
Autres questions
ÉCHANTILLONNAGE PAR GROUP

18. Implication:
▪ En tenir compte en estiment l’erreur standard de
l’effet
▪ Les observations peuvent ne plus être Independence
▪ Le performances des élèves d’une même classe peut être fortement
corrélée
▪ En tenir compte au niveau de l’analyse
▪ Et la puissance statistique?
▪ Le nombre de group est plus important que le nombre d’individus par
group
▪ Si la performance par classe est fortement corrélée, on a besoin de
seulement quelque élèves pour représenter chaque classe. Mais
beaucoup de classes
18
Autres questions
ECHANTILLONNAGE PAR GROUP(2)

19. Autres questions
RÉSULTATS DÉSAGRÉGÉS PAR GROUPE
▪ Les effets diffèrent-ils pour les hommes et les femmes ? Pour
les différents niveau d’étude?
▪ Si les genres/secteurs ont tendance à réagir de manière
similaire, il faudra aussi des échantillons très larges pour
estimer les différences d'impact du traitement.
▪ Mais cela peut être pris en compte a priori (Stratification)
19

20. Qu’est ce que c’est?
▪ Sous groupes défini par des variables de control (exemple: Age)
▪ La randomisation est ensuite fait dans chaque sous groupe
Pourquoi?
▪ Plus efficace quand:
▪ a) faible variance dans chaque strate
▪ b) Grande variance entre strates
▪ c) Variable de stratification corrélée avec la variable dépendante
▪ Réduit la variance de l’estimation
▪ Peut permettre de faire l’analyse par strate
Autre questions
STRATIFICATION

21. Pourquoi faut-il des strates ?
▪ Un exemple géographique
▪ = T
▪ = C

22. Pourquoi faut-il des strates ?
▪ Quel est l'impact dans une région particulière ?
▪ Parfois difficile à déterminer avec certitude

23. Pourquoi faut-il des strates ?
▪ Assignation aléatoire à un traitement au sein d'
unités géographiques
▪ Dans chaque unité, une moitié sera du groupe de
traitement, une moitié sera du groupe de comparaison.
▪ Même logique pour genre, métier, taille de
l'entreprise, etc.

24. Conclusion
▪ La taille de l'échantillon de votre évaluation d'impact
déterminera la qualité des conclusions que vous pourrez
tirer de votre expérience
▪ Les calculs supposent une dose de jugement et de
supposition mais il est important d'y consacrer du temps
▪ Si la taille de l'échantillon est trop faible : perte de temps et
d'argent car vous ne pourrez pas détecter un impact non nul
avec certitude
▪ Si la conception de l'échantillon et la collecte des données
réalisées avec peu d'efforts : voir ci-dessus
▪ Questions ?
24

25. Exercices & Illustrations
Echantillons vs. census
▪ Nous allons générer des données d’une population
▪ Calculer la moyenne et l’écart type
▪ Tirer des échantillons de différentes tailles et calculer la moyenne.
▪ Voir comment on s’approche des vraies valeurs dans la population.
▪ Voyez bien qu’il n’y a pas besoin de census!
25
Moyenne Ecart Type Intervalle de confiance (95%)
Population, 100000 61 14.91 -
Echantillons, 3000 61.39 15 [60.84 , 61.94]
Echantillons, 1000 60.86 15.07 [59.91 , 61.80 ]
Echantillons, 300 61.77 14.59 [60.09 , 63.45]
Echantillons, 30 66.73 14.75 [61.35 , 72.11]

26. Exercises & Illustrations
Calcul de puissance
▪ Outils statistiques disponible pour faire les calcules
(STATA, OD, PASS)
▪ Calcul de puissance
Le Pays «X» souhaite améliorer la performance des élèves du CM1 en Math. Pour ce faire, le
Ministère de l’Education du X a décider de distribuer aux concernes des nouveaux livres de
mathématiques a emporter chez eux. Un an au paravent, un test national en
Mathématique avait indique que le score moyen était seulement de 40 sur 100 avec un
écart type de 19. Les statistiques nationales indiquent que en moyenne 15% des élèves
redoublent la classe de CM1. Le cout total moyen, par élève, de la distribution des livres est
de 12500 (Prix du livre et cout de la distribution). Vu que les autorités ne sont pas certain de
l’efficacité de ce programme, ils décident de l’évaluer dans un premier temps.
▪ Listez l’ensemble des éléments dont vous avez besoins afin
d’échantillonner. Fixez les valeurs de ces éléments.
26