Basic principles of power calculation and sample size estimation

1. J’ai besoin de combien de
monde ?
Une question de puissance

2. Plan
Notions de bases sur la puissance
Taille d’échantillon pour le test Z:
un exemple
Conseils pour la planification
d’expériences (plus) complexes

3. Avertissement
La mathématique est l’art de donner
le même nom à des choses
différentes.
-- Jules Henri Poincaré (1854-1912) [Mathématicien
français]

4. Notions de base sur la puissance
Le dilemme du juge:
Le juge est confronté à 4 situations
dans chaque cas
Déclarer l’accusé coupable alors qu’il est
coupable
Déclarer l’accusé innocent alors qu’il est
innocent
Déclarer l’accusé coupable alors qu’il est
innocent
Déclarer l’accusé innocent alors qu’il est
coupable

5. Notions de base sur la puissance
H0 vraie H0 fausse
Accepter H0 Pas Erreur de
d’erreur type II
Rejeter H0 Erreur de Pas
type I d’erreur

6. Erreur de Type I
Seuil du test ( )
P(Rejeter H0 | H0 vraie)
On veut contrôler cette erreur le
plus strictement possible, alors on
la fixe à l’avance (0.1, 0.05, 0.01,
etc.)

7. Erreur de Type II
P(Accepter H0 | H0 fausse)
On n’est pas si inquiet lorsque vient
le temps de contrôler ce type
d’erreur.

8. Puissance
1-
P(Rejeter H0 | H0 fausse)
C’est habituellement avec la
puissance qu’on contrôle la
probabilité d’erreur de type II

9. Taille d’échantillon pour le test Z
Mise en situation:
On veut vérifier si une moyenne ( ) est égale
à une certaine valeur (x) sachant que l’écart-
type de la population est
On a donc les hypothèses suivante:
H0: =x
H1: x

10. Taille d’échantillon pour le test Z
Mise en situation:
On tire un échantillon de taille N et on calcul la
moyenne de l’échantillon
On obtient la statistique de test et sa
distribution sous H0
X x
~ N (0,1)
N

11. Taille d’échantillon pour le test Z
On fait le test au seuil de 5%, ce qui veut
dire:
P(Rejeter H0 | H0 vraie) = 0.05
X x
P >z 2 μ = x = 0.05
N

12. Taille d’échantillon pour le test Z
On fait le test au seuil de 5%, ce qui veut
dire:
P(Rejeter H0 | H0 vraie) = 0.05
X x
P > 1.96 μ = x = 0.05
N

13. Taille d’échantillon pour le test Z
Calculons la puissance:
P(Rejeter H0 | H0 fausse)
Que veut dire « H0 fausse » ?
x
Que vaut ?
On doit fixer la différence minimale
détectable:
x: =x+
X x
~ N ( ,1)
N

14. Taille d’échantillon pour le test Z
Calculons la puissance:
P(Rejeter H0 | H0 fausse)
X x
P > 1.96 μ = x +
N

15. Taille d’échantillon pour le test Z
Calculons la puissance:
P(Rejeter H0 | H0 fausse)
X x
P 1.96 > > 1.96 μ = x +
N

16. Taille d’échantillon pour le test Z
Calculons la puissance:
P(Rejeter H0 | H0 fausse)
P x 1.96 > X > x + 1.96 μ = x +
N N

17. Taille d’échantillon pour le test Z
Calculons la puissance:
P(Rejeter H0 | H0 fausse)
P 1.96 > X (x + ) > + 1.96
N N

18. Taille d’échantillon pour le test Z
Calculons la puissance:
P(Rejeter H0 | H0 fausse)
1.96 + 1.96
P N >
X (x + ) > N
N N N

19. Taille d’échantillon pour le test Z
Calculons la puissance:
P(Rejeter H0 | H0 fausse)
P 1.96
N
>
X (x + ) > 1.96 N
N

20. Taille d’échantillon pour le test Z
Calculons la puissance:
P(Rejeter H0 | H0 fausse)
P
X (x + ) > 1.96 N
N

21. Taille d’échantillon pour le test Z
Pour calculer la puissance, il faut
connaître: N, et
Autrement, pour calculer la taille
d’échantillon, il faudrait connaître:
, et la puissance

22. Taille d’échantillon pour le test Z
Calculons la taille d’échantillon
approximative:
Fixons la puissance à 80%
P
X (x + ) > 1.96 N
= 0.8
N

23. Taille d’échantillon pour le test Z
Calculons la taille d’échantillon
approximative:
Fixons la puissance à 80%
P
X (x + ) > 1.96 N
= 0.8 Si > 0
N
P
X (x + ) < 1.96
N
= 0.8 Si <0
N

24. Taille d’échantillon pour le test Z
On sait aussi que:
P
X (x + ) > 0.84 = 0.8
N

25. Taille d’échantillon pour le test Z
On a donc:
N
1.96 = 0.84

26. Taille d’échantillon pour le test Z
On a donc:
N
1.96 + 0.84 =

27. Taille d’échantillon pour le test Z
On a donc:
(1.96 + 0.84) = N

28. Taille d’échantillon pour le test Z
On a donc:
On arrondie toujours à l’entier supérieur
2
(1.96 + 0.84 ) =N

29. Étapes pour déterminer la taille
d’échantillon
Spécifier le test d’hypothèse
Spécifier le seuil du test
Spécifier l’effet détectable
Spécifier des estimés pour les co-
paramètres (e.g. l’écart-type)
Spécifier la puissance du test pour
l’effet détectable

30. Conseils pour des expériences plus
complexes
Spécifier le test d’hypothèse
Choisir le paramètre qui est le plus
important en fonction de la question de
recherche
Toujours faire un test bilatéral, à moins
d’avoir une très bonne raison
d’effectuer un test unilatéral

31. Étapes pour déterminer la taille
d’échantillon
Spécifier le seuil du test
Le seuil peut être fixé comme on veut
10% si on peut être plus libéral quand on
déclare la présence d’un effet
5% si on veut faire comme tout le monde
1% si on veut être plus conservateur ou
plus certain de la présence d’un effet
Plus le seuil est faible, plus la taille
d’échantillon augmente

32. Étapes pour déterminer la taille
d’échantillon
Spécifier l’effet détectable
On peut spécifier l’effet détectable par
intervalle:
L’effet espéré offre habituellement une borne
supérieure
On peut ensuite déterminer une borne
inférieure en suggérant l’effet cliniquement
significatif minimal
On peut calculer la taille d’échantillon pour
plusieurs propositions d’effet
Plus l’effet est grand, plus la taille d’échantillon
est petite

33. Étapes pour déterminer la taille
d’échantillon
Spécifier des estimés pour les co-
paramètres (e.g. l’écart-type)
On peut utiliser des valeurs historiques
(obtenu dans d’autres études similaires)
On peut élaborer une étude pilote pour estimer
ces paramètres
On peut essayer différentes valeurs pour un
même paramètre (mais ça entraîne une plus
grande incertitude sur la taille d’échantillon
obtenue)

34. Étapes pour déterminer la taille
d’échantillon
Spécifier la puissance du test pour l’effet
détectable
Encore une fois, on peut la spécifier à notre
goût
80% pour faire comme tout le monde
90% pour être plus conservateur
parfois une faible augmentation dans la taille
d’échantillon permet d’obtenir une grande
augmentation dans la puissance
Plus la puissance est élevée, plus la taille
d’échantillon sera grande

35. Conseils pour les expériences
complexes
Simplifier au maximum les
questions de recherche
Calculer des tailles approximatives
pour des tests plus simples
Calculer des tailles pour plusieurs
scénarios différents et choisir la
taille la plus grande possible
Aller voir un statisticien