Stats 101 Koudetat +

472 vues

Publié le

Significativité et A/B testing.

Publié dans : Internet
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
472
Sur SlideShare
0
Issues des intégrations
0
Intégrations
4
Actions
Partages
0
Téléchargements
11
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Stats 101 Koudetat +

  1. 1. Stats 101 : Significativité statistique et A/B testing Anne-Claire Haury Koudetat + ! 21 Avril 2014 1
  2. 2. Objectifs Comprendre le principe des tests statistiques. Repérer différents problèmes et choisir le test adéquat. Etre en mesure de faire les calculs soi-même. 2
  3. 3. Exemple 1 : répondre à une question Sur 1000 personnes (500 hommes, 500 femmes), on observe que les femmes gagnent en moyenne 2000 euros et les hommes 2100. Peut-on en conclure que les femmes gagnent moins que les hommes? Même question si l’on a 200 femmes et 200 hommes. Même question si l’on a 10 femmes et 10 hommes. De quoi la réponse va-t-elle dépendre ? 3
  4. 4. Exemple 2 : comparer 2 valeurs On veut tester laquelle des deux pages a le plus de succès. Source : experiencesolutions.co.uk Sur 1000 personnes l’ayant vu, 23 ont cliqué sur le bouton rouge. Sur 500 personnes l’ayant vu, 17 ont cliqué sur le bouton bleu. Peut-on affirmer que la page A a plus de succès? 4
  5. 5. Exemple 3 : poser diff´rentes questions Peut-on affirmer qu’il y a plus d’hommes que de femmes en informatique? Peut-on affirmer que l’informatique est le domaine où il y a la plus grande différence entre le nombre d’hommes et le nombre de femmes? Peut-on affirmer qu’en informatique la différence entre le nombre d’hommes et le nombre de femmes est plus grande qu’en marketing? 5
  6. 6. La significativité On se pose donc la question de la fiabilité d’un chiffre et de la validité des conclusions. 6
  7. 7. Définition Un écart est statistiquement significatif à 5% si la probabilité qu’on l’oberve par hasard est inférieure à 5%. Intuitivement, cela a un rapport avec: La taille de l’échantillon. L’hétérogénéité de l’échantillon. La valeur de l’écart. 7
  8. 8. La logique des tests 1. On part d’une hypothèse. 2. On regarde ce que le hasard donnerait. 3. On compare nos valeurs à celles du hasard. 8
  9. 9. Variables aléatoires Définition (pas très mathématique) Une variable aléatoire (v.a.) est une application définissant l’ensemble des résultats possibles pour une expérience donnée. Exemples: X représente la variable aléatoire liée à l’expérience "pile ou face": X prend les valeurs 0 ou 1. X représente la variable aléatoire liée à l’expérience "valeur du QI": X prend ses valeurs entre 0 et 150. X représente la variable aléatoire liée à l’expérience "poids": X prend ses valeurs entre 0 et +∞. 9
  10. 10. Loi de probabilité Définition (pas mathématique du tout!) Une loi (ou distribution) de probabilité représente le comportement d’une variable aléatoire. Exemple: X représente la variable aléatoire liée à l’expérience "pile ou face": X prend ses valeurs entre 0 et 1. P(X = 0) = 0, 5 P(X = 1) = 0, 5 La somme des probabilités vaut 1. 10
  11. 11. Echantillon statistique (X1, ..., Xn) est un échantillon si les variables aléatoires X1, ..., Xn sont indépendantes et suivent la même loi. On dit alors qu’elles sont indépendantes et identiquement distribuées (i.i.d.). Exemples: X1...Xn sont n lancers de pile ou face. Ils sont indépendants et ont tous la même loi de probabilité. X1...Xn représentent le QI de n personnes. Ces personnes sont indépendantes et leur QI suit la même distribution (assimilée à une loi normale). 11
  12. 12. Estimation de la moyenne L’espérance de la loi suivie par un échantillon est estimée par la moyenne empirique: X = X1 + X2 + ... + Xn n = n i=1 Xi n Exemple: X1...X1000 sont 1000 personens qui cliquent (X = 1) ou ne cliquent pas (X = 0) sur votre CTA : la moyenne de ces valeurs estime votre taux de conversion. Si 45 personnes cliquent, le TC est estimé à 4, 5%. Mais que vaut cette estimation ? 12
  13. 13. Estimation de la moyenne (2) "Mon taux de conversion n’arrête pas de grimper, Olé!!! #KingOfTheWorld" 13
  14. 14. Estimation de la moyenne (2) "Et m****... #PrendreUnCoursDeStats..." 13
  15. 15. Qualité de l’estimation 14
  16. 16. Nouvelle indication Pour être sûr de l’estimation, il faut une variance la plus faible possible. 15
  17. 17. Estimation de la variance Si (X1, ..., Xn) est un échantillon, on estime sa variance σ2 par la variance empirique: S2 = 1 n − 1 n i=1 (Xi − X)2 La variance dépend de n : plus n est grand, plus la variance est petite. L’écart-type est la racine carrée de la variance. Il représente l’écart moyen à la moyenne. 16
  18. 18. En effet... 17
  19. 19. Pour être sûr(e) d’avoir compris Calculer la moyenne, la variance et l’écart-type empiriques de l’échantillon suivant: 1, 1, 0, 0, 0 18
  20. 20. Pour être sûr(e) d’avoir compris Calculer la moyenne, la variance et l’écart-type empiriques de l’échantillon suivant: 1, 1, 0, 0, 0 moyenne : x = 1 5 (1 + 1 + 0 + 0 + 0) = 0.4 18
  21. 21. Pour être sûr(e) d’avoir compris Calculer la moyenne, la variance et l’écart-type empiriques de l’échantillon suivant: 1, 1, 0, 0, 0 moyenne : x = 1 5 (1 + 1 + 0 + 0 + 0) = 0.4 variance : s2 = 1 4 (1 − 0.4)2 + (1 − 0.4)2 + (0 − 0.4)2 + (0 − 0.4)2 + (0 − 0.4)2 = 0.3 18
  22. 22. Pour être sûr(e) d’avoir compris Calculer la moyenne, la variance et l’écart-type empiriques de l’échantillon suivant: 1, 1, 0, 0, 0 moyenne : x = 1 5 (1 + 1 + 0 + 0 + 0) = 0.4 variance : s2 = 1 4 (1 − 0.4)2 + (1 − 0.4)2 + (0 − 0.4)2 + (0 − 0.4)2 + (0 − 0.4)2 = 0.3 écart-type : s = s2 = 0.55 18
  23. 23. La loi normale source : matplotlib.org Histoire de la loi normale : Loi des erreurs (Gauss, 1777-1855) L’homme moyen (Quételet, 1796-1874) L’eugénisme (Galton, 1822-1911) 19
  24. 24. La loi normale (2) source : wikipedia.com Si X suit la loi normale N(µ, σ2) X peut prendre toutes les valeurs entre −∞ et +∞. La courbe est symétrique. L’espérance de X vaut µ : la courbe est centrée en µ. La variance de X vaut σ2 (son écart-type vaut donc σ). 20
  25. 25. La loi normale (3) source : statlect.com Si X suit la loi normale standard N(0, 1) : Partie rouge : la probabilité que X soit compris entre −2 et 2. On note: P(−2 < X < 2) (= 0.95 environ). L’aire totale sous la courbe vaut 1, c’est-à-dire: P(−∞ < X < +∞) = 1. 21
  26. 26. Théorème central limite Un des plus grand résultats statistiques. Il dit que votre moyenne estimée se promène autour de votre vraie moyenne selon une loi normale. 22
  27. 27. Théorème central limite Un des plus grand résultats statistiques. Ce qui revient à dire que : 22
  28. 28. Théorème central limite Si (X1, ..., Xn) est un échantillon suivant une loi de moyenne µ et de variance σ2, alors, si n est assez grand, leur moyenne empirique suit une loi normale N(µ, σ2 n ) : X →n→∞ N(µ, σ2 n ) ce qui équivaut à: √ n X − µ σ →n→∞ N(0, 1) Remarque: σ2 n représente la fiabilité de l’estimation. Plus n est grand, plus il est probable que la vraie moyenne µ soit bien approximée par X. 23
  29. 29. Cas d’une proportion Dans le cas où on cherche à estimer une proportion (un taux de conversion par exemple) qu’on appelle p, on a: √ n X − p p(1 − p) →n→∞ N(0, 1) 24
  30. 30. Intervalle de confiance Dans le cas d’un échantillon (X1...Xn) de moyenne p, la moyenne théorique se trouve avec une certitude de 1 − α% dans l’intervalle: [x − tα p(1 − p) √ n , x + tα p(1 − p) √ n ] qui correspond à : P(−tα < √ n X − p p(1 − p) < tα) = 1 − α% Source : jussieu.fr tα : la valeur après laquelle l’aire vaut α/2%. −tα : la valeur avant laquelle l’aire vaut α/2%. 25
  31. 31. Cas souvent rencontré Dans le cas d’un échantillon (X1...Xn) de moyenne p, la moyenne théorique se trouve avec une certitude de 95% dans l’intervalle: [x − 1.96 p(1 − p) n , x + 1.96 p(1 − p) n ] Comme on ne connaît pas p, on a deux choix: se mettre dans le ’worst-case scenario’, à savoir p = 0.5 : [x − 1.96 0.25 n , x + 1.96 0.25 n ] remplacer p par son estimateur x si on pense qu’il n’est pas trop mauvais: [x − 1.96 x(1 − x) n , x + 1.96 x(1 − x) n ] 26
  32. 32. Retour à l’exemple Avec 500 points, x = 0.062 et la vraie proportion se trouve donc avec 95% de proba entre 0.018 et 0.105. (super info :)) Avec 2000 points, x = 0.059 et la vraie proportion se trouve donc avec 95% de proba entre 0.037 et 0.08. (déjà mieux!) Avec 10000 points, x = 0.0049 et la vraie proportion se trouve donc avec 95% de proba entre 0.039 et 0.058. (encore plus précis) 27
  33. 33. Les tests statistiques Puis-je affirmer que le taux de conversion p d’un échantillon est différent de la valeur p0 avec seulement 5% de chances de me tromper? Je sais que la moyenne se trouve avec 95% de certitude (donc 5% de risque) entre : [x − 1.96 0.25 n , x + 1.96 0.25 n ] C’est-à-dire que: P(−1.96 < √ n X − p √ 0.25 < 1.96) = 95% Je calcule t = √ n X−p0√ 0.25 car je suppose que p0 est la bonne proportion. Si t > 1.96 ou t < −1.96 : je suis dans l’erreur, je rejette l’hypothèse et conclue qu’avec 95% de certitude, p = p0. 28
  34. 34. Les tests statistiques (2) Pour être plus précis: Si j’affirme que le taux de conversion p d’un échantillon vaut la valeur p0, avec quelle probabilité ai-je raison? Je calcule t = √ n X−p0√ 0.25 Si t < 0, je calcule : 2P(t < 1√ n X−p√ 0.25 ) Si t > 0, je calcule 2P( 1√ n X−p√ 0.25 < t) La valeur obtenue s’apelle p-value. Plus elle est faible, plus je suis sûre que l’hypothèse est fausse. 29
  35. 35. A/B testing : même principe ! Puis-je affirmer que deux proportions p1 et p2 sont différentes avec seulement 5% de chances de me tromper? Même principe. Cette fois, il faut calculer: x1, n1: moyenne et taille de l’échantillon 1. x2, n2: moyenne et taille de l’échantillon 2. la proportion moyenne pm = x1n1+x2n2 n1+n2 . alors, on calcule t = x1−x2 pm(1−pm) n1 + pm(1−pm) n2 on compare t à −1.96 et 1.96 comme dans l’autre cas. si t > 1.96 ou t < −1.96 on conclue que les deux proportions sont différentes. calcul de la p-value idem que précédemment. 30
  36. 36. Concrètement Page A : 23 clics sur 1000 visites. Page B : 17 clics sur 500 visites. 31
  37. 37. Concrètement Page A : 23 clics sur 1000 visites. Page B : 17 clics sur 500 visites. x1 = 0.023, n1 = 1000 x1 = 0.034, n1 = 500 pm = 0.023×1000−0.034×500 1000+500 = 0.026. t = 0.034−0.023√ 0.025/1000+0.025/500 = 1.27 1.27 < 1.96 : les deux proportions ne sont pas significativement différentes ! 31
  38. 38. Que tester ? Règle d’or : ne pas tester tout à la fois. Essayer de garder la plupart des éléments égaux par ailleurs. Exemples de choses à tester : CTA Headline Images Texte Etre sûr avant de lancer le A/B testing qu’on saura comment interpréter les résultats. 32
  39. 39. Peut-on tester 3 pages ou plus ? Oui ! Si c’est bien nécessaire. Dans ce cas, le plus simple est de commencer par en tester deux et de tester la troisième (puis la quatrième, etc.) contre le vainqueur. 33
  40. 40. Always be closing N’importe quel logiciel vous donnera un résultat. Mais il ne vous dira pas si votre démarche est correcte ou si votre théorie a une sens. Donc: Savoir ce qu’on cherche à obtenir comme résultat(s) Avoir une idée des calculs que fait la machine ! (Check) Dans le doute, demander l’avis d’un statisticien (ils sont presque tous normaux et sympas) 34

×