Statistics 101
Quelle est la meilleure
version ?
100 100
14% 20%
Impossible de dire !
Les différences ne sont statistiquement significativ...
Qu’est-ce que cela veut dire ?
100 100
14% 20%
8.5% – 22.1% 13.3% – 28.9%
On a 95% de chance que la réalité soit dans les ...
Quelle est la meilleure
version ?
1000 1000
14% 20%
La version 2 est meilleure !
12.0% – 16.3% 17.6% – 22.6%
Quelle est la meilleure
version ?
1000 100
14% 20%
Impossible de dire !
12.0% – 16.3% 13.3% – 28.9%
Mon résultat est-il significatif ?
http://www.evanmiller.org/ab-testing/chi-squared.html
Quelle est la meilleure
version ?
1000 100
14% 30%
La version 2 est meilleure !
12.0% – 16.3% 21.9% – 39.6%
Comment dimensionner un A/B test
pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez d...
Comment dimensionner un A/B test
pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez d...
Comment dimensionner un A/B test
pour être statistiquement significatif ?
http://www.evanmiller.org/ab-testing/sample-size....
• Toujours tester les deux versions simultanément. Auprès
d’une population homogène.
• Ne pas tirer des conclusions trop t...
• Q1. Lorsque votre taux de conversion du site Web bondit de 10% à 12%, cela signifie
une hausse de 2% du taux de conversio...
Corrélation vs. Causalité
Prochaines étapes
http://www.inc.com/daniel-kahneman/idea-lab-making-smarter-decisions.html
Annexes
http://www.whymeasurethat.com/2013/09/05/data-driven-web-site-progressive-enhancement/
http://www.kaushik.net/avinash/lean-analytics-cycle-metrics-hypothesis-experiment-act/
Étape 1: déterminer ce qu’il
faut améliorer.
• Peut-être en augmentant votre taux de conversion;
• Ou augmenter le nombre ...
Étape 2. Formuler une
hypothèse.
• Une campagne de marketing
• La refonte d’une application
• Un changement dans la façon ...
Définir le test
• Premièrement: Quelle est votre audience cible ?
• Deuxièmement: Que voulez-vous qu’ils fassent ?
• Troisi...
Mesurer et décider quoi
faire
• 1. Si le test a été un succès, vous êtes un héros.
Trouver la prochaine métrique cruciale ...
Le test a-t-il été un succès ?
Les cohortes
Découvrez le cycle que
suivent vos utilisateurs
Lire une analyse par cohortes
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily
Prochain SlideShare
Chargement dans…5
×

Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily

529 vues

Publié le

Implémenter un test A/B est une bonne chose, encore faut-il savoir y déterminer un résultat significatif pour améliorer l'experience utilisateurs. Gilles Barbier explique dans cette vidéo procéder pour qu'un test A/B soit le plus pertinent possible pour votre site web.

La vidéo : https://www.youtube.com/watch?v=Y5mBHBezCUI

At TheFamily, we believe that anyone can become a great entrepreneur. Find more info here: http://www.thefamily.co/

Par Gilles Barbier, Partner chez TheFamily - https://twitter.com/gillesbarbier

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
529
Sur SlideShare
0
Issues des intégrations
0
Intégrations
91
Actions
Partages
0
Téléchargements
45
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Statistiques 101 pour startups : déterminer un résultat - Gilles Barbier, Partner chez TheFamily

  1. 1. Statistics 101
  2. 2. Quelle est la meilleure version ? 100 100 14% 20% Impossible de dire ! Les différences ne sont statistiquement significatives.
  3. 3. Qu’est-ce que cela veut dire ? 100 100 14% 20% 8.5% – 22.1% 13.3% – 28.9% On a 95% de chance que la réalité soit dans les fourchettes suivantes :
  4. 4. Quelle est la meilleure version ? 1000 1000 14% 20% La version 2 est meilleure ! 12.0% – 16.3% 17.6% – 22.6%
  5. 5. Quelle est la meilleure version ? 1000 100 14% 20% Impossible de dire ! 12.0% – 16.3% 13.3% – 28.9%
  6. 6. Mon résultat est-il significatif ? http://www.evanmiller.org/ab-testing/chi-squared.html
  7. 7. Quelle est la meilleure version ? 1000 100 14% 30% La version 2 est meilleure ! 12.0% – 16.3% 21.9% – 39.6%
  8. 8. Comment dimensionner un A/B test pour être statistiquement significatif ? 5% ? ? Quelle taille d’échantillon si souhaitez de valider une différence > 10%? 30 244 (par branche)
  9. 9. Comment dimensionner un A/B test pour être statistiquement significatif ? 5% ? ? Quelle taille d’échantillon si souhaitez de valider une différence > 50%? 1273 (par branche)
  10. 10. Comment dimensionner un A/B test pour être statistiquement significatif ? http://www.evanmiller.org/ab-testing/sample-size.html
  11. 11. • Toujours tester les deux versions simultanément. Auprès d’une population homogène. • Ne pas tirer des conclusions trop tôt. Vérifier que le résultat est statistiquement significatif. • Evitez de surprendre les visiteurs réguliers. Restez homogènes • Privilégiez le deep-testing pour tirer des conclusions sur l’efficacité • Ne laissez pas votre instinct infirmer les résultats des tests. • Itérer, itérer, itérer http://www.optimisation-conversion.com/webanalytics/guide-du-test-ab-jouez-et-gagnez-a-tous-les-coups/ Synthèse sur les tests A/B
  12. 12. • Q1. Lorsque votre taux de conversion du site Web bondit de 10% à 12%, cela signifie une hausse de 2% du taux de conversion ou bien une hausse de 20% du taux de conversion ? • Q2. Pouvez-vous doubler vos ventes en doublant simplement votre budget marketing ? • Q3. Si le taux de conversion de la campagne « A » est de 10% et le taux de conversion campagne « B » est de 20%, est-ce que cela signifie que la campagne « B » est plus performante que la campagne « A » ? • Q4. Le temps moyen passé sur votre site web est de 5 minutes. Cela signifie-t-il que vos visiteurs sont restés en moyenne 5 minutes sur votre site ? Questionnaire
  13. 13. Corrélation vs. Causalité
  14. 14. Prochaines étapes
  15. 15. http://www.inc.com/daniel-kahneman/idea-lab-making-smarter-decisions.html
  16. 16. Annexes
  17. 17. http://www.whymeasurethat.com/2013/09/05/data-driven-web-site-progressive-enhancement/
  18. 18. http://www.kaushik.net/avinash/lean-analytics-cycle-metrics-hypothesis-experiment-act/
  19. 19. Étape 1: déterminer ce qu’il faut améliorer. • Peut-être en augmentant votre taux de conversion; • Ou augmenter le nombre d’utilisateurs qui s’inscrivent; • Ou avoir un plus de partage des contenus; • Ou diminuer le taux de désabonnement de votre service;
  20. 20. Étape 2. Formuler une hypothèse. • Une campagne de marketing • La refonte d’une application • Un changement dans la façon de pricer • Revoir les frais d’expédition selon les achats • Changer la façon d’attirer l’attention • L’utilisation d’une autre plate-forme • Modification les libellés des boutons • Tester une nouvelle fonctionnalité
  21. 21. Définir le test • Premièrement: Quelle est votre audience cible ? • Deuxièmement: Que voulez-vous qu’ils fassent ? • Troisièmement: Pourquoi devraient-ils le faire ? « Cherchez à savoir si [QUI] fera [QUOI] parce que [POURQUOI], suffisamment pour améliorer le KPI ciblé. »
  22. 22. Mesurer et décider quoi faire • 1. Si le test a été un succès, vous êtes un héros. Trouver la prochaine métrique cruciale à tester. • 2. Si le test est un véritable échec, nous devons revoir votre hypothèse. • 3. Si le test déplace la ligne, mais pas assez pour modifier les règles du jeu, vous pouvez exécuter un autre test en modifiant l’hypothèse d’après ce que le test vous a appris
  23. 23. Le test a-t-il été un succès ?
  24. 24. Les cohortes
  25. 25. Découvrez le cycle que suivent vos utilisateurs
  26. 26. Lire une analyse par cohortes

×