Le document traite des tests A/B, en mettant l'accent sur l'importance de la taille de l'échantillon et de la significativité statistique pour valider les résultats. Il fournit également des conseils pratiques sur la formulation d'hypothèses, la définition des tests et l'évaluation des résultats. Des questions clés sont posées pour illustrer des concepts sur les taux de conversion et les performances des campagnes.

1. Statistics 101

3. Quelle est la meilleure
version ?
100 100
14% 20%
Impossible de dire !
Les différences ne sont statistiquement significatives.

4. Qu’est-ce que cela veut dire ?
100 100
14% 20%
8.5% – 22.1% 13.3% – 28.9%
On a 95% de chance que la réalité soit dans les fourchettes
suivantes :

5. Quelle est la meilleure
version ?
1000 1000
14% 20%
La version 2 est meilleure !
12.0% – 16.3% 17.6% – 22.6%

6. Quelle est la meilleure
version ?
1000 100
14% 20%
Impossible de dire !
12.0% – 16.3% 13.3% – 28.9%

7. Mon résultat est-il significatif ?
http://www.evanmiller.org/ab-testing/chi-squared.html

8. Quelle est la meilleure
version ?
1000 100
14% 30%
La version 2 est meilleure !
12.0% – 16.3% 21.9% – 39.6%

10. Comment dimensionner un A/B test
pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez de valider une
différence > 10%?
30 244 (par branche)

11. Comment dimensionner un A/B test
pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez de valider une
différence > 50%?
1273 (par branche)

12. Comment dimensionner un A/B test
pour être statistiquement significatif ?
http://www.evanmiller.org/ab-testing/sample-size.html

13. • Toujours tester les deux versions simultanément. Auprès
d’une population homogène.
• Ne pas tirer des conclusions trop tôt. Vérifier que le
résultat est statistiquement significatif.
• Evitez de surprendre les visiteurs réguliers. Restez
homogènes
• Privilégiez le deep-testing pour tirer des conclusions sur
l’efficacité
• Ne laissez pas votre instinct infirmer les résultats des tests.
• Itérer, itérer, itérer
http://www.optimisation-conversion.com/webanalytics/guide-du-test-ab-jouez-et-gagnez-a-tous-les-coups/
Synthèse sur les tests A/B

14. • Q1. Lorsque votre taux de conversion du site Web bondit de 10% à 12%, cela signifie
une hausse de 2% du taux de conversion ou bien une hausse de 20% du taux de
conversion ?
• Q2. Pouvez-vous doubler vos ventes en doublant simplement votre budget marketing ?
• Q3. Si le taux de conversion de la campagne « A » est de 10% et le taux de conversion
campagne « B » est de 20%, est-ce que cela signifie que la campagne « B » est plus
performante que la campagne « A » ?
• Q4. Le temps moyen passé sur votre site web est de 5 minutes. Cela signifie-t-il que
vos visiteurs sont restés en moyenne 5 minutes sur votre site ?
Questionnaire

15. Corrélation vs. Causalité

19. Prochaines étapes

20. http://www.inc.com/daniel-kahneman/idea-lab-making-smarter-decisions.html

21. Annexes

22. http://www.whymeasurethat.com/2013/09/05/data-driven-web-site-progressive-enhancement/

23. http://www.kaushik.net/avinash/lean-analytics-cycle-metrics-hypothesis-experiment-act/

24. Étape 1: déterminer ce qu’il
faut améliorer.
• Peut-être en augmentant votre taux de conversion;
• Ou augmenter le nombre d’utilisateurs qui
s’inscrivent;
• Ou avoir un plus de partage des contenus;
• Ou diminuer le taux de désabonnement de votre
service;

25. Étape 2. Formuler une
hypothèse.
• Une campagne de marketing
• La refonte d’une application
• Un changement dans la façon de pricer
• Revoir les frais d’expédition selon les achats
• Changer la façon d’attirer l’attention
• L’utilisation d’une autre plate-forme
• Modification les libellés des boutons
• Tester une nouvelle fonctionnalité

26. Définir le test
• Premièrement: Quelle est votre audience cible ?
• Deuxièmement: Que voulez-vous qu’ils fassent ?
• Troisièmement: Pourquoi devraient-ils le faire ?
« Cherchez à savoir si [QUI] fera [QUOI] parce que
[POURQUOI], suffisamment pour améliorer le KPI ciblé. »

27. Mesurer et décider quoi
faire
• 1. Si le test a été un succès, vous êtes un héros.
Trouver la prochaine métrique cruciale à tester.
• 2. Si le test est un véritable échec, nous devons
revoir votre hypothèse.
• 3. Si le test déplace la ligne, mais pas assez pour
modifier les règles du jeu, vous pouvez exécuter un
autre test en modifiant l’hypothèse d’après ce que
le test vous a appris

28. Le test a-t-il été un succès ?

29. Les cohortes

31. Découvrez le cycle que
suivent vos utilisateurs

32. Lire une analyse par cohortes