Implémenter un test A/B est une bonne chose, encore faut-il savoir y déterminer un résultat significatif pour améliorer l'experience utilisateurs. Gilles Barbier explique dans cette vidéo procéder pour qu'un test A/B soit le plus pertinent possible pour votre site web. La vidéo : https://www.youtube.com/watch?v=Y5mBHBezCUI At TheFamily, we believe that anyone can become a great entrepreneur. Find more info here: http://www.thefamily.co/ Par Gilles Barbier, Partner chez TheFamily - https://twitter.com/gillesbarbier

1. Statistics 101

3. Quelle est la meilleure
version ?
100 100
14% 20%
Impossible de dire !
Les différences ne sont statistiquement significatives.

4. Qu’est-ce que cela veut dire ?
100 100
14% 20%
8.5% – 22.1% 13.3% – 28.9%
On a 95% de chance que la réalité soit dans les fourchettes
suivantes :

5. Quelle est la meilleure
version ?
1000 1000
14% 20%
La version 2 est meilleure !
12.0% – 16.3% 17.6% – 22.6%

6. Quelle est la meilleure
version ?
1000 100
14% 20%
Impossible de dire !
12.0% – 16.3% 13.3% – 28.9%

7. Mon résultat est-il significatif ?
http://www.evanmiller.org/ab-testing/chi-squared.html

8. Quelle est la meilleure
version ?
1000 100
14% 30%
La version 2 est meilleure !
12.0% – 16.3% 21.9% – 39.6%

10. Comment dimensionner un A/B test
pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez de valider une
différence > 10%?
30 244 (par branche)

11. Comment dimensionner un A/B test
pour être statistiquement significatif ?
5%
? ?
Quelle taille d’échantillon si souhaitez de valider une
différence > 50%?
1273 (par branche)

12. Comment dimensionner un A/B test
pour être statistiquement significatif ?
http://www.evanmiller.org/ab-testing/sample-size.html

13. • Toujours tester les deux versions simultanément. Auprès
d’une population homogène.
• Ne pas tirer des conclusions trop tôt. Vérifier que le
résultat est statistiquement significatif.
• Evitez de surprendre les visiteurs réguliers. Restez
homogènes
• Privilégiez le deep-testing pour tirer des conclusions sur
l’efficacité
• Ne laissez pas votre instinct infirmer les résultats des tests.
• Itérer, itérer, itérer
http://www.optimisation-conversion.com/webanalytics/guide-du-test-ab-jouez-et-gagnez-a-tous-les-coups/
Synthèse sur les tests A/B

14. • Q1. Lorsque votre taux de conversion du site Web bondit de 10% à 12%, cela signifie
une hausse de 2% du taux de conversion ou bien une hausse de 20% du taux de
conversion ?
• Q2. Pouvez-vous doubler vos ventes en doublant simplement votre budget marketing ?
• Q3. Si le taux de conversion de la campagne « A » est de 10% et le taux de conversion
campagne « B » est de 20%, est-ce que cela signifie que la campagne « B » est plus
performante que la campagne « A » ?
• Q4. Le temps moyen passé sur votre site web est de 5 minutes. Cela signifie-t-il que
vos visiteurs sont restés en moyenne 5 minutes sur votre site ?
Questionnaire

15. Corrélation vs. Causalité

19. Prochaines étapes

20. http://www.inc.com/daniel-kahneman/idea-lab-making-smarter-decisions.html

21. Annexes

22. http://www.whymeasurethat.com/2013/09/05/data-driven-web-site-progressive-enhancement/

23. http://www.kaushik.net/avinash/lean-analytics-cycle-metrics-hypothesis-experiment-act/

24. Étape 1: déterminer ce qu’il
faut améliorer.
• Peut-être en augmentant votre taux de conversion;
• Ou augmenter le nombre d’utilisateurs qui
s’inscrivent;
• Ou avoir un plus de partage des contenus;
• Ou diminuer le taux de désabonnement de votre
service;

25. Étape 2. Formuler une
hypothèse.
• Une campagne de marketing
• La refonte d’une application
• Un changement dans la façon de pricer
• Revoir les frais d’expédition selon les achats
• Changer la façon d’attirer l’attention
• L’utilisation d’une autre plate-forme
• Modification les libellés des boutons
• Tester une nouvelle fonctionnalité

26. Définir le test
• Premièrement: Quelle est votre audience cible ?
• Deuxièmement: Que voulez-vous qu’ils fassent ?
• Troisièmement: Pourquoi devraient-ils le faire ?
« Cherchez à savoir si [QUI] fera [QUOI] parce que
[POURQUOI], suffisamment pour améliorer le KPI ciblé. »

27. Mesurer et décider quoi
faire
• 1. Si le test a été un succès, vous êtes un héros.
Trouver la prochaine métrique cruciale à tester.
• 2. Si le test est un véritable échec, nous devons
revoir votre hypothèse.
• 3. Si le test déplace la ligne, mais pas assez pour
modifier les règles du jeu, vous pouvez exécuter un
autre test en modifiant l’hypothèse d’après ce que
le test vous a appris

28. Le test a-t-il été un succès ?

29. Les cohortes

31. Découvrez le cycle que
suivent vos utilisateurs

32. Lire une analyse par cohortes