Support de la session sur l'A/B testing présentée au PHP Tour 2011

1. Optimiser la performance business de votre site
avec l'A/B Testing
Gilles Laborderie
Directeur Technique Web & Mobile
Twitter : @g_laborderie

2. Twenga
 La plateforme de shopping
ouverte qui offre le plus
grand choix du web.
 Plus de 450 millions d’offres
venant de plus de 230 000
boutiques en ligne.
 Déployé dans 15 pays :
France, Royaume-
Uni, Espagne, Italie, Allemag
ne, Pays-
Bas, Belgique, Suisse, Polog
ne, Brésil, Russie, Etats-
Unis, Australie, Chine et
Japon

3. Agenda
 Qu’est-ce que l’A/B Testing ?
 Les bénéfices de l’A/B Testing
 Le processus d’A/B Testing
 L’A/B Testing chez Twenga
 Comprendre les limites de l’A/B Testing
 Bien se lancer

4. Qu’est-ce-que l’A/B Testing ?
 Une technique marketing pour tester et optimiser la performance
d’une proposition commerciale.
 Initialement utilisé pour les campagnes marketing par courrier
 Aujourd’hui, utilisé par les acteurs du Web pour optimiser la
performance des bannières publicitaires, des campagnes d’e-mailing
et des sites Web.
 Autres techniques similaires :
 Test A/B/N
 Test multivarié

5. A/B Testing en image
Version A
50 visiteurs 2 clics 8%
Conversion
4%
Version B
100 visiteurs
A B
50 visiteurs 4 clics

6. Pourquoi tester ?
 Parce que l’on améliore que ce que l’on mesure
 Parce qu’il n’existe pas de recommandations universelles
 Parce que c’est moins cher que d’acheter plus de trafic
 Parce qu’ils le font ! Amazon, Google, Microsoft, etc.

7. Que peut-on tester ?
 Bannière publicitaire
 Email (titre – message)
 Landing page
 Pages Web

8. Un exemple de test A/B sur une landing page
+60%
Version de contrôle Variation
Copyright Abtests.com

9. Un exemple de test A/B/C sur une page d’accueil
Version
de contrôle
+67,8% +23%
Version A Version B
Copyright Anne Holland Ventures, Inc. http://whichtestwon.com/

10. Un exemple de test A/B sur un élément de design
Version de contrôle
+28%
Variation
Copyright Wingify

11. Agenda
 Qu’est-ce que l’A/B Testing ?
 Les bénéfices de l’A/B Testing
 Le processus d’A/B Testing
 L’A/B Testing chez Twenga
 Comprendre les limites de l’A/B Testing
 Bien se lancer

12. Bénéfices de l’A/B testing
 Expérience en conditions réelles
 Technique peu onéreuse
 Peut détecter de petites variations de performance

13. Agenda
 Qu’est-ce que l’A/B Testing ?
 Les bénéfices de l’A/B Testing
 Le processus d’A/B Testing
 L’A/B Testing chez Twenga
 Comprendre les limites de l’A/B Testing
 Bien se lancer

14. Processus d’A/B Testing
Définition de
l’expérience
Analyse Implémentation
Expérience

15. 1. Définition de l’expérience
 Définir l’indicateur / métrique à optimiser et le champs de contraintes
 Définir la(les) version(s)
 Forme : mise en page, couleurs, positions, etc.
 Contenu : titres, textes, images, formulaires, etc.
 Concept : tarification, promotions, etc.
 Définir les paramètres de l’expérience
 Segmentation des utilisateurs
 Répartition du trafic entre les différentes versions
 Durée (utiliser un outil pour calculer la durée)

16. 2. Implémentation
 Développement des versions
 Création et configuration du test
 Frameworks PHP  Outils commerciaux
 phpA/B  Google Website Optimizer
 phpScenario  Visual Web Optimizer
 Optimizely
 Omniture's Test & Target
 Webtrends Optimize
 Etc.
 Déploiement des versions
 Recetter toutes les versions comme une version de production !

17. 2. Implémentation – les frameworks
 Configuration du test
 Déclaratif dans le code PHP / fichiers de configuration
 OU Stocké en BD / Cache
 Implémentation des versions
<?php
if (MyFramework::IsControl('my_test')) {
// control version
} else {
// alternate version
}
?>

18. 2. Implémentation – Les solutions commerciales
GET /2345/test.js 1. Configure un test A/B
EasyTesting.com
Chef de produit
MyShop.com
GET /
2. Insère le script JS
Internaute
MyShop.com

19. 3. Expérience
 Mise en ligne de l’expérience
 Expérience
 Utiliser un outil statistique pour définir la durée de l’expérience
Source
 Mise hors ligne à la fin de l’expérience
 Automatiquement ou manuellement

20. 4. Analyse
 Compilation des résultats
 Récupération des métriques
- Métrique à optimiser ET champs de contrainte
 Agrégation des métriques
 Analyse des résultats
 Analyse, mise en forme, etc.
 Analyse de la fiabilité des résultats
 Conclusion de l’expérience Source
 Synthèse de l’expérience et des résultats
 Recommandation

21. 4. Analyse – Un peu de statistiques
 Il est nécessaire de calculer la fiabilité statistique des résultats
observés avant de conclure
 Test Khi2
1. Calculer la valeur Khi2
2. La valeur Khi2 donne le niveau de confiance que les résultats soient
significatifs
Confiance 95% 99% 99,9%
Khi2 > 3,8 6,6 10,8
 La test Khi2 dépend en particulier du nombre d’observations
 Plus le site a de trafic, moins longtemps il faudra pour conclure sur la fiabilité
des observations

22. Agenda
 Qu’est-ce que l’A/B Testing ?
 Les bénéfices de l’A/B Testing
 Le processus d’A/B Testing
 L’A/B Testing chez Twenga
 Comprendre les limites de l’A/B Testing
 Bien se lancer

23. A/B Testing chez Twenga
 Un test à la fois
 Généralement sur un pays
 Optimisation d’indicateur business sous contraintes de KPI
 Pages vues par visite
 Taux de rebond
 Taux de conversion
 Revenu par visite
 Temps passé sur le site
 Utilisation d’un framework PHP maison
 Essentiellement pour des raisons de performance

24. Framework d’A/B Testing (1/2)
Créer un
nouveau test
Test en cours
Historique
des tests

25. Framework d’A/B Testing (2/2)
Versions
et répartition
Identifiant
du test
Version
par défaut

26. Premier exemple : bannière animée vs. Image fixe (1/2)
 Objectif du test : déterminer quel format génère le plus de clics
Version A
Version B

27. Premier exemple : bannière animée vs. Image fixe (2/2)
 Tableau récapitulatif des Pages vues / Clics
Pages vues Clics Taux de clics
FLASH 3 361 008 1 014 0,030%
PNG 3 370 304 2 870 0,085%
 Significativité
Test du Khi²
Khi² de notre série (FLASH vs. PNG) 881,28
Khi² à dépasser avec 99,9% de confiance 10,83
 Le résultat est hautement significatif avec 99% de confiance.
 Conclusion
 La version PNG performe plus que la version FLASH

28. Deuxième exemple : filtre de prix (1/2)
 Objectif du test : déterminer comment les internautes préfèrent filtrer par
prix
 Version A  Version B
 Tranches de prix pré-déterminés  Slider de prix

29. Deuxième exemple : filtre de prix (2/2)
 Le taux d'utilisation du filtre PRIX est impacté par la forme de ce
filtre.
 La version A (tranches de prix) a un taux d'utilisation 1,33 x plus important que
la version B (slider de prix).
 Cette différence est hautement significative.
Taux d'utilisation du filtre
2.5%
2.0%
1.5%
1.0%
0.5%
0.0%
Price Range Price Slider

30. A/B Testing chez Twenga
 Ces résultats sont contextuels et ne sont pas généralisable
 Nous complétons les tests A/B par des tests utilisateurs
 Permet de tester des prototypes (voire des prototypes papier)
 Permet d’avoir une approche plus orientée utilisateur

31. Agenda
 Qu’est-ce que l’A/B Testing ?
 Les bénéfices de l’A/B Testing
 Le processus d’A/B Testing
 L’A/B Testing chez Twenga
 Comprendre les limites de l’A/B Testing
 Bien se lancer

32. Comprendre les limites de l’A/B Testing
 Nécessite de développer, recetter et déployer toutes les versions
 N’évalue que les versions testées
 Ne favorise pas la compréhension profonde du comportement des
utilisateurs
 Ne fonctionne que pour ce qui est mesurable par une session HTTP
 Orienté court-terme
 Peut conduire à un maximum local

33. Agenda
 Qu’est-ce que l’A/B Testing ?
 Les bénéfices de l’A/B Testing
 Le processus d’A/B Testing
 L’A/B Testing chez Twenga
 Comprendre les limites de l’A/B Testing
 Bien se lancer

34. Bien se lancer
 Commencer par :
 Les pages les plus visitées
 Les pages avec le plus grand taux de rebond
 Les tunnels business
- Inscription
- Achat
 A ne pas faire  A faire
 Tester les versions  Vérifier la fiabilité de vos tests
séquentiellement  Montrer la même variation aux
 Faire plusieurs tests à la fois utilisateurs
 Perturber vos utilisateurs  Vérifier la cohérence générale
 Partager les résultats en interne

35. Ressources utiles
 ABtests.com
 Which Test Won?
 Free A/B Split Testing Tools

36. Q&A
Twenga recrute !
http://recrute.twenga.fr/