Optimiser la performance business de votre site                   avec lA/B TestingGilles LaborderieDirecteur Technique We...
Twenga          La plateforme de shopping           ouverte qui offre le plus           grand choix du web.          Plu...
Agenda   Qu’est-ce que l’A/B Testing ?   Les bénéfices de l’A/B Testing   Le processus d’A/B Testing   L’A/B Testing c...
Qu’est-ce-que l’A/B Testing ? Une technique marketing pour tester et optimiser la performance  d’une proposition commerci...
A/B Testing en image                               Version A                50 visiteurs               2 clics            ...
Pourquoi tester ? Parce que l’on améliore que ce que l’on mesure Parce qu’il n’existe pas de recommandations universelle...
Que peut-on tester ? Bannière publicitaire Email (titre – message) Landing page Pages Web
Un exemple de test A/B sur une landing page                                      +60%          Version de contrôle        ...
Un exemple de test A/B/C sur une page d’accueil            Version          de contrôle               +67,8%              ...
Un exemple de test A/B sur un élément de design                    Version de contrôle                                    ...
Agenda   Qu’est-ce que l’A/B Testing ?   Les bénéfices de l’A/B Testing   Le processus d’A/B Testing   L’A/B Testing c...
Bénéfices de l’A/B testing Expérience en conditions réelles Technique peu onéreuse Peut détecter de petites variations ...
Agenda   Qu’est-ce que l’A/B Testing ?   Les bénéfices de l’A/B Testing   Le processus d’A/B Testing   L’A/B Testing c...
Processus d’A/B Testing                          Définition de                          l’expérience               Analyse...
1. Définition de l’expérience Définir l’indicateur / métrique à optimiser et le champs de contraintes Définir la(les) ve...
2. Implémentation Développement des versions Création et configuration du test    Frameworks PHP                      ...
2. Implémentation – les frameworks Configuration du test    Déclaratif dans le code PHP / fichiers de configuration    ...
2. Implémentation – Les solutions commerciales               GET /2345/test.js                 1. Configure un test A/B   ...
3. Expérience Mise en ligne de l’expérience Expérience    Utiliser un outil statistique pour définir la durée de l’expé...
4. Analyse Compilation des résultats    Récupération des métriques        - Métrique à optimiser ET champs de contrainte...
4. Analyse – Un peu de statistiques Il est nécessaire de calculer la fiabilité statistique des résultats  observés avant ...
Agenda   Qu’est-ce que l’A/B Testing ?   Les bénéfices de l’A/B Testing   Le processus d’A/B Testing   L’A/B Testing c...
A/B Testing chez Twenga Un test à la fois Généralement sur un pays Optimisation d’indicateur business sous contraintes ...
Framework d’A/B Testing (1/2)   Créer unnouveau testTest en cours  Historique   des tests
Framework d’A/B Testing (2/2)     Versionset répartition   Identifiant      du test     Version  par défaut
Premier exemple : bannière animée vs. Image fixe (1/2) Objectif du test : déterminer quel format génère le plus de clicsV...
Premier exemple : bannière animée vs. Image fixe (2/2) Tableau récapitulatif des Pages vues / Clics                      ...
Deuxième exemple : filtre de prix (1/2) Objectif du test : déterminer comment les internautes préfèrent filtrer par  prix...
Deuxième exemple : filtre de prix (2/2) Le taux dutilisation du filtre PRIX est impacté par la forme de ce  filtre.    L...
A/B Testing chez Twenga Ces résultats sont contextuels et ne sont pas généralisable Nous complétons les tests A/B par de...
Agenda   Qu’est-ce que l’A/B Testing ?   Les bénéfices de l’A/B Testing   Le processus d’A/B Testing   L’A/B Testing c...
Comprendre les limites de l’A/B Testing Nécessite de développer, recetter et déployer toutes les versions N’évalue que l...
Agenda   Qu’est-ce que l’A/B Testing ?   Les bénéfices de l’A/B Testing   Le processus d’A/B Testing   L’A/B Testing c...
Bien se lancer Commencer par :    Les pages les plus visitées    Les pages avec le plus grand taux de rebond    Les tu...
Ressources utiles ABtests.com Which Test Won? Free A/B Split Testing Tools
Q&A    Twenga recrute !http://recrute.twenga.fr/
Prochain SlideShare
Chargement dans…5
×

Optimiser la performance business de votre site avec l'A/B Testing

1 593 vues

Publié le

Support de la session sur l'A/B testing présentée au PHP Tour 2011

0 commentaire
2 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 593
Sur SlideShare
0
Issues des intégrations
0
Intégrations
39
Actions
Partages
0
Téléchargements
36
Commentaires
0
J’aime
2
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Optimiser la performance business de votre site avec l'A/B Testing

  1. 1. Optimiser la performance business de votre site avec lA/B TestingGilles LaborderieDirecteur Technique Web & MobileTwitter : @g_laborderie
  2. 2. Twenga  La plateforme de shopping ouverte qui offre le plus grand choix du web.  Plus de 450 millions d’offres venant de plus de 230 000 boutiques en ligne.  Déployé dans 15 pays : France, Royaume- Uni, Espagne, Italie, Allemag ne, Pays- Bas, Belgique, Suisse, Polog ne, Brésil, Russie, Etats- Unis, Australie, Chine et Japon
  3. 3. Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
  4. 4. Qu’est-ce-que l’A/B Testing ? Une technique marketing pour tester et optimiser la performance d’une proposition commerciale. Initialement utilisé pour les campagnes marketing par courrier Aujourd’hui, utilisé par les acteurs du Web pour optimiser la performance des bannières publicitaires, des campagnes d’e-mailing et des sites Web. Autres techniques similaires :  Test A/B/N  Test multivarié
  5. 5. A/B Testing en image Version A 50 visiteurs 2 clics 8% Conversion 4% Version B100 visiteurs A B 50 visiteurs 4 clics
  6. 6. Pourquoi tester ? Parce que l’on améliore que ce que l’on mesure Parce qu’il n’existe pas de recommandations universelles Parce que c’est moins cher que d’acheter plus de trafic Parce qu’ils le font ! Amazon, Google, Microsoft, etc.
  7. 7. Que peut-on tester ? Bannière publicitaire Email (titre – message) Landing page Pages Web
  8. 8. Un exemple de test A/B sur une landing page +60% Version de contrôle VariationCopyright Abtests.com
  9. 9. Un exemple de test A/B/C sur une page d’accueil Version de contrôle +67,8% +23% Version A Version BCopyright Anne Holland Ventures, Inc. http://whichtestwon.com/
  10. 10. Un exemple de test A/B sur un élément de design Version de contrôle +28% VariationCopyright Wingify
  11. 11. Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
  12. 12. Bénéfices de l’A/B testing Expérience en conditions réelles Technique peu onéreuse Peut détecter de petites variations de performance
  13. 13. Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
  14. 14. Processus d’A/B Testing Définition de l’expérience Analyse Implémentation Expérience
  15. 15. 1. Définition de l’expérience Définir l’indicateur / métrique à optimiser et le champs de contraintes Définir la(les) version(s)  Forme : mise en page, couleurs, positions, etc.  Contenu : titres, textes, images, formulaires, etc.  Concept : tarification, promotions, etc. Définir les paramètres de l’expérience  Segmentation des utilisateurs  Répartition du trafic entre les différentes versions  Durée (utiliser un outil pour calculer la durée)
  16. 16. 2. Implémentation Développement des versions Création et configuration du test  Frameworks PHP  Outils commerciaux  phpA/B  Google Website Optimizer  phpScenario  Visual Web Optimizer  Optimizely  Omnitures Test & Target  Webtrends Optimize  Etc. Déploiement des versions  Recetter toutes les versions comme une version de production !
  17. 17. 2. Implémentation – les frameworks Configuration du test  Déclaratif dans le code PHP / fichiers de configuration  OU Stocké en BD / Cache Implémentation des versions <?php if (MyFramework::IsControl(my_test)) { // control version } else { // alternate version } ?>
  18. 18. 2. Implémentation – Les solutions commerciales GET /2345/test.js 1. Configure un test A/B EasyTesting.com Chef de produit MyShop.com GET / 2. Insère le script JSInternaute MyShop.com
  19. 19. 3. Expérience Mise en ligne de l’expérience Expérience  Utiliser un outil statistique pour définir la durée de l’expérience Source Mise hors ligne à la fin de l’expérience  Automatiquement ou manuellement
  20. 20. 4. Analyse Compilation des résultats  Récupération des métriques - Métrique à optimiser ET champs de contrainte  Agrégation des métriques Analyse des résultats  Analyse, mise en forme, etc.  Analyse de la fiabilité des résultats Conclusion de l’expérience Source  Synthèse de l’expérience et des résultats  Recommandation
  21. 21. 4. Analyse – Un peu de statistiques Il est nécessaire de calculer la fiabilité statistique des résultats observés avant de conclure Test Khi2 1. Calculer la valeur Khi2 2. La valeur Khi2 donne le niveau de confiance que les résultats soient significatifs Confiance 95% 99% 99,9% Khi2 > 3,8 6,6 10,8 La test Khi2 dépend en particulier du nombre d’observations  Plus le site a de trafic, moins longtemps il faudra pour conclure sur la fiabilité des observations
  22. 22. Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
  23. 23. A/B Testing chez Twenga Un test à la fois Généralement sur un pays Optimisation d’indicateur business sous contraintes de KPI  Pages vues par visite  Taux de rebond  Taux de conversion  Revenu par visite  Temps passé sur le site Utilisation d’un framework PHP maison  Essentiellement pour des raisons de performance
  24. 24. Framework d’A/B Testing (1/2) Créer unnouveau testTest en cours Historique des tests
  25. 25. Framework d’A/B Testing (2/2) Versionset répartition Identifiant du test Version par défaut
  26. 26. Premier exemple : bannière animée vs. Image fixe (1/2) Objectif du test : déterminer quel format génère le plus de clicsVersion A Version B
  27. 27. Premier exemple : bannière animée vs. Image fixe (2/2) Tableau récapitulatif des Pages vues / Clics Pages vues Clics Taux de clics FLASH 3 361 008 1 014 0,030% PNG 3 370 304 2 870 0,085% Significativité Test du Khi² Khi² de notre série (FLASH vs. PNG) 881,28 Khi² à dépasser avec 99,9% de confiance 10,83  Le résultat est hautement significatif avec 99% de confiance. Conclusion  La version PNG performe plus que la version FLASH
  28. 28. Deuxième exemple : filtre de prix (1/2) Objectif du test : déterminer comment les internautes préfèrent filtrer par prix Version A  Version B  Tranches de prix pré-déterminés  Slider de prix
  29. 29. Deuxième exemple : filtre de prix (2/2) Le taux dutilisation du filtre PRIX est impacté par la forme de ce filtre.  La version A (tranches de prix) a un taux dutilisation 1,33 x plus important que la version B (slider de prix).  Cette différence est hautement significative. Taux dutilisation du filtre 2.5% 2.0% 1.5% 1.0% 0.5% 0.0% Price Range Price Slider
  30. 30. A/B Testing chez Twenga Ces résultats sont contextuels et ne sont pas généralisable Nous complétons les tests A/B par des tests utilisateurs  Permet de tester des prototypes (voire des prototypes papier)  Permet d’avoir une approche plus orientée utilisateur
  31. 31. Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
  32. 32. Comprendre les limites de l’A/B Testing Nécessite de développer, recetter et déployer toutes les versions N’évalue que les versions testées Ne favorise pas la compréhension profonde du comportement des utilisateurs Ne fonctionne que pour ce qui est mesurable par une session HTTP Orienté court-terme Peut conduire à un maximum local
  33. 33. Agenda Qu’est-ce que l’A/B Testing ? Les bénéfices de l’A/B Testing Le processus d’A/B Testing L’A/B Testing chez Twenga Comprendre les limites de l’A/B Testing Bien se lancer
  34. 34. Bien se lancer Commencer par :  Les pages les plus visitées  Les pages avec le plus grand taux de rebond  Les tunnels business - Inscription - Achat A ne pas faire  A faire  Tester les versions  Vérifier la fiabilité de vos tests séquentiellement  Montrer la même variation aux  Faire plusieurs tests à la fois utilisateurs  Perturber vos utilisateurs  Vérifier la cohérence générale  Partager les résultats en interne
  35. 35. Ressources utiles ABtests.com Which Test Won? Free A/B Split Testing Tools
  36. 36. Q&A Twenga recrute !http://recrute.twenga.fr/

×