1.
1Converteo e-business Consulting / Tout savoir sur le testing
Tout savoir sur le testing
Méthodes, bonnes pratiques, pièges à éviter
Thomas Faivre-Duboz, Directeur Associé
Converteo, e-Business Consulting
E-commerce Paris, 26 septembre 2013

2.
2Converteo e-business Consulting / Tout savoir sur le testing
Converteo – Le conseil expert du digital
 Converteo est un cabinet de conseil spécialisé dans l’amélioration de la performance e-business de ses
clients. Notre équipe est constituée uniquement de consultants de haut niveau agissant en complément de
vos prestataires opérationnels existants (agence web ou full service, spécialiste référencement, …).
 Nous aidons nos clients à cadrer, implémenter et optimiser leur stratégie digitale
 Quelques exemples de mission
– Audit et optimisation de la performance d’un site e-Commerce leader français
– Audit et optimisation du plan média online (attribution / multitouch / cross-canal)
– Mise en place d’une démarche de mesure online analytics groupe
(KPIs, implémentation, définition de reportings)
– Assistance à maîtrise d’ouvrage sur un projet de refonte pour un grand voyagiste français
– Définition d’un business plan et des projets cross-canal à 5 ans
– Accompagnement annuel performance (reporting, suivi, recommandations, AMOA) pour un e-Commerce B2C
 Nous travaillons avec plus d’une centaine de clients B2C, B2B, marques, médias
 Deux livres :
– WEB CONVERSION,
Stratégies pour convertir vos visiteurs en clients
Publié en mai 2009, Editions Dunod
– LE WEBMARKETING, Définir sa stratégie web, Construire sa visibilité,
Générer du business à l’aide d’Internet
Publié en octobre 2011, Editions Dunod

3.
3Converteo e-business Consulting / Tout savoir sur le testing
Notre expertise testing
 Une douzaine de clients « testing » variés (e-commerçants, télécoms, VADistes, média)
 Plus d’une centaine de tests menés
 Une méthodologie éprouvée
Les solutions que nous recommandons et que nous utilisons
 Choix de l’outil de testing
 Identification du périmètre de test
 Définition des KPIs
 Définition d’une durée pertinente
de test et d’une période adaptée
 Proposition de maquettes
fonctionnelles optimisées
 Accompagnement des équipes
 Paramétrage de l’outil et
validation de la correcte
exécution du test
 Validation statistique des
résultats
 Mesure des gains potentiels du
test
 Identification de la variante à
implémenter
1. PLANIFICATION 2. REALISATION 3. ANALYSE

4.
4Converteo e-business Consulting / Tout savoir sur le testing
 Testing A/B « split » sur la page d’accueil téléphonie
mobile, page à très fort trafic (été 2012)
 Résultats obtenus :
– Taux de conversion final acquisition clients
mobile + 6%
Exemple de tests réalisés par Converteo pour ses clients :
SFR, aLittleMarket.com
 Mise en place d’une démarche d’optimisation continue
 Tests réalisés :
– Entonnoir de conversion : +14% pour le taux de
conversion
– Pages boutique : +19% de CA / visite
– Pages création : +27% de CA / visite
– Page création fonctionnalité « Mettre de coté » : +70% de
mise de coté

5.
5Converteo e-business Consulting / Tout savoir sur le testing
Qu’est-ce que le testing ?
Test A/B
Taux de
conversion
7%
Originale
Variante 1
Variante 2
Redirection
aléatoire
Taux de
conversion
5%
Taux de
conversion
13%

6.
6Converteo e-business Consulting / Tout savoir sur le testing
Le testing comme culture
1 : http://blog.hubspot.com/blog/tabid/6307/bid/17695/Why-Internet-Marketers-Must-Always-Be-Testing.aspx
” Beaucoup de gens ne le savent pas,
mais il y a, en permanence, environ 200
tests actifs sur le site”1
” Google a mené près de 12 000 tests
en 2009. Seulement 10% de ces
tests ont eu un impact sur l’activité de
Google.” 2
2 : http://www.growthgiant.com/blog/lean-website-optimization-we-dont-know-anything/

7.
7Converteo e-business Consulting / Tout savoir sur le testing
Quels éléments peut-on tester ?
 Texte de rassurance
 Message de call-to-action
 Elasticité prix
 Nouvelle fonctionnalité
LE FOND LA FORME
 Ergonomie
 Structure de page
 Processus
– Nombre d’étapes
– Ordre des étapes
 Graphisme
– Couleur de boutons
– Images / créations
Potentiellement, tout peut être testé…mais tout n’est cependant pas à tester :
 On ne peut tester que ce que l’on peut mesurer
 Il faut savoir arbitrer entre gain potentiel et coût de mise en place du test
QUELQUES EXEMPLES D’ELEMENTS A TESTER

8.
8Converteo e-business Consulting / Tout savoir sur le testing
Le testing au cœur de la démarche d’amélioration au continue
Collecte
des données
1
Décider5
Testing des alternatives proposées
Outils : test A/B, split test, test multivarié
Proposer3
Tester4
Analyser2
Recueil de données sur le comportement et la perception des visiteurs
Outils : web-analyse, CRM, questionnaires, focus group, etc.
Mise en place fonctionnelle des recommandations
Outils : storyboards, maquettes, développements
Analyse et croisement des données collectées de manière à identifier
des zones d’action et formuler des recommandations
Outils : reportings, tableaux de bord, analyses ad hoc
Analyse des résultats du test et implémentation de la version gagnante
Outils : web-analyse, click-track, étude de l’expérience utilisateur

9.
9Converteo e-business Consulting / Tout savoir sur le testing
Les différentes étapes du processus de testing
Mise en place
Configuration du test dans l’outil de testing
Analyse des résultats
Identification de la variante gagnante
Implémentation
Développement et passage en production de la version gagnante
Définition du test
Définition des variables du test (fiche de test)
Identification et planification des tests
Définition de la roadmap des tests (plan de test)

10.
10Converteo e-business Consulting / Tout savoir sur le testing
Comment identifier les zones d’amélioration de la performance ?
Mauvaise performance
intrinsèque de la page
- Mauvaise user experience
- Faible taux de clic sur les
boutons d’action
- Faible taux de passage
- Fort taux de rebond
- Fort taux de sortie
Page avec un fort trafic X
Equation Converteo du potentiel d’amélioration de la performance d’une page
X Proximité avec la fin du
tunnel de conversion
Données de webanalyse Outils de click-tracking
Etude de l’expérience
utilisateur
Moyens
d’identification
?

11.
11Converteo e-business Consulting / Tout savoir sur le testing
Une démarche itérative, mais aussi expérimentale…
Source : http://insideintercom.io/criticism-and-two-way-streets/

12.
12Converteo e-business Consulting / Tout savoir sur le testing
La période de test doit être choisie de manière à être la plus représentative
d’une période « normale » du site
A NE PAS FAIRE
- Choisir une période avec une trop faible quantité de trafic
- Lancer un test pendant une période où d’autres tests actifs peuvent en
impacter les résultats
- Faire durer un test moins d’une semaine : les effets semaine/week-end
peuvent souvent inverser les résultats
A FAIRE
- Choisir une période avec une quantité de trafic suffisamment importante pour
atteindre la représentativité statistique rapidement
- Prévoir ses tests suffisamment à l’avance pour que toutes les parties
prenantes du test soient disponibles (IT, webdesign, intégration, prestataires)
A FAIRE AVEC PRECAUTION
- Choisir une période « anormale » (période de Noël, de soldes par exemple)
- Choisir une période avec l’activation d’une fonctionnalité « temporaire » du
site (période avec un habillage particulier par exemple)

13.
13Converteo e-business Consulting / Tout savoir sur le testing
Indispensable : un temps suffisant pour atteindre la représentativité statistique
Visiteurs uniques
sur site / semaine
Tx de conv.
+5%
Tx de conv.
+10%
Tx de conv.
+15%
Tx de conv.
+20%
10 000 30 semaines 8 semaines 4 semaines 2 semaines
100 000 3 semaines 6 jours 3 jours 2 jours
500 000 5 jours 2 jours < 1 jour < 1 jour
1 000 000 3 jours < 1 jour < 1 jour < 1 jour
Durées indicatives pour atteindre une représentativité statistique de 95%
avec un taux de conversion constaté de la page actuelle de 1,5% et pour 1 seule variante testée face à l’originale
Total des visiteurs du site depuis sa création
Echantillon testé
Lors d’un test, on essaie de
prévoir le comportement
hypothétique de la totalité
des visiteurs du site à partir
d’un échantillon de visiteurs

14.
14Converteo e-business Consulting / Tout savoir sur le testing
Lançons-nous : les différentes étapes de la mise en place d’un test
Création de maquettes des évolutions attendues sur la base de recommandations
issues de la phase d’analyse.
VS.
1. Maquettage fonctionnel
2. Maquettes graphiques et intégration
Configuration des variables du test : type de test, ciblage, échantillonnage,
redirections, nombre de variantes, lien avec un outil de web-analyse, etc.
3. Paramétrage de l’outil de testing
Habillage des maquettes fonctionnelles et intégration des maquettes graphiques
4. Lancement du test
Lancement du test et validation de sa bonne exécution

15.
15Converteo e-business Consulting / Tout savoir sur le testing
Les différents types de tests : le split test
Exemple de test
Test d’une version
alternative de page
produit
Version originale
Page variante
Split Test : pour tester une page contre une autre page très différente,
hébergée de manière indépendante

16.
16Converteo e-business Consulting / Tout savoir sur le testing
Les différents types de tests : le test A/B
JE DECOUVRE
Exemple de test
Changement de
wording sur un
bouton d’action
JE COMMANDE
Version originale
Version variante
Test A/B: pour tester un élément au sein d’une seule et même page

17.
17Converteo e-business Consulting / Tout savoir sur le testing
Les différents types de tests : le test multivarié
Source : editionsatlas.fr
Je découvre
Je découvre
Je commande
Je commande
Nos coups de cœur
Nos meilleures ventes
Nos coups de cœur
Nos meilleures ventes
Variable 1 Variable 2
Combinaison 1
Combinaison 2
Combinaison 3
Combinaison 4
Exemple de test
Combinaison de formulations différentes pour des boutons
d’action de la homepage
Test multivarié: pour tester plusieurs éléments simultanément au sein d’une seule et même page

18.
18Converteo e-business Consulting / Tout savoir sur le testing
Le test a été mené : comment interpréter les résultats ?
1. Au sein de la
solution de
testing
(Kameleoon, AB
Tasty, Adobe Target,
Visual Website
Optimizer, …)
2. Au sein de
l’outil de
webanalytics
(Google Analytics,
Adobe Analytics, AT
Internet, …

19.
19Converteo e-business Consulting / Tout savoir sur le testing
Erreur à éviter N°1 : ne regarder QUE le taux de conversion
Source : alittlemarket.fr
Page produit originale Variante
Taux de conversion : 1% Taux de conversion : 1,3%
Il est impossible d’établir un vainqueur si on ne regarde pas l’évolution du panier moyen !
Une diminution de ce dernier peut fausser le jugement fondé sur le seul taux de conversion.
Représentativité statistique des résultats : 98%
Quelle est la version gagnante ?

20.
20Converteo e-business Consulting / Tout savoir sur le testing
Erreur à éviter N°2 : impact local vs. impact global
Panier
Témoin : 100
Test : 100
Infos
Témoin : 80
Test : 85
Livraison
Témoin : 40
Test : 43
Paiement
Témoin : 38
Test : 32
Confirmation
Témoin : 15
Test : 12
+5% 0% 0%-20%
-3%
Le choix des indicateurs de performance doit permettre d’évaluer l’impact d’une variante
sur la performance globale du site
Exemple : on supprime des informations de frais de port sur la page panier
Le taux de conversion local de la page panier s’accroît,
mais la performance de la page livraison en souffre beaucoup plus fortement

21.
21Converteo e-business Consulting / Tout savoir sur le testing
Les différentes issues d’un test : l’échec nous en apprend autant que la réussite
Issue du test Conditions
Une des variantes gagne • Conversion et/ou CA Variante > Conversion et/ou CA Témoin
• Représentativité statistique > 95%
L’originale gagne • Conversion et/ou CA Variante < Conversion et/ou CA Témoin
• Représentativité statistique > 95%
Résultat neutre • Conversion et/ou CA Variante = Conversion et/ou CA Témoin
• Représentativité statistique non atteinte malgré de forts volumes
=

22.
22Converteo e-business Consulting / Tout savoir sur le testing
Aller plus loin : affiner et segmenter l’analyse pour comprendre le
comportement des visiteurs sur les variantes
Témoin Variante
Taux de conversion témoin : 1,30%
Taux de conversion variante : 1,30%
Tx de conv. témoin : 1,32%
Tx de conv. variante : 1,29%
Tx de conv. témoin : 1,10%
Tx de conv. variante : 1,27%
Segmentation par device

23.
23Converteo e-business Consulting / Tout savoir sur le testing
Le futur du testing : du testing au targeting
 Sur la base de segments créés à partir de données disponibles sur les visiteurs (source, statut,
device, langue, etc.), on peut tester des expériences personnalisées à chaque segment de
visiteurs et ainsi maximiser les chances de conversion pour les différents profils de visiteurs
 Ces tests « ciblés » nécessitent cependant d’avoir un trafic suffisant sur chacun des segments de
visiteurs testés
Utilisateur 1
+
+
Utilisateur 2
Source : SEO
Source : Direct
+
+
Statut : déjà acheteur
Statut : prospect
=
=
Version B
Version A

24.
24Converteo e-business Consulting / Tout savoir sur le testing
Les principaux pièges à éviter
PLANIFICATION
 Le testing n’est pas une fin en soi mais doit valider une hypothèse d’optimisation : il peut être
contreproductif de « tester pour tester » uniquement pour trancher un débat de design
 Le choix des objectifs d’un test doit être assez global pour prendre en compte les impacts d’une
variante sur la performance globale du site, et non uniquement sur une page / étape en particulier
REALISATION
 Pendant la période de test, il est primordial d’offrir la même expérience à toutes les visites d’un
même visiteur (dans la limite du ciblage des visiteurs par cookie)
 La tentation est forte de considérer le testing comme une technique sans risque : notamment pour
les sites à fort trafic, dévier 50% de son trafic sur une variante sensiblement moins performante
peut engager des pertes importantes
ANALYSE
 Toujours regarder la significativité statistique des résultats avant de tirer des conclusions
 Un des écueils que peut provoquer le testing est de négliger pourquoi une variante est gagnante /
perdante

25.
25Converteo e-business Consulting / Tout savoir sur le testing
Rentabilité d’un accompagnement : un point mort atteint dès le premier mois
pour un gain de conversion de +15%
Hypothèses de P&L de l’accompagnement Testing
Revenus
 Visites annuelles : 20 000 000
 Transactions : 200 000
 Taux de conversion : 1%
 Panier moyen : 100 €
 CA annuel : 20 M€
 Marge nette : 15%
Résultat net du projet d’accompagnement Testing en €
Gain potentiel de conversion
Duréeduprojet(enmois)
Gain de conversion cible
5% 10% 15% 20% 25% 30%
1 47 500 €- 35 000 €- 22 500 €- 10 000 €- 2 500 € 15 000 €
2 35 000 €- 10 000 €- 15 000 € 40 000 € 65 000 € 90 000 €
3 22 500 €- 15 000 € 52 500 € 90 000 € 127 500 € 165 000 €
4 10 000 €- 40 000 € 90 000 € 140 000 € 190 000 € 240 000 €
5 2 500 € 65 000 € 127 500 € 190 000 € 252 500 € 315 000 €
6 15 000 € 90 000 € 165 000 € 240 000 € 315 000 € 390 000 €
7 27 500 € 115 000 € 202 500 € 290 000 € 377 500 € 465 000 €
8 40 000 € 140 000 € 240 000 € 340 000 € 440 000 € 540 000 €
9 52 500 € 165 000 € 277 500 € 390 000 € 502 500 € 615 000 €
10 65 000 € 190 000 € 315 000 € 440 000 € 565 000 € 690 000 €
11 77 500 € 215 000 € 352 500 € 490 000 € 627 500 € 765 000 €
12 90 000 € 240 000 € 390 000 € 540 000 € 690 000 € 840 000 €
Exemple de prestation
 Coûts d’accompagnement
de type « full service »
(licence + gestion de projet) : 60 000 €

26.
26Converteo e-business Consulting / Tout savoir sur le testing
Merci pour votre attention : questions ?
Thomas FAIVRE-DUBOZ – Directeur Associé
Mail : thomas@converteo.com
Tél : +33 6 33 68 34 85
http://www.converteo.com