Converteo vous présente sa 2ème enquête annuelle sur les pratiques de l'A/B testing et de la personnalisation web en France.

1. 09/2015 12e enquête annuelle testing et personnalisation
2e enquête annuelle sur les pratiques
de l’A/B testing et de la
personnalisation web en France
Septembre 2015
Romain Créteur,
Manager Pôle Solutions Marketing Digital
En partenariat avecEnquête réalisée par Pour

2. 09/2015 22e enquête annuelle testing et personnalisation
Sommaire
 Etat des lieux des pratiques 5
 Les modalités d’utilisation de l’A/B testing 10
 Qui sont les parties prenantes de l’AB testing et de la
personnalisation web ? 16
 Organisation & gouvernance 20
Etat des lieux des pratiques 5
Les modalités d’utilisation de l’A/B testing 10
Qui sont les parties prenantes de l’AB testing et de la personnalisation web ? 16
Organisation & gouvernance 20

3. 09/2015 32e enquête annuelle testing et personnalisation
Méthodologie de l’enquête
► Objectif : L’objectif de cette enquête est de dresser un panorama de l’utilisation de l’A/B testing
et de la personnalisation web en France tant en termes d’utilisation et de perception que de
modes d’exploitation et de process d’organisation internes
► Dates : du 1er au 20 juillet 2015
► Modalités d’administration : l’enquête a été conduite par téléphone
► Echantillon : 250 répondants, professionnels du marketing pour des sites de taille, nature et
objectifs variés
► Cette étude a été réalisée par Converteo pour le compte de la société Kameleoon en partenariat
avec la Fevad

4. 09/2015 42e enquête annuelle testing et personnalisation
Principaux enseignements
2
3
1
Les deux pratiques bénéficient d’une forte reconnaissance, mais associées à une forme
de complexité surtout la personnalisation web
 Pour 55% des utilisateurs, l’A/B testing est une pratique simple, mais des difficultés dans le cadrage et
l’analyse des résultats sont perceptibles
 67% des utilisateurs estiment que la personnalisation web est complexe et 22% très complexe. Les
données CRM, qui sont les plus difficiles à obtenir, sont également jugées les plus utiles pour les
campagnes de personnalisation web
L’A/B testing et la personnalisation web sont des pratiques répandues, mais non encore
généralisées
 1/4 des utilisateurs estiment que l’A/B testing est indispensable, 99% utile
 Le manque de ressources (temps, budget et compétences) constitue le principal frein au déploiement
des projets
En termes d’organisation, les équipes marketing sont presque systématiquement au cœur
des projets d’A/B testing et de personnalisation web
 Les deux pratiques sont majoritairement internalisées
 Les équipes techniques y semblent de plus en plus associées (+ 40% des cas), mais ce taux reste
encore faible au regard les enjeux et suggère une exploitation assez simple des outils par rapport aux
fonctionnalités disponibles

5. 09/2015 52e enquête annuelle testing et personnalisation
1
Etat des lieux des
pratiques

6. 09/2015 62e enquête annuelle testing et personnalisation
L’A/B testing et la personnalisation web sont des pratiques
répandues mais non-généralisées, surtout la personnalisation
• La moitié des sites utilisent l’A/B testing comme moyen d’optimisation de la conversion
• Les utilisateurs de l’A/B testing sont plus enclins à utiliser la personnalisation web que les non
utilisateurs : 43% d’entre eux utilisent la personnalisation web contre 24% qui en ont le projet chez
les personnes n’utilisant pas l’A/B test
• L’inscription de la personnalisation web n’est pas prioritaire pour 24% des utilisateurs de l’A/B
testing, une proportion qui monte à 57% chez les non-utilisateurs
51%
49%
Faites-vous de l’AB testing ?
Oui
Non
Pour les personnes utilisant l’A/B testing :
Réalisez vous des campagnes de personnalisation web ?
Pour les personnes n’utilisant pas l’A/B testing :
Avez-vous un projet de personnalisation web à ?
24%
33%
43%
Non et ce n'est pas prévu à
court terme
Non mais c'est prévu dans les
12 prochains mois
Oui
24%
9%
10%
57%
Moins de 6 mois
Entre 6 mois et un an
A plus d'un an
Non, je n'ai pas de projet de
personnalisation prévu
46%54%
2014
2015
(+5 points)

7. 09/2015 72e enquête annuelle testing et personnalisation
Pourtant, plus de 90% des utilisateurs considèrent l’A/B testing et la
personnalisation web comme des pratiques très utiles
Pour vous, l’A/B testing / la personnalisation web est :
0%
3%
37%
59%
1%
10%
63%
27%
0%
10%
20%
30%
40%
50%
60%
70%
Inutile Utile Très utile Indispensable
A/B Testing Personnalisation
• L’utilité de l’A/B testing comme de la personnalisation web est reconnue et fait l’objet d’un large
consensus
• 59% des répondants estiment même que l’A/B testing est une pratique indispensable, ce qui
atteste d’un haut degré de satisfaction

8. 09/2015 82e enquête annuelle testing et personnalisation
La personnalisation web est encore majoritairement perçue
comme complexe, ce qui n’est plus le cas de l’A/B testing
Considérez-vous, l’A/B testing / la personnalisation web comme une pratique
:
Le niveau de complexité perçu est différent pour les deux pratiques
• 55% des personnes interrogées considèrent l’A/B testing comme une pratique simple
• A l’inverse, la personnalisation web est jugée complexe par 67 % des répondants et très complexe
par 22%
15%
41%
44%
2%
4%
29%
45%
22%
0%
10%
20%
30%
40%
50%
Très simple Simple Complexe Très complexe
A/B Testing Personnalisation

9. 09/2015 92e enquête annuelle testing et personnalisation
Les données jugées les plus utiles pour la personnalisation web
sont les données CRM qui sont également les plus complexes à
obtenir
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Temporelles (jour de la semaine, heure ...)
Géographiques (pays, région ...)
Techniques (devices, navigateurs ...)
Comportementales (pages vues, temps passé ...)
Sources (type de campagne, mots-clés, emails ...)
CRM (segmentation, âge, genre ...)
Selon vous, quelle est l'importance des données suivantes pour pouvoir mener
des campagnes de personnalisation web efficace ?
Indispensable Importante Peu importante Inutile
• La nature clé des données CRM et la difficulté à les obtenir et à les exploiter est probablement un
facteur d’explication à la complexité perçue des projets de personnalisation web

10. 09/2015 102e enquête annuelle testing et personnalisation
2
Les modalités
d’utilisation de l’A/B
testing

11. 09/2015 112e enquête annuelle testing et personnalisation
Le volume annuel de tests conduits reste faible
• La majorité des acteurs conduisent des tests A/B, un quart d’entre eux réalisent des tests MVT et
des splits tests sur les sites, le plus souvent en complément des test A/B
• Le volume de tests réalisés annuellement est supérieur 20 dans seulement 29 % des cas et
inférieur à 10 dans 50% des cas
93%
26% 24%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Tests A/B Tests MVT Split tests (test par
redirection d'URL)
Quels types de tests réalisez-vous ?
(plusieurs réponses possibles)
25%
25%
20%
30%
Combien de tests réalisez-vous par an ?
Moins de 5 Entre 5 et 10 Entre 10 et 20 Plus de 20

12. 09/2015 122e enquête annuelle testing et personnalisation
L’ergonomie / UX reste le principal motif de conduite des tests A/B
• L’utilisation de l’A/B testing dans l’optimisation des offres et les processus de mise en production de
nouvelles fonctionnalités se développe mais reste bien inférieure à un utilisation centrée sur
l’optimisation de l’ergonomie et l’expérience utilisateur
Vous utilisez l’AB Testing pour :
ERGONOMIE / UX
dont
26% Optimisation des Landing Pages
FONCTIONNALITES OFFRES
54%
20% 19%
6%
Optimiser l'ergonomie de vos pages Vérifier l'apport de l'incrémental de
nouvelles fonctionnalités
Evaluer l'impat réel de vos offres Autres

13. 09/2015 132e enquête annuelle testing et personnalisation
La principale difficulté rencontrée par les utilisateurs de l’AB testing
porte sur le choix des objectifs et des critères d’arbitrage
• Les étapes jugées les plus critiques pour l’A/B testing sont la définition des objectifs (25%) et les
analyses des résultats (27%)
• Ces réponses soulignent l’enjeu qu’il y a à cadrer un projet d’AB testing et à définir en amont
du lancement les KPI afférents aux objectifs qui seront les juges de paix en aval dans
l’interprétation des résultats
Quelle est, selon vous, l'étape la plus critique d'un projet d'AB testing ?
Autres : 12%
Définition des
objectifs
Identification des pistes
d’améliorations
Paramétrage du test Analyse des résultats
23%25% 13% 27%
Etapes d’un projet d’AB testing
Cadrage = 48% Réalisation = 13% Interprétation = 27%
1 2 3

14. 09/2015 142e enquête annuelle testing et personnalisation
51% des personnes interrogées ne font pas d’A/B testing,
principalement en raison d’un manque de ressources internes
25%
8%
12%
56%
Avez-vous un projet d'AB testing à:
Moins de 6 mois
Entre 6 mois et un an
A plus d'un an
Non, je n'ai pas de projet
d'AB testing prévu
• Le manque de temps, de compétences et d’informations restent les principaux freins au
développement de l’A/B testing dans les entreprises
• La majorité des répondants n’ayant pas encore démarré de projet de testing ne prévoit pas de la
faire dans les 12 mois
• 1/3 des non-utilisateurs témoignent encore d’une manque d’intérêt ou de connaissance pour le
sujet
19%
16%
18%
33%
13%
24%
Je ne sais pas
ce qu'est l'A/B
testing
Je ne pense pas
que l'A/B testing
ait un intérêt
Manque de
compétences
internes
Manque de
temps
Absence de
sollicitation / de
société pouvant
m'accompagner
Autres
Quelles sont les raisons pour lesquelles
vous n'avez pas démarré de projet ?
(plusieurs réponses possibles)
35%
manque d’intérêt / connaissance
64%
manque de ressources

15. 09/2015 152e enquête annuelle testing et personnalisation
Parmi les non-utilisateurs de l’A/B testing, la webanalyse
reste la principale façon d’optimiser la performance
Quelle est votre pratique favorite pour l'optimisation de la conversion de vos sites?
(plusieurs réponses possibles)
Plusieurs méthodes alternatives / complémentaires à l’A/B testing sont utilisées pour l’optimisation de
la conversion. On distingue diverses approches :
• approches basées sur l’observation des comportements : webanalyse et outils de heatmap,
scollmap, etc.
• approches plus traditionnelles : benchmark de la concurrence, etc.
34%
13% 13% 13% 13% 13%
9%
8% 7%
Webanalytics Benchmark de la
concurrence
Analyse des
comportements
visiteurs (heatmap
Recommandation
produit
scrollmap mouse
tracking...)
Personnalisation
web
Test d'usabilité
(UX/ergonomie)
Autres
)

16. 09/2015 162e enquête annuelle testing et personnalisation
3
Qui sont les parties
prenantes de l’AB
testing et de la
personnalisation
web ?

17. 09/2015 172e enquête annuelle testing et personnalisation
La pratique de l’A/B testing est équitablement répandue parmi
les pure players et les non pure players
44,4% 43,9%
Pure Player Non Pure Player
Faites-vous de l’A/B testing ?
Part de OUI en fonction de la nature des acteurs
Pourcentage de oui
• Il y a très peu d’écart entre pure players et non pure players : ce n’est pas un critère différenciant
relativement à l’utilisation de l’A/B testing

18. 09/2015 182e enquête annuelle testing et personnalisation
La pratique de l’A/B testing est nettement plus répandue sur
les sites très fréquentés
50%
18%
17%
15%
Quel est votre nombre de visiteurs uniques
mensuels sur l’ensemble vos sites ?
< 1 million Entre 1 et 5 millions
Je ne souhaite pas répondre Plus de 5 millions
• Près des 3/4 des sites disposant d’un trafic mensuel supérieur à 1 million de VU utilisent l’A/B
testing contre seulement 36% des sites plus petits
• Un tel écart reflète la conviction de l’utilité de l’A/B testing pour les gros acteurs dont les enjeux
business sont plus importants et qui sont moins confrontés à des risques de non-significativité
• La non-utilisation de l’A/B testing est à rapprocher du manque de temps, de compétences et
probablement de moyens financiers chez les plus petits acteurs
Faites-vous de l’A/B testing ?
Part de OUI en fonction du volume de visiteurs uniques mensuels
35%
75%
71%
33%
73%
80%
<1 million entre 1 et 5 millions >5 millions
2015 2014

19. 09/2015 192e enquête annuelle testing et personnalisation
Selon les secteurs d’activité, des différences de maturité sont
repérables dans la pratique de l’A/B testing
• Plus d’un acteur sur deux recourt à l’A/B testing dans les télécommunications et les petites
annonces
• A l’inverse cette pratique est encore peu répandue dans les secteurs du bricolage et de la
mode/beauté avec à peine 1/4 des acteurs qui pratiquent l’A/B testing
• Dans l’ensemble, la maturité par secteur est restée comparable aux résultats de 2014 avec une
progression globale de quelques points
63%
55%
50%
59%
40%
25%
20%
47%
70%
47% 48%
29% 30%
média, culture,
divertissement
internet,
télécommunications
petites annonces,
location
banque, assurance,
conseil
retail, distribution
généraliste
construction,
bricolage, jardinage
mode, beauté, santé
Faites-vous de l’A/B testing ?
Part de OUI par secteur d’activité
2015 2014

20. 09/2015 202e enquête annuelle testing et personnalisation
4
Organisation &
gouvernance

21. 09/2015 212e enquête annuelle testing et personnalisation
La tendance massive est à l’internalisation des projets d’A/B
testing et de personnalisation web
Parmi les situations décrites ci-dessous, laquelle se rapproche le plus de la vôtre ?
• Dans plus de 70% des cas, les deux pratiques sont internalisées
• La partie la plus externalisée en matière d’A/B testing est l’exécution des tests en eux-mêmes,
alors que c’est celle qui est perçue comme la plus simple
• 10% des campagnes de personnalisation web sont complètement externalisées, ce qui corrobore
la perception d’une plus grande complexité pour la personnalisation web que pour l’A/B testing
75%
15%
4%
4%
2%
A/B test
Je réalise seul mes tests
J'externalise la réalisation des
tests
J'externalise l'identification des
pistes d'amélioration
J'externalise toute la gestion
de mes projets d'A/B testing
J'externalise l'analyse des
résultats des tests
71%
10%
8%
10%
1%
personnalisation web
Je réalise seul mes
campagnes de
personnalisation
J'externalise la réalisation de
mes campagnes de
personnalisation
J'externalise l'identification de
pistes de personnalisation
J'externalise toute la gestion
de mes projets de
personnalisation
J'externalise l'analyse des
résultats de mes campagnes
de personnalisation

22. 09/2015 222e enquête annuelle testing et personnalisation
Dans près de la moitié des cas, l’A/B testing et la personnalisation
web sont confiées à deux personnes distinctes
45%
55%
La personne en charge de la personnalisation
web web est-elle la même que celle en
charge de l'A/B testing?
68%
32%
Avez-vous une personne plein temps dédiée
à l'optimisation de la conversion dans votre
entreprise ?
Non Oui
• Sur un plan organisationnel, seules 1/3 des entreprises disposent d’une ressource qui se consacre
à plein temps à l’optimisation de la performance
• Actuellement, l’A/B testing et la personnalisation web sont gérées par des personnes différentes
dans 45% des cas

23. 09/2015 232e enquête annuelle testing et personnalisation
Les équipes marketing sont presque systématiquement au cœur du
pilotage, avec une intégration croissante des équipes techniques
Qui selon vous, doit piloter votre projet ?
(en pourcentage des opinions exprimées)
• Pour les utilisateurs comme pour les non utilisateurs,
• Le co-pilotage des équipes marketing et technique est la première réponse et rencontre le plus d’adhésion
• L’équipe BI & CRM est rarement sélectionnée pour le pilotage des projets de personnalisation web alors
même que les données CRM sont jugées clé
• Les non-utilisateurs sont plus nombreux à désigner l’équipe technique ce qui est à rapprocher du
niveau de complexité perçue
42%
6%
52%
0%
34%
13%
42%
9%
Marketing IT Marketing + IT BI & CRM
Non utilisateurs de l’A/B testing
AB testing Personnalisation
47%
1%
52%
0%
40%
5%
46%
8%
Marketing IT Marketing + IT BI & CRM
Utilisateurs de l’A/B testing
AB testing Personnalisation

24. 09/2015 242e enquête annuelle testing et personnalisation
Les fonctions impliquées dans les projets d’A/B testing sont
nombreuses et variées
• Parallèlement à la question du pilotage des projets d’A/B testing, il est assez significatif que les
personnes impliquées sur les projets occupent un éventail de fonctions très large (ergonomie vs
développement vs webanalyse)
• Si plus de 50% des acteurs font intervenir des développeurs front-end, ce chiffre reste faible au
regard des potentialités offertes par les outils de test A/B et est un indicateur d’un usage encore
peu approfondi des outils
82%
66%
52% 52%
15%
56%
67%
35%
46%
9%
Chef de projet Webanalyst UX designer / Ergonome Developpeur front-end Autres
Quelles sont les fonctions impliquées dans vos projets d'A/B testing ?
2015 2014

25. 09/2015 252e enquête annuelle testing et personnalisation
CONVERTEO
Romain Créteur, Manager Pôle Solutions Marketing Digital
rc@converteo.com
Les contributeurs :
61 rue Meslay
75003 PARIS
Tel. : +33 (0)1 84 16 06 60
Email : contact@converteo.com