Cartelis comparatif-solutions-ab-testing

Benchmark des solutions
d’A/B Testing

2Copyright © Cartelis. All rights reserved.
Sommaire
A Contexte et enjeux
B Synthèse des résultats
C Zoom sur les cas d’usage

Objectif & Méthodologie du benchmark
Nous avons comparé les 4 solutions d’A/B Testing les plus utilisées en France.
Le benchmark livre une comparaison fonctionnelle et technique
de 4 acteurs majeurs de l’A/B Testing :
• 4 cas d’usage simples ont été définis pour comparer les
acteurs :
#1 – Modification de la couleur d’un bouton
#2 – Modification du texte d’un bouton
#3 – Inversion de deux blocs sur la page
#4 – Insertion d’un nouveau bloc
• Les 4 cas d’usage ont été réalisés sur le site lesmobiles.com,
site indépendant sur la téléphonie mobile.
Méthodologie du benchmarkObjectif du benchmark

Les solutions d’A/B Testing utilisées
• Date de création : 2008
• Prix minimal : 349€/mois pour
100 000 visiteurs uniques testés
• Nationalité :
• Prix minimal : 199€/mois pour
• Nationalité :
• Prix : $49/mois pour la version
premium
• Nationalité :
• Prix minimal : $59/mois pour
• Nationalité :

Benchmark réalisé sous le prisme de 4 cas d’usage
#1 - Modification de la
couleur d’un bouton
#2 - Modification du
texte d’un bouton
#3 - Inversion de 2 blocs
sur la page
#4 - Insertion d’un
nouveau bloc
Passer du jaune à un bleu plus propre “Voir l’offre” à la place
d’”Acheter”
Remonter le bloc de publicité, qui
est au cœur du modèle
économique du site
Ajout d’un bloc pour augmenter
le taux de clic sur le site

Réalisation des tests
#1 : Modification de la couleur d’un bouton
#2 : Modification du texte d’un bouton
Sélecteurs css à la main Sélecteurs css à la main
#3 : Inversion de deux blocs sur la page Sélection du bloc à
déplacer impossible
Bug
#4 : Insertion d‘un nouveau bloc Impossible

Comparaison des fonctionnalités 1/2
Editeur visuel simplifié
Mode recette intégrée NA NA
Historique des changements
Tracking de clics
Tracking d’un élément nouvellement créé
Ciblage de l’audience - critères multiples, segmentation
Définition de la population visitor-based visit-based /visitor-based visitor-based visitor-based
Restreindre la part du trafic allouée à l’AB test
Optimiser automatiquement la répartition du trafic En option

Comparaison des fonctionnalités 2/2
Capping (arrêt du test dès que le nombre de « vu »
ciblés est atteint)
Arrêt automatique après seuil de pertinence atteint NA
Planification
Estimation de la durée du test
Résultats : historique
Résultats - indicateur de fiabilité
Résultats - filtrés
Résultats – ventilation
NA
Résultats – objectifs a posteriori
Support
Pas disponible en
version démo
Réponse en 1H30 Pas de réponse Réponse en 15
minutes

Comparaison des performances techniques
Poids du script
82,3kb 51.7kb 91kb 40kb
Temps de téléchargement* 59ms 46ms 45ms 29ms
*Moyenne Last Byte sur 10 requêtes du temps de chargement du fichier Javascript principal
Installation du tag
Synchrone ou asynchrone Synchrone ou asynchrone Synchrone ou asynchrone Synchrone ou asynchrone
Informations complémentaires Intégration directe depuis
GTM possible
Technologie anti-flickering
NB : bien que le pois du script et le temps
de téléchargement apparaissent comme
les plus faibles, il faut prendre avec
précaution ces chiffres puisque VWO
charge à part les variantes, ce qui ralentit
fortement la performance technique

Synthèse globale
Synthèse Tests
++ +++ - ++
Simplicité
+++ +++ - +++
Fonctionnalités de l’éditeur
++ +++ + ++
Vitesse de chargement de l'éditeur
++ + +++ ++
Restitution des résultats
++ +++ ++ ++
Utilisable sans compétence informatique
+++ +++ - - -
Support
NA +++ +++ +++
Prix
199€ /mois pour 50 000
visiteurs uniques
349€ /mois pour 100 000
visiteurs uniques
$49 pour la version
premium
$59 /mois pour 10 000
visiteurs uniques

Conclusion
• Aucune connaissance en HTML / CSS
requise
• Solution à la fois simple d’utilisation et
très complète
• Grande richesse de fonctionnalités
(segmentation des résultats, arrêt
automatique, simulation de la durée,
solution anti-flickering, etc.)
• Solution très mature, très agréable
à utiliser
• Ergonomie très efficace
• Editeur performant
• Heatmap disponible pour repérer
facilement les zones chaudes de
clic
• Plateforme incroyablement
minimaliste et détaillée
• Nombreuses fonctionnalités
disponibles (optimisation mobile,
framework exécutable sur n’importe
quelle plateforme front et/ou back)
• Aucune connaissance en HTML / CSS
requise
• Simplicité et performance au rendez-
vous
• Interface très réactive (backoffice et
éditeur)
• De nombreuses fonctionnalités
complémentaires (session tracking,
personnalisation par exemple)
• Support injoignable (en version démo)
• Test #3 – Déplacement du bloc
impossible à réaliser
• Chargement du backoffice plus lent
que ses concurrents
• Ergonomie perfectible
• Embarcation de l’éditeur dans un
iframe
• Solution plus technique, notamment
avec la présence du sélecteur CSS
pour sélectionner les éléments à
modifier
• Pas disponible en français
• Logique de création d’un A/B Test
étrange
• Solution vieillissante dans ses
fonctionnalités
• Plus difficile à la prise en main que
ses concurrents
• Pas disponible en français
Points forts
Points faibles
1/2

Conclusion 2/2
Finalement, le choix de la solution dépend avant tout de votre objectif principal
Ce sont 4 très bonnes solutions, qui ont chacune leur place sur le marché.
Quelques éléments malgré tout pour aiguiller la décision :
• Si vous êtes allergiques à l’anglais, oubliez Optimizely et VWO : l’interface et le support ne sont disponibles qu’en
anglais
• Si vous n’avez aucune connaissance en HTML/CSS, A/B Tasty et Kameleoon sont les plus adaptés
• Pour la réalisation de tests simples, A/B Tasty et Kameleoon sont très proches : les deux solutions offrent chacune des
fonctionnalités exclusives. Finalement, cela relève d’une question de goût et de budget
• Pour la réalisation de tests plus complexes, Kameleoon est plus pertinent du fait de son architecture technique plus
performante et innovante (simplicité de mise en place de tests MVT, technologie anti-flicker, vitesse de chargement
du script, solution fonctionnant sur les nouveaux langages comme React, etc.)

#1 – Modification de la couleur d’un bouton

#1 – Modification de la couleur d’un bouton - A/B Tasty
Simplicité pour accéder à l’éditeur et
faire la modification
Configuration des objectifs
directement dans les résultats, évitant
une étape superflue
Tableau de synthèse très épuré et clair
Les résultats ne sont pas
présentés de manière très visible
sur le tableau de bord
Points faiblesPoints forts
Déroulé du test
1. Editeur : après avoir accédé à l’éditeur, aller dans Editer > Style > Couleur et
procéder à la modification
2. [Optionnel] Tracking : définir les options
3. Paramétrage : définir les pages et la part du trafic concernées par l’A/B Test
4. [Optionnel] Planification : date de début et date de fin
5. Objectif : configuration des objectifs
6. Résultats : tableau de synthèse disponible, avec filtrage des objectifs par segment
possible
7. [Optionnel] Mode de prévisualisation après le test disponible
8. Finalisation du test

#1 – Modification de la couleur d’un bouton - Kameleoon
Déroulé du test
1. Editeur : après avoir accédé à l’éditeur, sélectionner le bouton à modifier puis le
sélecteur de couleur pour procéder à la modification
2. [Optionnel] Tracking : définir les options
3. Paramétrage de la campagne en 3 étapes : choix des variantes, choix des visiteurs
ciblés et choix du système de suivi
4. [Optionnel] Possibilité d’estimer la durée du test
5. Objectif : possibilité de définir un objectif personnalisé (évènement Javascript)
6. [Optionnel] Simulation du test
7. [Optionnel] Planification du test
8. Résultats : récapitulatif et résultats par segment disponibles
Grande simplicité pour réaliser le test
Courbe d’apprentissage très rapide
Le ciblage est à la fois simple et intuitif
et en même temps très poussé (ciblage
comportementale par exemple)
Possibilité de visualiser l’historique
complet des modifications
Quelques éléments importants
(capping, récapitulatif des
variations, vérification du
fonctionnement du tag) absents lors
du récapitulatif de la simulation
Points forts Points faibles

#1 – Modification de la couleur d’un bouton - Optimizely
Succession d’étapes trop complexes,
on s’y perd rapidement.
Mauvaise expérience utilisateur
Vitesse de chargement de l’éditeur
impressionnante (<1s)
Déroulé du test
1. Formulaire à remplir
2. Définition du périmètre de test. Création d’une cible « Global »
3. Ciblage : audience « Everyone » définie
4. Objectif : définition de l’objectif de transformation, appelé « Metrics »
5. Sortir de la création de test, aller dans la section « Implémentation » pour entrer
dans un éditeur d’évènements associés au scope de pages défini précédemment
6. Création de l’évènement de type « Clic »
7. Editeur : lancement de l’éditeur pour lancer le test
8. Tracking : section « Track Clicks » contenant automatiquement les évènements
créés auparavant
9. [Optionnel] Planification du test disponible
L’éditeur est très intuitif

#1 – Modification de la couleur d’un bouton - VWO
Déroulé du test
1. Définition de la page que l’on souhaite tester
2. Editeur : après avoir accédé à l’éditeur, sélectionner le bouton à modifier puis le
sélecteur de couleur pour procéder à la modification
3. Un UNDO/REDO ainsi qu’un historique des modifications est affiché
4. Tracking : on repère dans l’éditeur la fonction « Track Clicks »
5. Objectif : Définition de l’objectif principal, avec possibilité de définir des objectifs
supplémentaires (objectifs de revenus par exemple)
6. [Optionnel] Possibilité d’estimer la durée du test
7. [Optionnel] HeatMap optionnel des pages de test via Crazyegg disponible
8. [Optionnel] Ciblage : possibilité de définir un capping en volume d’utilisateurs
9. Résultats : récapitulatif disponible
Grande simplicité pour réaliser le test
Succession d’étapes claires et intuitives
Tableau récapitulatif très complet :
scope, vérification du bon
fonctionnement du tag, variations,
tracking, capping

#2 – Modification du texte d’un bouton

#2 – Modification du texte d’un bouton – A/B Tasty
Déroulé du test
1. Passer en mode navigateur pour atteindre la page cible
2. Editeur : sélectionner tous les boutons similaires qu’il faut modifier
3. Procéder au changement sans désactiver le lien du texte
4. Ciblage : définir les pages cibles. Le ciblage fonctionne très facilement par regexp
On perd l’éditeur lors du passage
en mode navigation : peu
pratique !
Les boutons que l’on souhaite modifier
apparaissent en surbrillance : c’est
visuellement très efficace
De nombreux modules de ciblage
supplémentaires disponibles : critères
de navigation et comportementaux,
transactionnels (« ne déclencher l’AB
Test que pour les utilisateurs n’ayant
jamais acheté sur mon site »), météo,
etc.

#2 – Modification du texte d’un bouton – Kameleoon
Les étapes successives pour réaliser le
test sont cohérentes et limpides
Possibilité de choisir entre un mode
« expression régulière » pour plus de
précision ou l’application de la
modification sur toutes les URL
contenant le fragment voulu
Déroulé du test
1. Passer en mode navigateur pour atteindre la page cible
2. Editeur : sélectionner tous les boutons similaires qu’il faut modifier (ici en
l'occurrence c’est bt-buy qu’il faut prendre)
3. Sous le lien « Editer contenu », procéder au changement sans désactiver le lien du
texte
4. Paramétrage de la campagne en 3 étapes : choix des variantes, choix des visiteurs
ciblés et choix du système de suivi. Possibilité de basculer sur un mode
« expression régulière » pour plus de précision
5. La fin est la même que pour le premier test

#2 – Modification du texte d’un bouton – Optimizely
Testeur d’URL très pratique pour les
expressions régulières
Succession des étapes trop peu
intuitives, comme pour le
premier test
Connaissances avancées en CSS
requises
Déroulé du test
1. « Implémentation » : définition du périmètre des pages mobiles
2. Objectifs : création du sélecteur CSS manuellement pour sélectionner les
éléments de notre choix
3. Editeur : création du sélecteur CSS pour indiquer le nombre d’éléments concernés
4. Finalisation comme pour le premier test

#2 – Modification du texte d’un bouton – VWO
Déroulé du test
1. Paramétrage de l’URL du périmètre en utilisant l’option « L’URL commence par »
2. Editeur : VWO ne permet pas de sélectionner plusieurs éléments simultanés dans
une liste de manière visuelle, comme A/B Tasty ou Kameleoon. Il faut donc
basculer sur l’éditeur de code pour procéder à la modification
3. La suite est similaire au premier test
Les étapes successives pour réaliser le
test sont cohérentes et limpides
Connaissances avancées en CSS
requises

#3 – Inversion de deux blocs sur la page

#3 – Inversion de deux blocs sur la page – A/B Tasty
Déroulé du test
Afin de faire remonter le bloc de prix au dessus du bloc prix, la fonction « intervenir »
semble idéale.
Problème : impossible de choisir la zone sur laquelle on souhaite intervertir, car par
défaut l’éditeur sélectionne la colonne entière.
C’est donc un échec pour ce test.
NA NA

#3 – Inversion de deux blocs sur la page – Kameleoon
Déroulé du test
1. Fonction ad hoc disponible, permettant de sélectionner facilement le bloc que
l’on souhaite déplacer
2. Déplacement du bloc
Simplicité
Rapidité dans l’exécution du test,
même sans connaissance technique

#3 – Inversion de deux blocs sur la page – Optimizely
Déroulé du test
1. Fonction « Rearrange » adaptée à ce cas de figure
2. Définition du périmètre des pages mobiles
3. Tracking : définition du tracking sur les boutons manuellement avec notre
sélecteur CSS
Complexité trop importante pour
un test aussi basique

#3 – Inversion de deux blocs sur la page – VWO
Déroulé du test
1. Fonction ad hoc disponible, permettant de sélectionner facilement le bloc que
l’on souhaite déplacer
2. Déplacement du bloc
3. Tracking du clic
Simplicité

#4 – Insertion d’un nouveau bloc

#4 – Insertion d’un nouveau bloc – A/B Tasty
L’éditeur pourrait être plus intuitif
lorsqu'il s’agit de placer le bloc où
on le souhaite
L’interface parvient facilement à
traquer l’élément ajouté en HTML
Déroulé du test
1. Ajouter > Ajouter HTML : ajout du bloc en langage HTML
2. Placer le bloc : la difficulté ici est de savoir où va être ajouté le bloc : après
plusieurs essais, on se rend compte qu’il se place à la suite
3. Tracking : l’interface traque l’élément ajouté en HTML sans problème

#4 – Insertion d’un nouveau bloc – Kameleoon
Déroulé du test
1. Editeur : ajout du bloc en langage HTML
2. Tracking : l’interface traque l’élément ajouté en HTML
3. Objectifs : deux objectifs sont à définir ici, le clic sur Twitter et sur Facebook.
Comme attendu, on a la possibilité de distinguer ces deux objectifs lors de la
finalisation du test

#4 – Insertion d’un nouveau bloc – Optimizely
Déroulé du test
2. Tracking : impossibilité de traquer des éléments créés dynamiquement par le test
du fait de la création des objectifs et des cibles avant le contenu
3. Résultats : tableau récapitulatif disponible
Bien que l’insertion d’un bloc
HTML ne pose pas de problème
en soit, impossibilité de traquer
les éléments créés par le test
Tableau de résultats trop épuré
qui présente de nombreux
défauts : actions de mises en
pause cachées, aucun résumé de
la performance de chaque test,
pas de notion de volumes, …

#4 – Insertion d’un nouveau bloc – VWO
Un minimum de connaissances
en HTML requis : ouvrir le code
source du conteneur à l’endroit
où l’on souhaite l’insérer, puis
coller le code à la main au bon
endroit
Déroulé du test
2. Tracking : l’interface traque l’élément ajouté en HTML
3. Objectifs : deux objectifs sont à définir ici, le clic sur Twitter et sur Facebook.
Comme attendu, on a la possibilité de distinguer ces deux objectifs lors de la
finalisation du test
4. Résultats : tableau de bord disponible
Tableau de bord très clair, avec des
informations utiles pour chaque
campagne : estimation de la durée
restante pour les campagnes en cours,
résultat synthétique pour les
campagnes terminées

E-mail cartelis.fr@gmail.com
Web www.cartelis.fr
Tel. 06.60.03.63.35
Partenaires média
Benchmark réalisé par

E-mail contact@sendinblue.com
Web www.sendinblue.com
Empower
Your CRM
Strategy
Phone +33 (0) 1 84 24 02 34
E-mail contact@cartelis.fr
Web www.cartelis.fr

Cartelis comparatif-solutions-ab-testing

Contenu connexe

Tendances

Similaire à Cartelis comparatif-solutions-ab-testing

Cartelis comparatif-solutions-ab-testing