SlideShare une entreprise Scribd logo
1  sur  258
Datagedreven
conversie-optimalisatie
Competenties, proces en praktijkcases
Onderzoeksprogramma om de concurrentiepositie
van Nederland te versterken
ShoppingTomorrow
In 2016/2017 hebben 24 expertgroepen met in totaal
meer dan 450 experts zich gestort op
onderzoeksvragen over verschillende e-commerce
gerelateerde onderwerpen. Iedere expertgroep levert
een zogenaamde bluepaper op, waarin je de
antwoorden op de onderzoeksvragen kunt
terugvinden. Download gratis de bluepapers op
www.shoppingtomorrow.nl/bluepapers
Alle bluepapers zijn gebundeld in het boek ‘samen
bouwen aan retailscucces’. U kunt het boek bestellen
op www.shoppingtomorrow.nl.
Dit online casedocument is opgesteld vanuit de
Expertgroep Revenue Optimization. Vanuit het
ShoppingTomorrow-boek en onze bluepaper
wordt doorverwezen naar conversie-
optimalisatiecases. Deze cases vind je in dit
document.
Voorzitter Expertgroep Revenue Optimization
Jurjen Jongejan
Sr. Conversie-optimalisatie consultant | Online Marketing Director
j.jongejan@ism.nl
Linkedin.com/jurjenjongejan
@jurjenjongejan
 Meer dan 13 jaar conversie-optimalisatie ervaring bij
 Bedrijfskundigevan de
 Bloggerop
 Auteur van de bestseller
Expertgroep Revenue Optimization
Rick Weij
Web Analyst
Tele 2
Hendrik-JanStaal
E-Commerce Manager
BCC
Casper van Driel
E-Commerce Manager
VT Wonen
Bart Westerhof
Campaign Manager
Erik van Houwelingen
CRO Specialist
Intergamma
Bol.com
Saskiade Römph
E-commerce Category Manager
Gamma
Bas Jansen
Conversion Specialist
Google
Thijs Schouten
Category Manager
ReinSuijker
Managing Director
HobbyGigant.nl
Kristof Vervliet
E-commerce Manager
Difrax
Vanja Mlaco
CRO Lead
Transavia
Rudger de Groot
Digital Optimizer
& Webanalytics
Denise Visser-Koot
User Experience Strateeg
Bert Middendorp
E-commerce Manager
Bol.com
Guido Jansen
Euroflorist
Conversion Manager
KARWEI
JurjenJongejan
Sr. Conversie-optimalisatie
ISM eCompany
Consultant
Hunkemöller
FarshadSoleymani
Conversie Manager
Ziggo
Patty Bastiaansen
Markteer CRO & Analyse
Bax-shop.nl
Wouter Wensing
Team Lead Conversion
ISM eCompany
Mint Minds
Om conversie-optimalisatie een strategisch
onderdeel van je bedrijf te maken, heb je
volgens ons 7 competenties nodig.
Competenties conversie-optimalisatie
De expertgroep heeft een volwassenheidsmodel
voor conversie-optimalisatie ontwikkeld. Bij
iedere competentie kun je zien op welk niveau
jouw bedrijf scoort.
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
Benieuwd naar de volwassenheid van
jouw organisatie op het gebied van
conversie-optimalisatie? En waar jouw
groeikansen liggen?
www.mijnconversiescore.nl
Mooi al die competenties en die niveaus,
maar hoe richt je het conversie-
optimalisatie proces in? Dit proces heeft
onze expertgroep voor je uitgetekend.
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Conversie-optimalisatieproces
Dit proces bestaat uit verschillende
onderdelen. Bij ieder onderdeel hebben we
een onderzoeksvraag opgesteld. Op basis
van concrete cases hebben we onze
onderzoeksvragen beantwoord. De cases
vind je in het resterende deel van dit
document.
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringente
prioriteren?
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?
Hoe stel
je een
hypothese
op?
Hoe stel
je een
testplan
op?
Hoe deel je
learnings
binnen je
organisatie?
Hoe analyseer
je de A/B test
resultaten?
Wat zijn
do’s en
dont’s?
Conversie-optimalisatiecase
Bax-shop.nl
Experts uit de expertgroep hebben conversie-
optimalistiecases opgesteld en deze hebben we
met elkaar besproken in de expertgroep.
Deze case is opgesteld door:
Patty Bastiaansen, CRO-marketeer bij Bax-shop.nl
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Webanalytics data
als bron voor
verbetering aan de
webshop
Bezoekers klikken
op de productpagina
vaak op
productreviews
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Bezoekers
die de productreviews
bekijken converteren
110% beterdan
bezoekers die de
productreviews
niet bekijken + 110%
Dit is de huidige
productpaginamet
productreviews.
De reviews worden
onder de prijs getoond
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Inzicht:
bezoekers die de
productreviews lezen zijn erg
waardevol. Ze zijn e eerdergeneigd
om tot aankoop over te gaan.
Het is dus goed om te kijken hoe we
de productreviews beter op kunnen
laten vallen zodat meer
bezoekers ze lezen
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?
Prioriteren is een belangrijk onderdeel van het
conversie-optimalisatie proces. Je wilt
voortdurend met de minste inspanning de
hoogste impact op je KPI’s realiseren. Daarom
hebben we een nieuw model ontwikkeld om je
potentiële verbeteringen te prioriteren.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
De expertgroep vindt het belangrijk dat je
potentiële verbeteringen goed onderbouwt met
data-bronnen. Hoe meer databronnen je
potentiële verbetering onderbouwen, hoe groter
de kans dat je impact maakt op je KPI.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Motivatie verhogen
Onzekerheid reduceren,overtuigen en verleiden
Obstakels wegnemen
Behoefte vervullenen redenengeven om te kopen
Obstakels wegnemen
Mogelijk maken
Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Hypotheses altijd A/B-testen
Hypotheses altijd A/B-testen
HypothesesA/B-testen of in de webwinkel direct aanpassen
Direct in de webwinkel aanpassen
In de conversie-
optimalisatiepiramide
bevinden reviews zich
bovenaan. Daarom
valideer je de potentiële
verbetering met eenA/B-
test
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Welke hypothese
willen we testen
op de bezoekers?
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hoe stel
je een
hypothese
op?
Een goede hypothese kun je ontleden op basis van 6
onderdelen:
1. Testlocatie: op welke pagina(groep) draait de test?
2. Apparaat: op welk apparaat wordt de A/B-test uitgevoerd?
3. Beschrijving van de aanpassing op de pagina(groep).
4. De impact van de aanpassing op gedrag/gevoel.
5. Beschrijving van de testpopulatie. Het is belangrijk dit scherp te formuleren. Wil je
bijvoorbeeld een potentiële verbetering A/B-testen op de productpagina waarbij
bezoekers eerst moeten scrollen, dan is de testpopulatie: bezoekers op de
productpagina die de aanpassing hebben gezien. De testpopulatie is dus niet alle
bezoekers op de productpagina.
6. Test-KPI: op welke KPI wordt de hypothese bevestigd of verworpen?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hypothese
Door de productreviews op de productpagina’s (testlocatie) bij desktopbezoekers
(apparaat) onder de productnaam te tonen (beschrijving aanpassing), zullen deze
reviews meer gezien worden. Dit komt omdat websitebezoekers in 69% van de tijd naar
de linkerhelft van het scherm kijken. Door de productreviews beter op te laten vallen, zal
dit de motivatie om het product te kopen verhogen (impact op gedrag/gevoel). Dit zal
resulteren in meer online orders (test KPI) van producten met productreviews bij
desktopbezoekers (testpopulatie).
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hoe stel
je een
testplan
op?
Testplan
Test ID AB-000013-3
Testnaam Productreviews prominenter tonen
Paginatype Productpagina’s met productreviews
Testtype A/B-test
Populatie 100% desktopverkeer
Variaties Origineel en variant (2)
Startdatum 15-07-2016
Einddatum 28-07-2016
Testduur 14 dagen
Minimum sample size 63.700
Hypothese Door de productreviews op de productpagina’s (testlocatie) bij desktopbezoekers (apparaat) onder
de productnaam te tonen (beschrijving aanpassing), zullen deze reviews meer gezien worden. Dit
komt omdat websitebezoekers in 69% van de tijd naar de linkerhelft van het scherm kijken. Door de
productreviews beter op te laten vallen, zal dit de motivatie om het product te kopen verhogen (impact
op gedrag/gevoel). Dit zal resulteren in meer online orders (test KPI) van producten met
productreviews bij desktopbezoekers (testpopulatie).
Test-KPI Conversie %
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
De testvarianten
worden gecreëerd
en in de
A/B-testsoftware
geïmplementeerd
Creatie van
variant B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Origineel
A
Variant
B
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc. Nee
En
rapporteer!
Analyseer je
testresultaten
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant B
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Volgende stap:
productreviews verder
verbeteren.Delen van deze
kennis binnen de
organisatie. Bijvoorbeeld
met het SEO-team:hogere
prioriteit van tonen van
productreviews in de
zoekresultaten.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Conversie-optimalisatiecase
Fun.be
Deze case is opgesteld door
Wouter Wensing,
Team Lead Conversion & Webanalytics bij ISM eCompany
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Webanalytics data
als bron voor
verbetering aan de
webshop
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
 Geen grote verschillen tussen browsers
 Verder inzoomen op browserversie niveau Internet Explorer
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Inzicht in
bezoekersgedrag
 Internet Explorer 9.0 converteert helemaal niet!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
 Ten opzichte van Internet Explorer 10.0 gaat er zo’n € 8000,- verloren. Op jaarbasis is dit bijna € 20.000,-!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
 Het probleem zit in de checkout. 100% van de bezoekers die de checkout bereikt valt uit!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
 Met de Enhanced Ecommerce funnel kunnen we achterhalen wáár bezoekers in de checkout uitvallen
 Segment: Internet Explorer 9.0 toepassen
 We weten nu waar het probleem zich bevindt. 100% van de bezoekers valt uit in de checkout stap: shipping!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Inzicht:
desktopbezoekers met
Internet Explorer 9.0 vallen
allemaal uit in de stap
‘shipping’ in het
bestelproces. Controleren
met de tool ‘cross browser
testing’ wat het probleem
precies is.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Alle browers,
behalve IE 9
IE 9 browser
‘Ga verder’-buttons
ontbreken in de Internet
Explorer 9.0 browser bij
desktopbezoekers. Na
analyse blijkt dat er een
probleem is geweest met
een javascript merge.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Hypotheses altijd A/B-testen
Hypotheses altijd A/B-testen
HypothesesA/B-testen of in de webwinkel direct aanpassen
Direct in de webwinkel aanpassen
Het Internet Explorer-issue
betrefteen technologisch
verbeterpunten moet direct
gefixt worden. Daarom komt
deze potentiële verbetering
op de change backlog met
hoge prioriteit.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Er wordt de
hoogste prioriteit
toegekend aan het
inzicht en komt op
de change backlog.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
De oplossing
wordt direct
doorgevoerd.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Internet Explorer 9.0
javascript oplossing
doorgevoerden
transacties komen
weer binnen.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
Conversie-optimalisatiecase
Lucardi.nl
Deze case is opgesteld door:
Jurjen Jongejan, senior conversie-optimalisatie
consultant bij ISM eCompany
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Webanalytics data
als bron voor
verbetering aan de
webshop
 63% van de bezoekers die de winkelmand bereiken, verlaat deze zonder verder te gaan met
bestellen
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Analyse van een
externe expert als
bron van
verbetering aan de
webshop
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Call to action is te agressief.
Bezoekers rondenhier nog niet
hun bestelling af. Na klikken op
deze button denken bezoekers
mogelijkdat het product direct
wordt geleverd.Dit geeft
onzekerheid.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Grote ergernis bij bezoekers is om
verplicht een account aan te
moetenmaken. Bij Lucardi kun je
bestellenzonder account aan te
hoeven maken. Als we dat hier al
communiceren,nemenwe alvast
een ergernis weg.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Inzicht:
bezoekers die de
winkelmand bereiken
vallen relatief vaak uit.
Huidige pagina geeftte
veel onzekerheid.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Hypotheses altijd A/B-testen
Hypotheses altijd A/B-testen
HypothesesA/B-testen of in de webwinkel direct aanpassen
Direct in de webwinkel aanpassen
Deze potentiële
verbetering gaat
over onzekerheid
reduceren
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Welke hypothese
willen we testen
op de bezoekers?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hypothese
Door de buttontekst in de winkelmand (testlocatie) op desktop
(apparaat) te wijzigen naar “Verder met bestellen” én door een
groene tekst toe te voegen onder de button “Bestel snel: Een
account aanmaken is NIET verplicht” (beschrijving aanpassing)
verlaagt dit de ‘gepercipieerde onzekerheid’ (impact op
gedrag/gevoel)’, waardoor meer bezoekers die de winkelmand
bereiken (testpopulatie) hun bestelling afronden (test KPI).
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hoe stel je
een testplan
op?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Testplan
Test ID AB-000023-4
Testnaam Aanpassing CTA winkelmand + microcopy
Paginatype Winkelwagen
Testtype A/B-test
Populatie 100% desktopverkeer
Variaties Origineel en variant (2)
Startdatum 08-01-2016
Einddatum 29-01-2016
Testduur 21 dagen
Minimum sample size 10.200
Hypothese Door de buttontekst in de winkelmand (testlocatie) op desktop (apparaat) te wijzigen naar “Verder
met bestellen” én door een groene tekst toe te voegen onder de button “Bestel snel: Een account
aanmaken is NIET verplicht” (beschrijving aanpassing) verlaagt dit de ‘gepercipieerde onzekerheid’
(impact op gedrag/gevoel)’, waardoor meer bezoekers die de winkelmand bereiken(testpopulatie)
hun bestelling afronden (test-KPI).
Test-KPI Conversie %
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
De testvarianten
worden gecreëerd
en in de
A/B-testsoftware
geïmplementeerd
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Origineel
A
Variant
B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
En
rapporteer!
Analyseer je
testresultaten
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Doelgroep is gevoelig
voor onzekerheid
reducerenin
winkelmand. Ook
testen op smartphone.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Origineel
A
Variant
B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Conversie-optimalisatiecase
Bol.com
Deze case is opgesteld door:
Denise Visser, user experience strateeg bij Bol.com.
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Learnings uit
eerdere A/B-tests
als bron voor
conversie-
verbetering
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Sinds kort kun je bij Bol.com
als bezoekerdezelfdedag het
productlaten bezorgen.
Voorwaarde is dat je voor
12:00 uur moetbestellen
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Learning: bezoekers
zijn meer overtuigd van
de betrouwbaarheid van
de levering als het ook
écht op voorraad lijkt te
zijn
na 12:00 uur na 12:00 uur
Origineel
A
Variant
B
Dit is de huidige
productpagina
zonder duidelijke
communicatie dat
een productop
voorraad is.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Learning: bezoekers zijn
meerovertuigd van de
betrouwbaarheid van de
levering als het ook écht
op voorraad lijkt te zijn
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Hypotheses altijd A/B-testen
Hypotheses altijd A/B-testen
HypothesesA/B-testen of in de webwinkel direct aanpassen
Direct in de webwinkel aanpassen
Deze potentiële
verbetering
gaat over de
(on-) zekerheid
van de levering
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Welke hypothese
willen we testen
op de bezoekers?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hypothese
Sinds we hebben gezien dat gebruikers beter converteren als ze meer overtuigd zijn
van de beschikbaarheid van een artikel door de resultaten van een eerder uitgevoerde
A/B-test, willen we de tekst “Op voorraad” toevoegen aan de levertijden bij artikelen die
op voorraad liggen (beschrijving aanpassing) op productpagina’s bij bol.com of haar
plaza-partners (testlocatie) op zowel de desktop, mobile als in de app (apparaat).
We verwachten dat hierdoor de betrouwbaarheid over de levering toeneemt (impact op
gedrag/gevoel) van bezoekers die op de productpaginakomen en waarvan het product
ook daadwerkelijk op voorraad ligt (testpopulatie), waardoor meer bezoekers gaan
bestellen (test-KPI).
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hoe stel
je een
testplan
op?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Testplan
Test ID AB-000048-5
Testnaam Toevoegen “op voorraad” op productdetailpagina
Paginatype Productdetailpagina’s waarbij product op voorraad ligt
Testtype A/B test
Populatie 100% desktop, mobile en app-verkeer
Variaties Origineel en variant (2)
Startdatum 1-06-2016
Einddatum 15-06-2016
Testduur 14 dagen
Minimum sample size 112.200
Hypothese Sinds we hebben gezien dat gebruikers beter converteren als ze meer overtuigd zijn van de
beschikbaarheid van een artikel door de resultaten van een eerder uitgevoerde A/B-test, willen we de
tekst “Op voorraad” toevoegen aan de levertijden bij artikelen die op voorraad liggen (beschrijving
aanpassing) op productpagina’s bij bol.com of haar plaza-partners (testlocatie) op zowel de desktop,
mobile als in de app (apparaat).
We verwachten dat hierdoor de betrouwbaarheid over de levering toeneemt (impact op
gedrag/gevoel) van bezoekers die op de productpagina komen en waarvan het product ook
daadwerkelijk op voorraad ligt (testpopulatie), waardoor meer bezoekers gaan bestellen (test-KPI).
Test-KPI Conversie %
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
De testvarianten
worden gecreëerd
en in de
A/B-testsoftware
geïmplementeerd
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Creatie
van
variant B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
B
Origineel
A
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc. Analyseer je
testresultaten
En
rapporteer!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Origineel
A
Variant
B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Volgende stap:
winnende variant
direct doorvoeren
en leerpunten
gebruiken binnen
bijvoorbeeld(online)
marketing
campagnes
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Conversie-optimalisatiecase
Gamma
Deze case is opgesteld door:
Erik van Houwelingen,CRO-specialist bij Intergamma.
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Interviews met
klanten +
vakliteratuur (blogs)
als bron voor
verbetering aan de
webshop
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Uit interviews met klanten
blijkt dat klanten angst hebben
om direct te bestellenen dat
zij weinig bekend zijn met de
mogelijkheid om op de
productpagina’s de voorraad
in de bouwmarkt te bekijken.
In vakliteratuur is te lezen dat
een goede ‘feedforward’ in de
vorm van een call-to-
actiontekst belangrijk is om bij
de bezoekeraan te geven wat
hij kan verwachten.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Inzicht:
De call-to-action button op
de categoriepagina’s geeft
geengoede ‘feed forward’,
want is deze is gericht op het
plaatsen van een online
bestelling,terwijl men eerst
op de productpaginaterecht
komt wanneer er op de call-
to-action button wordt
geklikt.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Dit is de huidige call-to-
action button op de
categoriepagina.
De button impliceertdat
bezoekers directeen
bestelling gaan plaatsen,
terwijl dit niet het geval is.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Hypotheses altijd A/B-testen
Hypotheses altijd A/B-testen
HypothesesA/B-testen of in de webwinkel direct aanpassen
Direct in de webwinkel aanpassen
Deze
potentiële
verbetering
gaat over
onzekerheid
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hoe stel
je een
hypothese
op?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hypothese
Door de call-to-action buttontekst op de categoriepagina’s (testlocatie) bij
desktopbezoekers (apparaat) minder te richten op (direct) online bestellen
(beschrijving aanpassing), neemt dit onzekerheid voor de bezoeker weg en zullen
meer bezoekers doorklikken om het product te bekijken (impact op gedrag/gevoel). Dit
zal resulteren in meer online en offline conversies (test-KPI) bij bezoekers van de
categoriepagina’s (testpopulatie).
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
A/B-test-KPI’s
Veel verkeer
Online retailer Retailer met fysiek winkels
Doorklikratio
# offline voorraadchecks op de
site
Toevoegingen winkelmandje # bezoeken aan fysieke winkel
Online conversiepercentage Conversiepercentage
Online omzet Omzet
Online winst Winst
Lange termijn waarde van de
online klant
Lange termijn waarde van de
klant
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hoe stel
je een
testplan
op?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Testplan
Testnaam Categoriepagina’s call-to-actionbuttontekst - minder online kopen
Paginatype Categoriepagina’s
Testtype A/B-test
Populatie 50% van de desktopbezoekers opde categoriepagina’s van GAMMA
Variaties 3 (1 origineel en 2 varianten)
Testduur 28 dagen
Hypothese
Doorde call-to-action buttontekst op de categoriepagina’s (testlocatie)bij desktopbezoekers (apparaat)
minder te richten op (direct) online bestellen(beschrijving aanpassing),neemtdit onzekerheid voor de
bezoekerweg en zullen meerbezoekers doorklikkenom het product te bekijken (impactop
gedrag/gevoel).Dit zal resulteren in meeronline en offline conversies (testKPI) bij bezoekers van de
categoriepagina’s (testpopulatie).
Test-KPI Transacties (online + offline).Offline conversie wordt uitgedrukt in bouwmarkt-voorraadchecks
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
De testvarianten
worden gecreëerd
en in de
A/B-testsoftware
geïmplementeerd
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
C
Variant
B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
C
Variant
B
Origineel
A
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc. Analyseer je
testresultaten
En
rapporteer!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
C
Variant
B
Origineel
A
Online conversiepercentage +2,1% (sig. 95%)
Offline conversiepercentage +8,1% (sig. 95%)
Winnaar!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Volgende stap:
variant B (Bekijk
product)direct
doorvoerenen
learnings gebruiken
als inzichten voor
nieuwe A/B-tests.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Conversie-
optimalisatiecase
Transavia
Deze case is opgesteld door:
Vanja Mlaco, CRO lead bij Transavia.
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Webanalytics data
als bron voor
verbetering aan de
webshop
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Webanalytics data
toont aan dat er
verbetering mogelijk is
doorhet
uitstappercentage op
de betaalpagina te
verminderen
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Inzicht:
uit de analytics data blijkt dat er
mogelijkhedenzijn om de drop
off rate op de laatste stap van
de funnel te verminderen.
Reassurance technieken
kunnen een positief effect
hebbenop bezoekers,dus
mogelijkleidt het toepassen
van deze technieken tot meer
transacties.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Dit is de huidige
betaalpagina,
zonder
reassurance-
technieken.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Hypotheses altijd A/B-testen
Hypotheses altijd A/B-testen
HypothesesA/B-testen of in de webwinkel direct aanpassen
Direct in de webwinkel aanpassen
Deze potentiële
verbetering betreft
verleidingstechnieken
uit de consumenten-
psychologieom
bezoekers te
verleiden in de laatste
stap de bestelling af te
ronden
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hoe stel
je een
hypothese
op?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hypothese
Door reassurance-technieken toe te voegen (beschrijving aanpassing) bovenaan de betaalpagina
(testlocatie) bij desktop- en tabletbezoekers die de betaalpagina bereiken (apparaat &
testpopulatie) zullen meer transacties worden afgerond (test-KPI). De volgende technieken worden
toegepast (impact op gedrag/gevoel):
• Social Proof (93% van de reizigers beveelt Transavia aan)
Omdat mensen gevoelig zijn voor het gedrag van anderen en (veelal onbewust) de neiging
hebben ditzelfde gedrag te vertonen kan het concreet benoemen van het gedrag van anderen een
duw in de rug zijn.
• Autoriteit (Transavia: al 50 jaar veilig en vertrouwd)
Door letterlijk te benoemen dat het met Transavia al 50 jaar veilig en vertrouwd reizen is wordt er
autoriteit rond het merk Transavia gecreërd.
• Externe Autoriteit (Consumenten over Transavia: “Een eerlijke prijs én waar voor je geld.” (bron:
consumentenonderzoek GfK). Door GFK als autoriteit in te zetten wordt er autoriteit rond het merk
Transavia gecreërd.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hoe stel
je een
testplan
op?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Testplan
Testnaam Toevoegenreassurance-techniekenop betaalpagina
Paginatype Betaalpagina
Testtype Multivariate test
Populatie Desktop-& tabletverkeer
Variaties 5 (1 origineel en 4 varianten)
Testduur 31 dagen
Hypothese
Doorreassurance-techniekentoe te voegen(beschrijving aanpassing)bovenaan de
betaalpagina (testlocatie)bij desktop-en tabletbezoekers die debetaalpagina bereiken
(apparaat & testpopulatie)zullen meer transacties worden afgerond (test-KPI).De
volgende technieken worden toegepast (impactop gedrag/gevoel):
• Social Proof (93% van de reizigers beveeltTransavia aan)
Omdat mensengevoelig zijn voor het gedrag van anderen en (veelal onbewust) de
neiging hebbenditzelfde gedrag te vertonen kan het concreetbenoemenvan het
gedrag van anderen een duw in de rug zijn.
• Autoriteit (Transavia:al 50 jaar veiligen vertrouwd)
Doorletterlijk te benoemendat het met Transavia al 50 jaar veilig en vertrouwd
reizen is wordt er autoriteit rond het merk Transavia gecreërd.
• Externe autoriteit (Consumenten overTransavia:“Een eerlijke prijs én waar voorje
geld.” (bron:consumentenonderzoekGfK). DoorGFK als autoriteit in te zetten
wordt er autoriteit rond het merk Transavia gecreërd.
Test-KPI Conversie %
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
De testvarianten
worden gecreëerd
en in de
A/B-testsoftware
geïmplementeerd
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
B
Social proof
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
C
Autoriteit
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
D
Autoriteit
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
E
Combinatie
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc. Analyseer je
testresultaten
En
rapporteer!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Origineel
A
Variant
B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
C
Variant
D
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Volgende stap:
implementatie van
Social Proof op de
betaalpagina.
Bezoekers zijn gevoelig
voor wat andere klanten
vinden. Doortestenvan
Social Proof techniek
op andere pagina’s
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Conversie-optimalisatiecase
Ulla Popken
Deze case is opgesteld door:
Rudger de Groot, Digital Optimizer bij Mintminds.
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Webanalytics data
als bron voor
verbetering aan de
webshop
46,4% van alle unieke bezoekers in
de webshop bereikt een
productdetailpagina
15.2% verlaat de webshop vanaf een
productdetailpagina
30.3% gaat terug naar een vorige
pagina (meestal een categoriepagina
of zoekresultaten.
9.4% voegt een product toe aan de
winkelmand
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Inzicht:
met behulp van webanalytics data
is bezoekersgedrag op de
productdetailpagina’s in kaart
gebracht. 9,4% van de unieke
bezoekers die een
productdetailpaginahebben
bezocht,voegen een producttoe
aan de winkelmand. Kan het
percentage van 9,4% hoger door
technieken uit de
consumentenpsychologie toe te
passen?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Hypotheses altijd A/B-testen
Hypotheses altijd A/B-testen
HypothesesA/B-testen of in de webwinkel direct aanpassen
Direct in de webwinkel aanpassen
Deze potentiële verbetering
betreftverleidingstechnieken
uit de consumenten-
psychologieom bezoekers te
verleiden om te kopen
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Huidige productdetailpagina
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Welke hypothese
willen we testen
op de bezoekers?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hypothese
Door de korting op de productdetailpagina’s (testlocatie) voor desktop- en
tabletbezoekers (apparaat & testpopulatie) te benadrukken door middel van de
verleidingstechnieken attentional bias, reference pricing en limitation time (beschrijving
aanpassing) wordt het gevoel van waarde voor je geld verhoogd, omdat bezoekers
bewuster zijn van het bedrag dat ze besparen (impact of gedrag/gevoel). Dit moet
leiden tot meer transacties voor producten met korting (test-KPI).
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hoe stel
je een
testplan
op?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Testoverzicht
Testnaam Korting benadrukken op productdetailpagina
Paginatype Productdetailpagina’s (alleen productenmet korting wanneer korting bij kleur is geselecteerd)
Testtype A/B-test
Populatie Desktop-& tabletverkeer
Variaties 3 (1 origineel en 2 varianten)
Testduur 14 dagen
Hypothese
Doorde korting op de productdetailpagina’s (testlocatie)voordesktop-en tabletbezoekers (apparaat&
testpopulatie)te benadrukken doormiddelvan de verleidingstechniekenattentional bias, reference
pricing en limitation time (beschrijving aanpassing)wordt het gevoelvan waarde voor je geld
verhoogd,omdat bezoekers bewusterzijn van het bedrag dat ze besparen(impactof gedrag/gevoel).
Dit moetleiden tot een hogere visitor-to-cart rate (test-KPI) en meertransacties voor productenmet
korting (test-KPI).
Primaire test-KPI Visitor to cart
Secundaire test-KPI Transactions
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
De testvarianten
worden gecreëerd
en in de
A/B-testsoftware
geïmplementeerd
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Origineel
B
Variant
C
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc. Analyseer je
testresultaten
En
rapporteer!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Origineel
A
Variant
C
Variant
B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Volgende stap:test
opnieuw versie C tegen
versie B na
implementatie.Deel de
uitkomsten met het
marketingteam voor het
optimaliserenvan
salescampagnes.
Vervolgtestenop
categoriepagina’s en
zoekresultatenpagina’s
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Conversie-optimalisatiecase
BCC
Deze case is opgesteld door:
Hendrik Jan Staal, E-commerce Manager bij BCC
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Webanalytics data,
klantenservicevragen
en onsite
klantfeedbackals
bronnen voor
verbetering aan de
webshop
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
In de top 3 van meest
bezochte pagina’s van
de klantenservice:
bezoekers zoeken
informatie omtrent
bezorgenen afhalen
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten uit overige data-bronnen
• Top 3 feedback vanuit winkels mbt klanten die ‘Click & Collect’ order ophalen
• Top 5 opmerkingen uit de onsite feedback tool
• Hoofdreden voor annulering van orders
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Inzicht:
bezoekers willen de
verwachte levertijd
weten over een product.
Kennelijk is de levertijd
niet duidelijk genoeg op
het momentdat een
bezoekerde beslissing
maakt om het productte
kopen.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Huidige productpagina
Levertijd wordt niet getoond
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Hypotheses altijd A/B-testen
Hypotheses altijd A/B-testen
HypothesesA/B-testen of in de webwinkel direct aanpassen
Direct in de webwinkel aanpassen
Deze potentiële
verbetering betreft
onzekerheid over
de levering
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Welke hypothese
willen we testen
op de bezoekers?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hypothese
Door de levertijdnotificatie (beschrijving aanpassing) reeds op de productpagina’s
(testlocatie) duidelijker te tonen op desktop (apparaat) nemen we onzekerheid over het
levertijdstip meer weg (impact op gedrag/gevoel).
Door duidelijker en prominenter de levertijd te tonen verwachten we een verhoging van het
aantal transacties (test-KPI) bij desktopbezoekers op de product detailpagina’s binnen
wasmachines (testpopulatie).
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Hoe stel
je een
testplan
op?
Testoverzicht
Testnaam Toevoegeninformatie levertijd op productdetailpagina’s
Paginatype Productdetailpagina(wasmachines)
Testtype A/B-test
Populatie Desktopverkeer
Variaties 2 (1 origineel en 1 variant)
Testduur 2 weken
Hypothese
Doorde levertijdnotificatie (beschrijvingaanpassing)reeds op productpagina(testlocatie)duidelijker
te tonen op desktop (apparaat)nemenwe onzekerheid over het levertijdstip meerweg (impact op
gedrag/gevoel).
Doorduidelijker en prominenter de levertijd te tonen verwachten we een verhoging van het aantal
transacties (test-KPI) bij desktopbezoekers op de product detailpagina’s binnen wasmachines
(testpopulatie).
Primaire test-KPI Conversie %
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
De testvarianten
worden gecreëerd
en in de
A/B-testsoftware
geïmplementeerd
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Variant
B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc. Analyseer je
testresultaten
En
rapporteer!
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Origineel
A
Variant
B
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Volgende stap:
delen van deze
kennis binnen de
organisatie.
Campagnelearning:
verwachte levertijd is
belangrijk voor
bezoekers
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Hypothese
6
Testplan
7
Varianten
8
Analyseren
9
Learnings
Conversie-optimalisatiecase
Ziggo
Deze case is opgesteld door:
Farshad Soleymani, Conversion Manager bij Ziggo
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Form-analysedata
als bron voor
verbetering aan de
webshop
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
6
Learnings
Met behulp van een formanalyse
zijn de interacties met het
formulier in stap 1 van de
checkout inzichtelijk gemaakt.
Bezoekers blijken de meeste
problemen te hebben met het
veld IBAN/rekeningnummer. Het veld
IBAN/rekeningnummer:
2x meer interacties in
vergelijking met andere
invulvelden
3x meer time on field in
vergelijking met andere
invulvelden
15x meer uitval in
vergelijking met andere
invulvelden
.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
6
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Inzicht:
het IBAN-rekeningnummer
is een lang en ingewikkeld
nummer dat mensen
moeilijk kunnen onthouden.
Voorveel bezoekers is het
mogelijkeen drempel
waardoor ze afhaken en
hun order niet afmaken.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
6
Learnings
Hier bevindt zich
het huidige veld
IBAN-
rekeningnummer in
stap 1 van de
checkout.
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
6
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
6
Learnings
PrioVerbeterpunten Potential Importance Ease
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
6
Learnings
Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informeren
team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verw erpen en
naar volgende test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringen
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Er wordt hoge
prioriteit toegekend
aan het inzicht
1
Bron
3
Prioriteren
4
Backlog
2
Inzicht
5
Live
6
Learnings
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases
ShoppingTomorrow: datagedreven conversie-optimalisatiecases

Contenu connexe

Tendances

Dé aanpak voor succesvolle A/B-testen
Dé aanpak voor succesvolle A/B-testenDé aanpak voor succesvolle A/B-testen
Dé aanpak voor succesvolle A/B-testenvalantic NL
 
Datagedreven conversieoptimalisatie bij Lucardi
Datagedreven conversieoptimalisatie bij LucardiDatagedreven conversieoptimalisatie bij Lucardi
Datagedreven conversieoptimalisatie bij Lucardivalantic NL
 
Webinar verhoog je conversie met deze mobile usability optimalisaties
Webinar verhoog je conversie met deze mobile usability optimalisatiesWebinar verhoog je conversie met deze mobile usability optimalisaties
Webinar verhoog je conversie met deze mobile usability optimalisatiesvalantic NL
 
WWV 2017: omnichannel infrastructuur
WWV 2017: omnichannel infrastructuurWWV 2017: omnichannel infrastructuur
WWV 2017: omnichannel infrastructuurvalantic NL
 
Conversie-optimalisatie: hoe pakt u dat aan
Conversie-optimalisatie: hoe pakt u dat aanConversie-optimalisatie: hoe pakt u dat aan
Conversie-optimalisatie: hoe pakt u dat aanvalantic NL
 
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei valantic NL
 
Google Analytics in een omnichannel-omgeving
Google Analytics in een omnichannel-omgevingGoogle Analytics in een omnichannel-omgeving
Google Analytics in een omnichannel-omgevingvalantic NL
 
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienenvalantic NL
 
Hoe bouwt u een succesvolle omnichannel-infrastructuur?
Hoe bouwt u een succesvolle omnichannel-infrastructuur?Hoe bouwt u een succesvolle omnichannel-infrastructuur?
Hoe bouwt u een succesvolle omnichannel-infrastructuur?valantic NL
 
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienenvalantic NL
 
Google Analytics voor webshops met meer omzet dan 1 miljoen per jaar
Google Analytics voor webshops met meer omzet dan 1 miljoen per jaarGoogle Analytics voor webshops met meer omzet dan 1 miljoen per jaar
Google Analytics voor webshops met meer omzet dan 1 miljoen per jaarvalantic NL
 
Realtime personalisatie met magento
Realtime personalisatie met magentoRealtime personalisatie met magento
Realtime personalisatie met magentovalantic NL
 
google analytics voor webshops met meer omzet dan 1 miljoen per jaar
google analytics voor webshops met meer omzet dan 1 miljoen per jaargoogle analytics voor webshops met meer omzet dan 1 miljoen per jaar
google analytics voor webshops met meer omzet dan 1 miljoen per jaarvalantic NL
 
Klantcase Hunkemöller: datagedreven optimalisatie
Klantcase Hunkemöller: datagedreven optimalisatieKlantcase Hunkemöller: datagedreven optimalisatie
Klantcase Hunkemöller: datagedreven optimalisatievalantic NL
 
Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrow
Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrowCases van conversie-optimalisatie op de smartphone - ShoppingTomorrow
Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrowvalantic NL
 
Hét stappenplan voor een toekomstbestendige omnichannelstrategie
Hét stappenplan voor een toekomstbestendige omnichannelstrategieHét stappenplan voor een toekomstbestendige omnichannelstrategie
Hét stappenplan voor een toekomstbestendige omnichannelstrategievalantic NL
 
Hoeveel budget moet je in 2017 inzetten op offline media?
Hoeveel budget moet je in 2017 inzetten op offline media?Hoeveel budget moet je in 2017 inzetten op offline media?
Hoeveel budget moet je in 2017 inzetten op offline media?valantic NL
 
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?valantic NL
 
Even Apeldoorn Checken – Webanalytics uitdagingen bij Centraal Beheer Achmea ...
Even Apeldoorn Checken – Webanalytics uitdagingen bij Centraal Beheer Achmea ...Even Apeldoorn Checken – Webanalytics uitdagingen bij Centraal Beheer Achmea ...
Even Apeldoorn Checken – Webanalytics uitdagingen bij Centraal Beheer Achmea ...Webanalisten .nl
 
Verhoog uw conversie met deze mobile usability optimalisaties
Verhoog uw conversie met deze mobile usability optimalisatiesVerhoog uw conversie met deze mobile usability optimalisaties
Verhoog uw conversie met deze mobile usability optimalisatiesvalantic NL
 

Tendances (20)

Dé aanpak voor succesvolle A/B-testen
Dé aanpak voor succesvolle A/B-testenDé aanpak voor succesvolle A/B-testen
Dé aanpak voor succesvolle A/B-testen
 
Datagedreven conversieoptimalisatie bij Lucardi
Datagedreven conversieoptimalisatie bij LucardiDatagedreven conversieoptimalisatie bij Lucardi
Datagedreven conversieoptimalisatie bij Lucardi
 
Webinar verhoog je conversie met deze mobile usability optimalisaties
Webinar verhoog je conversie met deze mobile usability optimalisatiesWebinar verhoog je conversie met deze mobile usability optimalisaties
Webinar verhoog je conversie met deze mobile usability optimalisaties
 
WWV 2017: omnichannel infrastructuur
WWV 2017: omnichannel infrastructuurWWV 2017: omnichannel infrastructuur
WWV 2017: omnichannel infrastructuur
 
Conversie-optimalisatie: hoe pakt u dat aan
Conversie-optimalisatie: hoe pakt u dat aanConversie-optimalisatie: hoe pakt u dat aan
Conversie-optimalisatie: hoe pakt u dat aan
 
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
Conversiecase Primera: hoe data en A/B-testen leiden tot structurele omzetgroei
 
Google Analytics in een omnichannel-omgeving
Google Analytics in een omnichannel-omgevingGoogle Analytics in een omnichannel-omgeving
Google Analytics in een omnichannel-omgeving
 
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
 
Hoe bouwt u een succesvolle omnichannel-infrastructuur?
Hoe bouwt u een succesvolle omnichannel-infrastructuur?Hoe bouwt u een succesvolle omnichannel-infrastructuur?
Hoe bouwt u een succesvolle omnichannel-infrastructuur?
 
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
[Webinar] Onmisbare Google Analytics analyses om direct geld mee te verdienen
 
Google Analytics voor webshops met meer omzet dan 1 miljoen per jaar
Google Analytics voor webshops met meer omzet dan 1 miljoen per jaarGoogle Analytics voor webshops met meer omzet dan 1 miljoen per jaar
Google Analytics voor webshops met meer omzet dan 1 miljoen per jaar
 
Realtime personalisatie met magento
Realtime personalisatie met magentoRealtime personalisatie met magento
Realtime personalisatie met magento
 
google analytics voor webshops met meer omzet dan 1 miljoen per jaar
google analytics voor webshops met meer omzet dan 1 miljoen per jaargoogle analytics voor webshops met meer omzet dan 1 miljoen per jaar
google analytics voor webshops met meer omzet dan 1 miljoen per jaar
 
Klantcase Hunkemöller: datagedreven optimalisatie
Klantcase Hunkemöller: datagedreven optimalisatieKlantcase Hunkemöller: datagedreven optimalisatie
Klantcase Hunkemöller: datagedreven optimalisatie
 
Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrow
Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrowCases van conversie-optimalisatie op de smartphone - ShoppingTomorrow
Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrow
 
Hét stappenplan voor een toekomstbestendige omnichannelstrategie
Hét stappenplan voor een toekomstbestendige omnichannelstrategieHét stappenplan voor een toekomstbestendige omnichannelstrategie
Hét stappenplan voor een toekomstbestendige omnichannelstrategie
 
Hoeveel budget moet je in 2017 inzetten op offline media?
Hoeveel budget moet je in 2017 inzetten op offline media?Hoeveel budget moet je in 2017 inzetten op offline media?
Hoeveel budget moet je in 2017 inzetten op offline media?
 
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
Hoe realiseert u een hoger conversiepercentage op mobiel dan op desktop?
 
Even Apeldoorn Checken – Webanalytics uitdagingen bij Centraal Beheer Achmea ...
Even Apeldoorn Checken – Webanalytics uitdagingen bij Centraal Beheer Achmea ...Even Apeldoorn Checken – Webanalytics uitdagingen bij Centraal Beheer Achmea ...
Even Apeldoorn Checken – Webanalytics uitdagingen bij Centraal Beheer Achmea ...
 
Verhoog uw conversie met deze mobile usability optimalisaties
Verhoog uw conversie met deze mobile usability optimalisatiesVerhoog uw conversie met deze mobile usability optimalisaties
Verhoog uw conversie met deze mobile usability optimalisaties
 

En vedette

Conversie-optimalisatie: hoe pakt u dat aan?
Conversie-optimalisatie: hoe pakt u dat aan?Conversie-optimalisatie: hoe pakt u dat aan?
Conversie-optimalisatie: hoe pakt u dat aan?valantic NL
 
WWV 2017: datagedreven conversie-optimalisatie bij Lucardi
WWV 2017: datagedreven conversie-optimalisatie bij LucardiWWV 2017: datagedreven conversie-optimalisatie bij Lucardi
WWV 2017: datagedreven conversie-optimalisatie bij Lucardivalantic NL
 
Het effect van Google Adwords op offline winkelbezoek
Het effect van Google Adwords op offline winkelbezoekHet effect van Google Adwords op offline winkelbezoek
Het effect van Google Adwords op offline winkelbezoekvalantic NL
 
Maximaal rendement uit marketing automation
Maximaal rendement uit marketing automationMaximaal rendement uit marketing automation
Maximaal rendement uit marketing automationEsthervanrees
 
Webinar: onmisbare trends en ontwikkelingen op het gebied van e-mailmarketing
Webinar: onmisbare trends en ontwikkelingen op het gebied van e-mailmarketingWebinar: onmisbare trends en ontwikkelingen op het gebied van e-mailmarketing
Webinar: onmisbare trends en ontwikkelingen op het gebied van e-mailmarketingvalantic NL
 
Boost uw omzet door uw conversie structureel te verhogen!
Boost uw omzet door uw conversie structureel te verhogen!Boost uw omzet door uw conversie structureel te verhogen!
Boost uw omzet door uw conversie structureel te verhogen!valantic NL
 
Digital Marketing Landscape
Digital Marketing LandscapeDigital Marketing Landscape
Digital Marketing LandscapeKarenLesleyLee
 
Verzilver je data, ga voor goud!
Verzilver je data, ga voor goud!Verzilver je data, ga voor goud!
Verzilver je data, ga voor goud!Netprofiler
 
Mapping Experiences - O'Reilly Design Conference 2017
Mapping Experiences - O'Reilly Design Conference 2017Mapping Experiences - O'Reilly Design Conference 2017
Mapping Experiences - O'Reilly Design Conference 2017Jim Kalbach
 
User Research War Stories
User Research War StoriesUser Research War Stories
User Research War StoriesSteve Portigal
 

En vedette (12)

Conversie-optimalisatie: hoe pakt u dat aan?
Conversie-optimalisatie: hoe pakt u dat aan?Conversie-optimalisatie: hoe pakt u dat aan?
Conversie-optimalisatie: hoe pakt u dat aan?
 
WWV 2017: datagedreven conversie-optimalisatie bij Lucardi
WWV 2017: datagedreven conversie-optimalisatie bij LucardiWWV 2017: datagedreven conversie-optimalisatie bij Lucardi
WWV 2017: datagedreven conversie-optimalisatie bij Lucardi
 
Het effect van Google Adwords op offline winkelbezoek
Het effect van Google Adwords op offline winkelbezoekHet effect van Google Adwords op offline winkelbezoek
Het effect van Google Adwords op offline winkelbezoek
 
Maximaal rendement uit marketing automation
Maximaal rendement uit marketing automationMaximaal rendement uit marketing automation
Maximaal rendement uit marketing automation
 
Webinar: onmisbare trends en ontwikkelingen op het gebied van e-mailmarketing
Webinar: onmisbare trends en ontwikkelingen op het gebied van e-mailmarketingWebinar: onmisbare trends en ontwikkelingen op het gebied van e-mailmarketing
Webinar: onmisbare trends en ontwikkelingen op het gebied van e-mailmarketing
 
Boost uw omzet door uw conversie structureel te verhogen!
Boost uw omzet door uw conversie structureel te verhogen!Boost uw omzet door uw conversie structureel te verhogen!
Boost uw omzet door uw conversie structureel te verhogen!
 
Digital Marketing Landscape
Digital Marketing LandscapeDigital Marketing Landscape
Digital Marketing Landscape
 
Verzilver je data, ga voor goud!
Verzilver je data, ga voor goud!Verzilver je data, ga voor goud!
Verzilver je data, ga voor goud!
 
Lucardi
LucardiLucardi
Lucardi
 
Mapping Experiences - O'Reilly Design Conference 2017
Mapping Experiences - O'Reilly Design Conference 2017Mapping Experiences - O'Reilly Design Conference 2017
Mapping Experiences - O'Reilly Design Conference 2017
 
User Research War Stories
User Research War StoriesUser Research War Stories
User Research War Stories
 
Atomic design
Atomic designAtomic design
Atomic design
 

Similaire à ShoppingTomorrow: datagedreven conversie-optimalisatiecases

Lucardi ISM Webwinkel Vakdagen
Lucardi ISM Webwinkel VakdagenLucardi ISM Webwinkel Vakdagen
Lucardi ISM Webwinkel Vakdagenwebwinkelvakdag
 
Verdubbel je rendement door data-driven conversie-optimalisatie!
Verdubbel je rendement door data-driven conversie-optimalisatie!Verdubbel je rendement door data-driven conversie-optimalisatie!
Verdubbel je rendement door data-driven conversie-optimalisatie!valantic NL
 
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...valantic NL
 
Conversie verhogen zonder A/B-testen? De top 5 beste methoden!
Conversie verhogen zonder A/B-testen? De top 5 beste methoden!Conversie verhogen zonder A/B-testen? De top 5 beste methoden!
Conversie verhogen zonder A/B-testen? De top 5 beste methoden!valantic NL
 
Conversie verhogen zonder A/B-testen: de top 5 methoden
Conversie verhogen zonder A/B-testen: de top 5 methodenConversie verhogen zonder A/B-testen: de top 5 methoden
Conversie verhogen zonder A/B-testen: de top 5 methodenvalantic NL
 
De aanpak voor succesvolle A/B-testen
De aanpak voor succesvolle A/B-testenDe aanpak voor succesvolle A/B-testen
De aanpak voor succesvolle A/B-testenvalantic NL
 
13 conversie-optimalisatie strategieën en technieken
13 conversie-optimalisatie strategieën en technieken13 conversie-optimalisatie strategieën en technieken
13 conversie-optimalisatie strategieën en techniekenvalantic NL
 
De aanpak voor succesvolle A/B-testen
De aanpak voor succesvolle A/B-testenDe aanpak voor succesvolle A/B-testen
De aanpak voor succesvolle A/B-testenvalantic NL
 
Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010Netprofiler
 
Orange Valley - 7 effectieve handvatten voor een effectief cxo proces
Orange Valley - 7 effectieve handvatten voor een effectief cxo procesOrange Valley - 7 effectieve handvatten voor een effectief cxo proces
Orange Valley - 7 effectieve handvatten voor een effectief cxo procesBBP
 
Conversie-optimalisatie voor e-commerce op mobiel
Conversie-optimalisatie voor e-commerce op mobiel Conversie-optimalisatie voor e-commerce op mobiel
Conversie-optimalisatie voor e-commerce op mobiel valantic NL
 
7 tips voor meer rendement uit uw conversie-optimalisatieprogramma
7 tips voor meer rendement uit uw conversie-optimalisatieprogramma7 tips voor meer rendement uit uw conversie-optimalisatieprogramma
7 tips voor meer rendement uit uw conversie-optimalisatieprogrammavalantic NL
 
Conversie optimalisatie in de praktijk
Conversie optimalisatie in de praktijkConversie optimalisatie in de praktijk
Conversie optimalisatie in de praktijkNetprofiler
 
De aanpak voor succesvo A/B-testen
De aanpak voor succesvo A/B-testenDe aanpak voor succesvo A/B-testen
De aanpak voor succesvo A/B-testenvalantic NL
 
Janco klijnstra gauc 2011
Janco klijnstra   gauc 2011Janco klijnstra   gauc 2011
Janco klijnstra gauc 2011Janco Klijnstra
 
Conversie-optimalisatie: hoe pakt u dat aan?
Conversie-optimalisatie: hoe pakt u dat aan?Conversie-optimalisatie: hoe pakt u dat aan?
Conversie-optimalisatie: hoe pakt u dat aan?valantic NL
 
SEO A/B Testing voor een datagedreven SEO-strategie
SEO A/B Testing voor een datagedreven SEO-strategieSEO A/B Testing voor een datagedreven SEO-strategie
SEO A/B Testing voor een datagedreven SEO-strategieOrangeValley
 
Google AdWords Seminar
Google AdWords Seminar Google AdWords Seminar
Google AdWords Seminar TWIMP
 
Sessie Jurjen Jongejan - Dé succesfactoren voor conversie-optimalisatie in de...
Sessie Jurjen Jongejan - Dé succesfactoren voor conversie-optimalisatie in de...Sessie Jurjen Jongejan - Dé succesfactoren voor conversie-optimalisatie in de...
Sessie Jurjen Jongejan - Dé succesfactoren voor conversie-optimalisatie in de...valantic NL
 
Masterclass conversie optimalisatie
Masterclass conversie optimalisatieMasterclass conversie optimalisatie
Masterclass conversie optimalisatievalantic NL
 

Similaire à ShoppingTomorrow: datagedreven conversie-optimalisatiecases (20)

Lucardi ISM Webwinkel Vakdagen
Lucardi ISM Webwinkel VakdagenLucardi ISM Webwinkel Vakdagen
Lucardi ISM Webwinkel Vakdagen
 
Verdubbel je rendement door data-driven conversie-optimalisatie!
Verdubbel je rendement door data-driven conversie-optimalisatie!Verdubbel je rendement door data-driven conversie-optimalisatie!
Verdubbel je rendement door data-driven conversie-optimalisatie!
 
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
ShoppingTomorrow veel concrete tips voor meer rendement uit uw conversie-opti...
 
Conversie verhogen zonder A/B-testen? De top 5 beste methoden!
Conversie verhogen zonder A/B-testen? De top 5 beste methoden!Conversie verhogen zonder A/B-testen? De top 5 beste methoden!
Conversie verhogen zonder A/B-testen? De top 5 beste methoden!
 
Conversie verhogen zonder A/B-testen: de top 5 methoden
Conversie verhogen zonder A/B-testen: de top 5 methodenConversie verhogen zonder A/B-testen: de top 5 methoden
Conversie verhogen zonder A/B-testen: de top 5 methoden
 
De aanpak voor succesvolle A/B-testen
De aanpak voor succesvolle A/B-testenDe aanpak voor succesvolle A/B-testen
De aanpak voor succesvolle A/B-testen
 
13 conversie-optimalisatie strategieën en technieken
13 conversie-optimalisatie strategieën en technieken13 conversie-optimalisatie strategieën en technieken
13 conversie-optimalisatie strategieën en technieken
 
De aanpak voor succesvolle A/B-testen
De aanpak voor succesvolle A/B-testenDe aanpak voor succesvolle A/B-testen
De aanpak voor succesvolle A/B-testen
 
Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010
 
Orange Valley - 7 effectieve handvatten voor een effectief cxo proces
Orange Valley - 7 effectieve handvatten voor een effectief cxo procesOrange Valley - 7 effectieve handvatten voor een effectief cxo proces
Orange Valley - 7 effectieve handvatten voor een effectief cxo proces
 
Conversie-optimalisatie voor e-commerce op mobiel
Conversie-optimalisatie voor e-commerce op mobiel Conversie-optimalisatie voor e-commerce op mobiel
Conversie-optimalisatie voor e-commerce op mobiel
 
7 tips voor meer rendement uit uw conversie-optimalisatieprogramma
7 tips voor meer rendement uit uw conversie-optimalisatieprogramma7 tips voor meer rendement uit uw conversie-optimalisatieprogramma
7 tips voor meer rendement uit uw conversie-optimalisatieprogramma
 
Conversie optimalisatie in de praktijk
Conversie optimalisatie in de praktijkConversie optimalisatie in de praktijk
Conversie optimalisatie in de praktijk
 
De aanpak voor succesvo A/B-testen
De aanpak voor succesvo A/B-testenDe aanpak voor succesvo A/B-testen
De aanpak voor succesvo A/B-testen
 
Janco klijnstra gauc 2011
Janco klijnstra   gauc 2011Janco klijnstra   gauc 2011
Janco klijnstra gauc 2011
 
Conversie-optimalisatie: hoe pakt u dat aan?
Conversie-optimalisatie: hoe pakt u dat aan?Conversie-optimalisatie: hoe pakt u dat aan?
Conversie-optimalisatie: hoe pakt u dat aan?
 
SEO A/B Testing voor een datagedreven SEO-strategie
SEO A/B Testing voor een datagedreven SEO-strategieSEO A/B Testing voor een datagedreven SEO-strategie
SEO A/B Testing voor een datagedreven SEO-strategie
 
Google AdWords Seminar
Google AdWords Seminar Google AdWords Seminar
Google AdWords Seminar
 
Sessie Jurjen Jongejan - Dé succesfactoren voor conversie-optimalisatie in de...
Sessie Jurjen Jongejan - Dé succesfactoren voor conversie-optimalisatie in de...Sessie Jurjen Jongejan - Dé succesfactoren voor conversie-optimalisatie in de...
Sessie Jurjen Jongejan - Dé succesfactoren voor conversie-optimalisatie in de...
 
Masterclass conversie optimalisatie
Masterclass conversie optimalisatieMasterclass conversie optimalisatie
Masterclass conversie optimalisatie
 

Plus de valantic NL

B2B verhoog conversie loyaliteit met hyperpersonalisatie
B2B verhoog conversie loyaliteit met hyperpersonalisatieB2B verhoog conversie loyaliteit met hyperpersonalisatie
B2B verhoog conversie loyaliteit met hyperpersonalisatievalantic NL
 
WWV - Presentatie Sander B Hyperpersonalisatie
WWV - Presentatie Sander B HyperpersonalisatieWWV - Presentatie Sander B Hyperpersonalisatie
WWV - Presentatie Sander B Hyperpersonalisatievalantic NL
 
Webwinkel Vakdagen: TikTok, alleen maar gekke dansjes of een enorme kans?
Webwinkel Vakdagen: TikTok, alleen maar gekke dansjes of een enorme kans? Webwinkel Vakdagen: TikTok, alleen maar gekke dansjes of een enorme kans?
Webwinkel Vakdagen: TikTok, alleen maar gekke dansjes of een enorme kans? valantic NL
 
Webwinkel Vakdagen: Grootste ecommerce innovaties van nu en in de toekomst
Webwinkel Vakdagen: Grootste ecommerce innovaties van nu en in de toekomstWebwinkel Vakdagen: Grootste ecommerce innovaties van nu en in de toekomst
Webwinkel Vakdagen: Grootste ecommerce innovaties van nu en in de toekomstvalantic NL
 
Duurzaamheid-WWVD
Duurzaamheid-WWVDDuurzaamheid-WWVD
Duurzaamheid-WWVDvalantic NL
 
Masterclass Hyperpersonalisatie - Van Strategie tot Executie 1.0
Masterclass Hyperpersonalisatie - Van Strategie tot Executie 1.0Masterclass Hyperpersonalisatie - Van Strategie tot Executie 1.0
Masterclass Hyperpersonalisatie - Van Strategie tot Executie 1.0valantic NL
 
Sessie Feiko Bierman - Data-gedreven werken binnen e-commerce
Sessie Feiko Bierman - Data-gedreven werken binnen e-commerceSessie Feiko Bierman - Data-gedreven werken binnen e-commerce
Sessie Feiko Bierman - Data-gedreven werken binnen e-commercevalantic NL
 
Sessie Feiko Bierman - Zo personaliseer je je klantreis voor iedere individue...
Sessie Feiko Bierman - Zo personaliseer je je klantreis voor iedere individue...Sessie Feiko Bierman - Zo personaliseer je je klantreis voor iedere individue...
Sessie Feiko Bierman - Zo personaliseer je je klantreis voor iedere individue...valantic NL
 
Sessie Leila Govers - Duurzaamheid en e-commerce
Sessie Leila Govers - Duurzaamheid en e-commerceSessie Leila Govers - Duurzaamheid en e-commerce
Sessie Leila Govers - Duurzaamheid en e-commercevalantic NL
 
Sessie Jack Solcer & Raoul van Tol - 50% meer abonnementen door conversie opt...
Sessie Jack Solcer & Raoul van Tol - 50% meer abonnementen door conversie opt...Sessie Jack Solcer & Raoul van Tol - 50% meer abonnementen door conversie opt...
Sessie Jack Solcer & Raoul van Tol - 50% meer abonnementen door conversie opt...valantic NL
 
Sessie Gayan Teubel & Sally Bakker - JBL van lokale datagedreven inzichten na...
Sessie Gayan Teubel & Sally Bakker - JBL van lokale datagedreven inzichten na...Sessie Gayan Teubel & Sally Bakker - JBL van lokale datagedreven inzichten na...
Sessie Gayan Teubel & Sally Bakker - JBL van lokale datagedreven inzichten na...valantic NL
 
Sessie Jurjen Jongejan - In 4 stappen naar een hogere conversie met je produc...
Sessie Jurjen Jongejan - In 4 stappen naar een hogere conversie met je produc...Sessie Jurjen Jongejan - In 4 stappen naar een hogere conversie met je produc...
Sessie Jurjen Jongejan - In 4 stappen naar een hogere conversie met je produc...valantic NL
 
Sessie Sander Lems - Datagedreven assortiments-optimalisatie
Sessie Sander Lems - Datagedreven assortiments-optimalisatieSessie Sander Lems - Datagedreven assortiments-optimalisatie
Sessie Sander Lems - Datagedreven assortiments-optimalisatievalantic NL
 
Sessie Elske Hesen - Webshop redesign, voorkom de meest gemaakte fouten
Sessie Elske Hesen - Webshop redesign, voorkom de meest gemaakte foutenSessie Elske Hesen - Webshop redesign, voorkom de meest gemaakte fouten
Sessie Elske Hesen - Webshop redesign, voorkom de meest gemaakte foutenvalantic NL
 
Sessie Lara Pap - Vermarktplaatsing van het e-commercelandschap
Sessie Lara Pap - Vermarktplaatsing van het e-commercelandschapSessie Lara Pap - Vermarktplaatsing van het e-commercelandschap
Sessie Lara Pap - Vermarktplaatsing van het e-commercelandschapvalantic NL
 
Duurzaamheid en e-commerce: inspirerende voorbeelden om zelf impact te maken.
Duurzaamheid en e-commerce: inspirerende voorbeelden om zelf impact te maken. Duurzaamheid en e-commerce: inspirerende voorbeelden om zelf impact te maken.
Duurzaamheid en e-commerce: inspirerende voorbeelden om zelf impact te maken. valantic NL
 
Webinar Marketplaces
Webinar MarketplacesWebinar Marketplaces
Webinar Marketplacesvalantic NL
 
Webinar: Data Science
Webinar: Data ScienceWebinar: Data Science
Webinar: Data Sciencevalantic NL
 
Digitale transformatie door de jaren heen. Wat zijn de learnings en kansen?
Digitale transformatie door de jaren heen. Wat zijn de learnings en kansen?Digitale transformatie door de jaren heen. Wat zijn de learnings en kansen?
Digitale transformatie door de jaren heen. Wat zijn de learnings en kansen?valantic NL
 
[Webinar] Zo genereer je leads met B2B campagnestrategieën voor LinkedIn Ads
[Webinar] Zo genereer je leads met B2B campagnestrategieën voor LinkedIn Ads[Webinar] Zo genereer je leads met B2B campagnestrategieën voor LinkedIn Ads
[Webinar] Zo genereer je leads met B2B campagnestrategieën voor LinkedIn Adsvalantic NL
 

Plus de valantic NL (20)

B2B verhoog conversie loyaliteit met hyperpersonalisatie
B2B verhoog conversie loyaliteit met hyperpersonalisatieB2B verhoog conversie loyaliteit met hyperpersonalisatie
B2B verhoog conversie loyaliteit met hyperpersonalisatie
 
WWV - Presentatie Sander B Hyperpersonalisatie
WWV - Presentatie Sander B HyperpersonalisatieWWV - Presentatie Sander B Hyperpersonalisatie
WWV - Presentatie Sander B Hyperpersonalisatie
 
Webwinkel Vakdagen: TikTok, alleen maar gekke dansjes of een enorme kans?
Webwinkel Vakdagen: TikTok, alleen maar gekke dansjes of een enorme kans? Webwinkel Vakdagen: TikTok, alleen maar gekke dansjes of een enorme kans?
Webwinkel Vakdagen: TikTok, alleen maar gekke dansjes of een enorme kans?
 
Webwinkel Vakdagen: Grootste ecommerce innovaties van nu en in de toekomst
Webwinkel Vakdagen: Grootste ecommerce innovaties van nu en in de toekomstWebwinkel Vakdagen: Grootste ecommerce innovaties van nu en in de toekomst
Webwinkel Vakdagen: Grootste ecommerce innovaties van nu en in de toekomst
 
Duurzaamheid-WWVD
Duurzaamheid-WWVDDuurzaamheid-WWVD
Duurzaamheid-WWVD
 
Masterclass Hyperpersonalisatie - Van Strategie tot Executie 1.0
Masterclass Hyperpersonalisatie - Van Strategie tot Executie 1.0Masterclass Hyperpersonalisatie - Van Strategie tot Executie 1.0
Masterclass Hyperpersonalisatie - Van Strategie tot Executie 1.0
 
Sessie Feiko Bierman - Data-gedreven werken binnen e-commerce
Sessie Feiko Bierman - Data-gedreven werken binnen e-commerceSessie Feiko Bierman - Data-gedreven werken binnen e-commerce
Sessie Feiko Bierman - Data-gedreven werken binnen e-commerce
 
Sessie Feiko Bierman - Zo personaliseer je je klantreis voor iedere individue...
Sessie Feiko Bierman - Zo personaliseer je je klantreis voor iedere individue...Sessie Feiko Bierman - Zo personaliseer je je klantreis voor iedere individue...
Sessie Feiko Bierman - Zo personaliseer je je klantreis voor iedere individue...
 
Sessie Leila Govers - Duurzaamheid en e-commerce
Sessie Leila Govers - Duurzaamheid en e-commerceSessie Leila Govers - Duurzaamheid en e-commerce
Sessie Leila Govers - Duurzaamheid en e-commerce
 
Sessie Jack Solcer & Raoul van Tol - 50% meer abonnementen door conversie opt...
Sessie Jack Solcer & Raoul van Tol - 50% meer abonnementen door conversie opt...Sessie Jack Solcer & Raoul van Tol - 50% meer abonnementen door conversie opt...
Sessie Jack Solcer & Raoul van Tol - 50% meer abonnementen door conversie opt...
 
Sessie Gayan Teubel & Sally Bakker - JBL van lokale datagedreven inzichten na...
Sessie Gayan Teubel & Sally Bakker - JBL van lokale datagedreven inzichten na...Sessie Gayan Teubel & Sally Bakker - JBL van lokale datagedreven inzichten na...
Sessie Gayan Teubel & Sally Bakker - JBL van lokale datagedreven inzichten na...
 
Sessie Jurjen Jongejan - In 4 stappen naar een hogere conversie met je produc...
Sessie Jurjen Jongejan - In 4 stappen naar een hogere conversie met je produc...Sessie Jurjen Jongejan - In 4 stappen naar een hogere conversie met je produc...
Sessie Jurjen Jongejan - In 4 stappen naar een hogere conversie met je produc...
 
Sessie Sander Lems - Datagedreven assortiments-optimalisatie
Sessie Sander Lems - Datagedreven assortiments-optimalisatieSessie Sander Lems - Datagedreven assortiments-optimalisatie
Sessie Sander Lems - Datagedreven assortiments-optimalisatie
 
Sessie Elske Hesen - Webshop redesign, voorkom de meest gemaakte fouten
Sessie Elske Hesen - Webshop redesign, voorkom de meest gemaakte foutenSessie Elske Hesen - Webshop redesign, voorkom de meest gemaakte fouten
Sessie Elske Hesen - Webshop redesign, voorkom de meest gemaakte fouten
 
Sessie Lara Pap - Vermarktplaatsing van het e-commercelandschap
Sessie Lara Pap - Vermarktplaatsing van het e-commercelandschapSessie Lara Pap - Vermarktplaatsing van het e-commercelandschap
Sessie Lara Pap - Vermarktplaatsing van het e-commercelandschap
 
Duurzaamheid en e-commerce: inspirerende voorbeelden om zelf impact te maken.
Duurzaamheid en e-commerce: inspirerende voorbeelden om zelf impact te maken. Duurzaamheid en e-commerce: inspirerende voorbeelden om zelf impact te maken.
Duurzaamheid en e-commerce: inspirerende voorbeelden om zelf impact te maken.
 
Webinar Marketplaces
Webinar MarketplacesWebinar Marketplaces
Webinar Marketplaces
 
Webinar: Data Science
Webinar: Data ScienceWebinar: Data Science
Webinar: Data Science
 
Digitale transformatie door de jaren heen. Wat zijn de learnings en kansen?
Digitale transformatie door de jaren heen. Wat zijn de learnings en kansen?Digitale transformatie door de jaren heen. Wat zijn de learnings en kansen?
Digitale transformatie door de jaren heen. Wat zijn de learnings en kansen?
 
[Webinar] Zo genereer je leads met B2B campagnestrategieën voor LinkedIn Ads
[Webinar] Zo genereer je leads met B2B campagnestrategieën voor LinkedIn Ads[Webinar] Zo genereer je leads met B2B campagnestrategieën voor LinkedIn Ads
[Webinar] Zo genereer je leads met B2B campagnestrategieën voor LinkedIn Ads
 

ShoppingTomorrow: datagedreven conversie-optimalisatiecases

  • 2. Onderzoeksprogramma om de concurrentiepositie van Nederland te versterken ShoppingTomorrow
  • 3. In 2016/2017 hebben 24 expertgroepen met in totaal meer dan 450 experts zich gestort op onderzoeksvragen over verschillende e-commerce gerelateerde onderwerpen. Iedere expertgroep levert een zogenaamde bluepaper op, waarin je de antwoorden op de onderzoeksvragen kunt terugvinden. Download gratis de bluepapers op www.shoppingtomorrow.nl/bluepapers Alle bluepapers zijn gebundeld in het boek ‘samen bouwen aan retailscucces’. U kunt het boek bestellen op www.shoppingtomorrow.nl.
  • 4. Dit online casedocument is opgesteld vanuit de Expertgroep Revenue Optimization. Vanuit het ShoppingTomorrow-boek en onze bluepaper wordt doorverwezen naar conversie- optimalisatiecases. Deze cases vind je in dit document.
  • 5. Voorzitter Expertgroep Revenue Optimization Jurjen Jongejan Sr. Conversie-optimalisatie consultant | Online Marketing Director j.jongejan@ism.nl Linkedin.com/jurjenjongejan @jurjenjongejan  Meer dan 13 jaar conversie-optimalisatie ervaring bij  Bedrijfskundigevan de  Bloggerop  Auteur van de bestseller
  • 7. Rick Weij Web Analyst Tele 2 Hendrik-JanStaal E-Commerce Manager BCC Casper van Driel E-Commerce Manager VT Wonen Bart Westerhof Campaign Manager Erik van Houwelingen CRO Specialist Intergamma Bol.com Saskiade Römph E-commerce Category Manager Gamma Bas Jansen Conversion Specialist Google Thijs Schouten Category Manager ReinSuijker Managing Director HobbyGigant.nl Kristof Vervliet E-commerce Manager Difrax Vanja Mlaco CRO Lead Transavia Rudger de Groot Digital Optimizer & Webanalytics Denise Visser-Koot User Experience Strateeg Bert Middendorp E-commerce Manager Bol.com Guido Jansen Euroflorist Conversion Manager KARWEI JurjenJongejan Sr. Conversie-optimalisatie ISM eCompany Consultant Hunkemöller FarshadSoleymani Conversie Manager Ziggo Patty Bastiaansen Markteer CRO & Analyse Bax-shop.nl Wouter Wensing Team Lead Conversion ISM eCompany Mint Minds
  • 8. Om conversie-optimalisatie een strategisch onderdeel van je bedrijf te maken, heb je volgens ons 7 competenties nodig.
  • 10. De expertgroep heeft een volwassenheidsmodel voor conversie-optimalisatie ontwikkeld. Bij iedere competentie kun je zien op welk niveau jouw bedrijf scoort.
  • 13. Benieuwd naar de volwassenheid van jouw organisatie op het gebied van conversie-optimalisatie? En waar jouw groeikansen liggen?
  • 15. Mooi al die competenties en die niveaus, maar hoe richt je het conversie- optimalisatie proces in? Dit proces heeft onze expertgroep voor je uitgetekend.
  • 16. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Conversie-optimalisatieproces
  • 17. Dit proces bestaat uit verschillende onderdelen. Bij ieder onderdeel hebben we een onderzoeksvraag opgesteld. Op basis van concrete cases hebben we onze onderzoeksvragen beantwoord. De cases vind je in het resterende deel van dit document.
  • 18. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wat is de beste aanpak om potentiële verbeteringente prioriteren? Wanneer komt een potentiële verbetering op de change of A/B-test backlog? Hoe stel je een hypothese op? Hoe stel je een testplan op? Hoe deel je learnings binnen je organisatie? Hoe analyseer je de A/B test resultaten? Wat zijn do’s en dont’s?
  • 20. Experts uit de expertgroep hebben conversie- optimalistiecases opgesteld en deze hebben we met elkaar besproken in de expertgroep. Deze case is opgesteld door: Patty Bastiaansen, CRO-marketeer bij Bax-shop.nl
  • 21. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Webanalytics data als bron voor verbetering aan de webshop
  • 22. Bezoekers klikken op de productpagina vaak op productreviews 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 24. Dit is de huidige productpaginamet productreviews. De reviews worden onder de prijs getoond 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 25. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Inzicht: bezoekers die de productreviews lezen zijn erg waardevol. Ze zijn e eerdergeneigd om tot aankoop over te gaan. Het is dus goed om te kijken hoe we de productreviews beter op kunnen laten vallen zodat meer bezoekers ze lezen 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 26. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Wat is de beste aanpak om potentiële verbeteringen te prioriteren?
  • 27. Prioriteren is een belangrijk onderdeel van het conversie-optimalisatie proces. Je wilt voortdurend met de minste inspanning de hoogste impact op je KPI’s realiseren. Daarom hebben we een nieuw model ontwikkeld om je potentiële verbeteringen te prioriteren.
  • 29. De expertgroep vindt het belangrijk dat je potentiële verbeteringen goed onderbouwt met data-bronnen. Hoe meer databronnen je potentiële verbetering onderbouwen, hoe groter de kans dat je impact maakt op je KPI.
  • 34. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Wanneer komt een potentiële verbetering op de change of A/B-test backlog?
  • 35. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Emotie Intuïtie Usability Functionaliteit Technologie Unieke waarde propositie Motivatie verhogen Onzekerheid reduceren,overtuigen en verleiden Obstakels wegnemen Behoefte vervullenen redenengeven om te kopen Obstakels wegnemen Mogelijk maken
  • 36. Emotie Intuïtie Usability Functionaliteit Technologie Unieke waarde propositie Hypotheses altijd A/B-testen Hypotheses altijd A/B-testen HypothesesA/B-testen of in de webwinkel direct aanpassen Direct in de webwinkel aanpassen In de conversie- optimalisatiepiramide bevinden reviews zich bovenaan. Daarom valideer je de potentiële verbetering met eenA/B- test 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 37. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Welke hypothese willen we testen op de bezoekers?
  • 38. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Hoe stel je een hypothese op?
  • 39. Een goede hypothese kun je ontleden op basis van 6 onderdelen: 1. Testlocatie: op welke pagina(groep) draait de test? 2. Apparaat: op welk apparaat wordt de A/B-test uitgevoerd? 3. Beschrijving van de aanpassing op de pagina(groep). 4. De impact van de aanpassing op gedrag/gevoel. 5. Beschrijving van de testpopulatie. Het is belangrijk dit scherp te formuleren. Wil je bijvoorbeeld een potentiële verbetering A/B-testen op de productpagina waarbij bezoekers eerst moeten scrollen, dan is de testpopulatie: bezoekers op de productpagina die de aanpassing hebben gezien. De testpopulatie is dus niet alle bezoekers op de productpagina. 6. Test-KPI: op welke KPI wordt de hypothese bevestigd of verworpen? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 40. Hypothese Door de productreviews op de productpagina’s (testlocatie) bij desktopbezoekers (apparaat) onder de productnaam te tonen (beschrijving aanpassing), zullen deze reviews meer gezien worden. Dit komt omdat websitebezoekers in 69% van de tijd naar de linkerhelft van het scherm kijken. Door de productreviews beter op te laten vallen, zal dit de motivatie om het product te kopen verhogen (impact op gedrag/gevoel). Dit zal resulteren in meer online orders (test KPI) van producten met productreviews bij desktopbezoekers (testpopulatie). 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 41. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Hoe stel je een testplan op?
  • 42. Testplan Test ID AB-000013-3 Testnaam Productreviews prominenter tonen Paginatype Productpagina’s met productreviews Testtype A/B-test Populatie 100% desktopverkeer Variaties Origineel en variant (2) Startdatum 15-07-2016 Einddatum 28-07-2016 Testduur 14 dagen Minimum sample size 63.700 Hypothese Door de productreviews op de productpagina’s (testlocatie) bij desktopbezoekers (apparaat) onder de productnaam te tonen (beschrijving aanpassing), zullen deze reviews meer gezien worden. Dit komt omdat websitebezoekers in 69% van de tijd naar de linkerhelft van het scherm kijken. Door de productreviews beter op te laten vallen, zal dit de motivatie om het product te kopen verhogen (impact op gedrag/gevoel). Dit zal resulteren in meer online orders (test KPI) van producten met productreviews bij desktopbezoekers (testpopulatie). Test-KPI Conversie % 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 43. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings De testvarianten worden gecreëerd en in de A/B-testsoftware geïmplementeerd
  • 46. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Nee En rapporteer! Analyseer je testresultaten 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 48. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hypothese opstellen Test herhalen Informeren team Volgende stap: productreviews verder verbeteren.Delen van deze kennis binnen de organisatie. Bijvoorbeeld met het SEO-team:hogere prioriteit van tonen van productreviews in de zoekresultaten. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 50. Deze case is opgesteld door Wouter Wensing, Team Lead Conversion & Webanalytics bij ISM eCompany
  • 51. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Webanalytics data als bron voor verbetering aan de webshop 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 52.  Geen grote verschillen tussen browsers  Verder inzoomen op browserversie niveau Internet Explorer 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live Inzicht in bezoekersgedrag
  • 53.  Internet Explorer 9.0 converteert helemaal niet! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 54.  Ten opzichte van Internet Explorer 10.0 gaat er zo’n € 8000,- verloren. Op jaarbasis is dit bijna € 20.000,-! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 55.  Het probleem zit in de checkout. 100% van de bezoekers die de checkout bereikt valt uit! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 56.  Met de Enhanced Ecommerce funnel kunnen we achterhalen wáár bezoekers in de checkout uitvallen  Segment: Internet Explorer 9.0 toepassen  We weten nu waar het probleem zich bevindt. 100% van de bezoekers valt uit in de checkout stap: shipping! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 57. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Inzicht: desktopbezoekers met Internet Explorer 9.0 vallen allemaal uit in de stap ‘shipping’ in het bestelproces. Controleren met de tool ‘cross browser testing’ wat het probleem precies is. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 58. Alle browers, behalve IE 9 IE 9 browser ‘Ga verder’-buttons ontbreken in de Internet Explorer 9.0 browser bij desktopbezoekers. Na analyse blijkt dat er een probleem is geweest met een javascript merge. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 59. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wat is de beste aanpak om potentiële verbeteringen te prioriteren? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 60. PrioVerbeterpunten Potential Importance Ease 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 61. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wanneer komt een potentiële verbetering op de change of A/B-test backlog? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 62. Emotie Intuïtie Usability Functionaliteit Technologie Unieke waarde propositie Hypotheses altijd A/B-testen Hypotheses altijd A/B-testen HypothesesA/B-testen of in de webwinkel direct aanpassen Direct in de webwinkel aanpassen Het Internet Explorer-issue betrefteen technologisch verbeterpunten moet direct gefixt worden. Daarom komt deze potentiële verbetering op de change backlog met hoge prioriteit. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 63. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Er wordt de hoogste prioriteit toegekend aan het inzicht en komt op de change backlog. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 64. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. De oplossing wordt direct doorgevoerd. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 65. Internet Explorer 9.0 javascript oplossing doorgevoerden transacties komen weer binnen. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live
  • 67. Deze case is opgesteld door: Jurjen Jongejan, senior conversie-optimalisatie consultant bij ISM eCompany
  • 68. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Webanalytics data als bron voor verbetering aan de webshop
  • 69.  63% van de bezoekers die de winkelmand bereiken, verlaat deze zonder verder te gaan met bestellen 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 70. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Analyse van een externe expert als bron van verbetering aan de webshop 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 71. Call to action is te agressief. Bezoekers rondenhier nog niet hun bestelling af. Na klikken op deze button denken bezoekers mogelijkdat het product direct wordt geleverd.Dit geeft onzekerheid. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 72. Grote ergernis bij bezoekers is om verplicht een account aan te moetenmaken. Bij Lucardi kun je bestellenzonder account aan te hoeven maken. Als we dat hier al communiceren,nemenwe alvast een ergernis weg. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 73. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Inzicht: bezoekers die de winkelmand bereiken vallen relatief vaak uit. Huidige pagina geeftte veel onzekerheid. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 74. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wat is de beste aanpak om potentiële verbeteringen te prioriteren? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 75. PrioVerbeterpunten Potential Importance Ease 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 76. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wanneer komt een potentiële verbetering op de change of A/B-test backlog? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 77. Emotie Intuïtie Usability Functionaliteit Technologie Unieke waarde propositie Hypotheses altijd A/B-testen Hypotheses altijd A/B-testen HypothesesA/B-testen of in de webwinkel direct aanpassen Direct in de webwinkel aanpassen Deze potentiële verbetering gaat over onzekerheid reduceren 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 78. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Welke hypothese willen we testen op de bezoekers? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 79. Hypothese Door de buttontekst in de winkelmand (testlocatie) op desktop (apparaat) te wijzigen naar “Verder met bestellen” én door een groene tekst toe te voegen onder de button “Bestel snel: Een account aanmaken is NIET verplicht” (beschrijving aanpassing) verlaagt dit de ‘gepercipieerde onzekerheid’ (impact op gedrag/gevoel)’, waardoor meer bezoekers die de winkelmand bereiken (testpopulatie) hun bestelling afronden (test KPI). 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 80. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hoe stel je een testplan op? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 81. Testplan Test ID AB-000023-4 Testnaam Aanpassing CTA winkelmand + microcopy Paginatype Winkelwagen Testtype A/B-test Populatie 100% desktopverkeer Variaties Origineel en variant (2) Startdatum 08-01-2016 Einddatum 29-01-2016 Testduur 21 dagen Minimum sample size 10.200 Hypothese Door de buttontekst in de winkelmand (testlocatie) op desktop (apparaat) te wijzigen naar “Verder met bestellen” én door een groene tekst toe te voegen onder de button “Bestel snel: Een account aanmaken is NIET verplicht” (beschrijving aanpassing) verlaagt dit de ‘gepercipieerde onzekerheid’ (impact op gedrag/gevoel)’, waardoor meer bezoekers die de winkelmand bereiken(testpopulatie) hun bestelling afronden (test-KPI). Test-KPI Conversie % 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 82. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. De testvarianten worden gecreëerd en in de A/B-testsoftware geïmplementeerd 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 84. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. En rapporteer! Analyseer je testresultaten 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 87. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hypothese opstellen Test herhalen Informeren team Doelgroep is gevoelig voor onzekerheid reducerenin winkelmand. Ook testen op smartphone. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 90. Deze case is opgesteld door: Denise Visser, user experience strateeg bij Bol.com.
  • 91. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Learnings uit eerdere A/B-tests als bron voor conversie- verbetering 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 92. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Sinds kort kun je bij Bol.com als bezoekerdezelfdedag het productlaten bezorgen. Voorwaarde is dat je voor 12:00 uur moetbestellen
  • 93. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Learning: bezoekers zijn meer overtuigd van de betrouwbaarheid van de levering als het ook écht op voorraad lijkt te zijn na 12:00 uur na 12:00 uur Origineel A Variant B
  • 94. Dit is de huidige productpagina zonder duidelijke communicatie dat een productop voorraad is. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 95. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Learning: bezoekers zijn meerovertuigd van de betrouwbaarheid van de levering als het ook écht op voorraad lijkt te zijn 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 96. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wat is de beste aanpak om potentiële verbeteringen te prioriteren? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 97. PrioVerbeterpunten Potential Importance Ease 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 98. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wanneer komt een potentiële verbetering op de change of A/B-test backlog? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 99. Emotie Intuïtie Usability Functionaliteit Technologie Unieke waarde propositie Hypotheses altijd A/B-testen Hypotheses altijd A/B-testen HypothesesA/B-testen of in de webwinkel direct aanpassen Direct in de webwinkel aanpassen Deze potentiële verbetering gaat over de (on-) zekerheid van de levering 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 100. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Welke hypothese willen we testen op de bezoekers? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 101. Hypothese Sinds we hebben gezien dat gebruikers beter converteren als ze meer overtuigd zijn van de beschikbaarheid van een artikel door de resultaten van een eerder uitgevoerde A/B-test, willen we de tekst “Op voorraad” toevoegen aan de levertijden bij artikelen die op voorraad liggen (beschrijving aanpassing) op productpagina’s bij bol.com of haar plaza-partners (testlocatie) op zowel de desktop, mobile als in de app (apparaat). We verwachten dat hierdoor de betrouwbaarheid over de levering toeneemt (impact op gedrag/gevoel) van bezoekers die op de productpaginakomen en waarvan het product ook daadwerkelijk op voorraad ligt (testpopulatie), waardoor meer bezoekers gaan bestellen (test-KPI). 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 102. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hoe stel je een testplan op? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 103. Testplan Test ID AB-000048-5 Testnaam Toevoegen “op voorraad” op productdetailpagina Paginatype Productdetailpagina’s waarbij product op voorraad ligt Testtype A/B test Populatie 100% desktop, mobile en app-verkeer Variaties Origineel en variant (2) Startdatum 1-06-2016 Einddatum 15-06-2016 Testduur 14 dagen Minimum sample size 112.200 Hypothese Sinds we hebben gezien dat gebruikers beter converteren als ze meer overtuigd zijn van de beschikbaarheid van een artikel door de resultaten van een eerder uitgevoerde A/B-test, willen we de tekst “Op voorraad” toevoegen aan de levertijden bij artikelen die op voorraad liggen (beschrijving aanpassing) op productpagina’s bij bol.com of haar plaza-partners (testlocatie) op zowel de desktop, mobile als in de app (apparaat). We verwachten dat hierdoor de betrouwbaarheid over de levering toeneemt (impact op gedrag/gevoel) van bezoekers die op de productpagina komen en waarvan het product ook daadwerkelijk op voorraad ligt (testpopulatie), waardoor meer bezoekers gaan bestellen (test-KPI). Test-KPI Conversie % 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 104. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. De testvarianten worden gecreëerd en in de A/B-testsoftware geïmplementeerd 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 107. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Analyseer je testresultaten En rapporteer! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 109. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hypothese opstellen Test herhalen Informeren team Volgende stap: winnende variant direct doorvoeren en leerpunten gebruiken binnen bijvoorbeeld(online) marketing campagnes 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 111. Deze case is opgesteld door: Erik van Houwelingen,CRO-specialist bij Intergamma.
  • 112. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Interviews met klanten + vakliteratuur (blogs) als bron voor verbetering aan de webshop 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 113. Uit interviews met klanten blijkt dat klanten angst hebben om direct te bestellenen dat zij weinig bekend zijn met de mogelijkheid om op de productpagina’s de voorraad in de bouwmarkt te bekijken. In vakliteratuur is te lezen dat een goede ‘feedforward’ in de vorm van een call-to- actiontekst belangrijk is om bij de bezoekeraan te geven wat hij kan verwachten. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 114. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Inzicht: De call-to-action button op de categoriepagina’s geeft geengoede ‘feed forward’, want is deze is gericht op het plaatsen van een online bestelling,terwijl men eerst op de productpaginaterecht komt wanneer er op de call- to-action button wordt geklikt. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 115. Dit is de huidige call-to- action button op de categoriepagina. De button impliceertdat bezoekers directeen bestelling gaan plaatsen, terwijl dit niet het geval is. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 116. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wat is de beste aanpak om potentiële verbeteringen te prioriteren? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 117. PrioVerbeterpunten Potential Importance Ease 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 118. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wanneer komt een potentiële verbetering op de change of A/B-test backlog? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 119. Emotie Intuïtie Usability Functionaliteit Technologie Unieke waarde propositie Hypotheses altijd A/B-testen Hypotheses altijd A/B-testen HypothesesA/B-testen of in de webwinkel direct aanpassen Direct in de webwinkel aanpassen Deze potentiële verbetering gaat over onzekerheid 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 120. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hoe stel je een hypothese op? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 121. Hypothese Door de call-to-action buttontekst op de categoriepagina’s (testlocatie) bij desktopbezoekers (apparaat) minder te richten op (direct) online bestellen (beschrijving aanpassing), neemt dit onzekerheid voor de bezoeker weg en zullen meer bezoekers doorklikken om het product te bekijken (impact op gedrag/gevoel). Dit zal resulteren in meer online en offline conversies (test-KPI) bij bezoekers van de categoriepagina’s (testpopulatie). 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 122. A/B-test-KPI’s Veel verkeer Online retailer Retailer met fysiek winkels Doorklikratio # offline voorraadchecks op de site Toevoegingen winkelmandje # bezoeken aan fysieke winkel Online conversiepercentage Conversiepercentage Online omzet Omzet Online winst Winst Lange termijn waarde van de online klant Lange termijn waarde van de klant 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 123. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hoe stel je een testplan op? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 124. Testplan Testnaam Categoriepagina’s call-to-actionbuttontekst - minder online kopen Paginatype Categoriepagina’s Testtype A/B-test Populatie 50% van de desktopbezoekers opde categoriepagina’s van GAMMA Variaties 3 (1 origineel en 2 varianten) Testduur 28 dagen Hypothese Doorde call-to-action buttontekst op de categoriepagina’s (testlocatie)bij desktopbezoekers (apparaat) minder te richten op (direct) online bestellen(beschrijving aanpassing),neemtdit onzekerheid voor de bezoekerweg en zullen meerbezoekers doorklikkenom het product te bekijken (impactop gedrag/gevoel).Dit zal resulteren in meeronline en offline conversies (testKPI) bij bezoekers van de categoriepagina’s (testpopulatie). Test-KPI Transacties (online + offline).Offline conversie wordt uitgedrukt in bouwmarkt-voorraadchecks 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 125. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. De testvarianten worden gecreëerd en in de A/B-testsoftware geïmplementeerd 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 128. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Analyseer je testresultaten En rapporteer! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 129. Variant C Variant B Origineel A Online conversiepercentage +2,1% (sig. 95%) Offline conversiepercentage +8,1% (sig. 95%) Winnaar! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 130. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hypothese opstellen Test herhalen Informeren team Volgende stap: variant B (Bekijk product)direct doorvoerenen learnings gebruiken als inzichten voor nieuwe A/B-tests. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 132. Deze case is opgesteld door: Vanja Mlaco, CRO lead bij Transavia.
  • 133. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Webanalytics data als bron voor verbetering aan de webshop 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 134. Webanalytics data toont aan dat er verbetering mogelijk is doorhet uitstappercentage op de betaalpagina te verminderen 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 135. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Inzicht: uit de analytics data blijkt dat er mogelijkhedenzijn om de drop off rate op de laatste stap van de funnel te verminderen. Reassurance technieken kunnen een positief effect hebbenop bezoekers,dus mogelijkleidt het toepassen van deze technieken tot meer transacties. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 136. Dit is de huidige betaalpagina, zonder reassurance- technieken. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 137. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wat is de beste aanpak om potentiële verbeteringen te prioriteren? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 138. PrioVerbeterpunten Potential Importance Ease 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 139. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wanneer komt een potentiële verbetering op de change of A/B-test backlog? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 140. Emotie Intuïtie Usability Functionaliteit Technologie Unieke waarde propositie Hypotheses altijd A/B-testen Hypotheses altijd A/B-testen HypothesesA/B-testen of in de webwinkel direct aanpassen Direct in de webwinkel aanpassen Deze potentiële verbetering betreft verleidingstechnieken uit de consumenten- psychologieom bezoekers te verleiden in de laatste stap de bestelling af te ronden 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 141. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hoe stel je een hypothese op? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 142. Hypothese Door reassurance-technieken toe te voegen (beschrijving aanpassing) bovenaan de betaalpagina (testlocatie) bij desktop- en tabletbezoekers die de betaalpagina bereiken (apparaat & testpopulatie) zullen meer transacties worden afgerond (test-KPI). De volgende technieken worden toegepast (impact op gedrag/gevoel): • Social Proof (93% van de reizigers beveelt Transavia aan) Omdat mensen gevoelig zijn voor het gedrag van anderen en (veelal onbewust) de neiging hebben ditzelfde gedrag te vertonen kan het concreet benoemen van het gedrag van anderen een duw in de rug zijn. • Autoriteit (Transavia: al 50 jaar veilig en vertrouwd) Door letterlijk te benoemen dat het met Transavia al 50 jaar veilig en vertrouwd reizen is wordt er autoriteit rond het merk Transavia gecreërd. • Externe Autoriteit (Consumenten over Transavia: “Een eerlijke prijs én waar voor je geld.” (bron: consumentenonderzoek GfK). Door GFK als autoriteit in te zetten wordt er autoriteit rond het merk Transavia gecreërd. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 143. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hoe stel je een testplan op? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 144. Testplan Testnaam Toevoegenreassurance-techniekenop betaalpagina Paginatype Betaalpagina Testtype Multivariate test Populatie Desktop-& tabletverkeer Variaties 5 (1 origineel en 4 varianten) Testduur 31 dagen Hypothese Doorreassurance-techniekentoe te voegen(beschrijving aanpassing)bovenaan de betaalpagina (testlocatie)bij desktop-en tabletbezoekers die debetaalpagina bereiken (apparaat & testpopulatie)zullen meer transacties worden afgerond (test-KPI).De volgende technieken worden toegepast (impactop gedrag/gevoel): • Social Proof (93% van de reizigers beveeltTransavia aan) Omdat mensengevoelig zijn voor het gedrag van anderen en (veelal onbewust) de neiging hebbenditzelfde gedrag te vertonen kan het concreetbenoemenvan het gedrag van anderen een duw in de rug zijn. • Autoriteit (Transavia:al 50 jaar veiligen vertrouwd) Doorletterlijk te benoemendat het met Transavia al 50 jaar veilig en vertrouwd reizen is wordt er autoriteit rond het merk Transavia gecreërd. • Externe autoriteit (Consumenten overTransavia:“Een eerlijke prijs én waar voorje geld.” (bron:consumentenonderzoekGfK). DoorGFK als autoriteit in te zetten wordt er autoriteit rond het merk Transavia gecreërd. Test-KPI Conversie % 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 145. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. De testvarianten worden gecreëerd en in de A/B-testsoftware geïmplementeerd 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 150. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Analyseer je testresultaten En rapporteer! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 152. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hypothese opstellen Test herhalen Informeren team Volgende stap: implementatie van Social Proof op de betaalpagina. Bezoekers zijn gevoelig voor wat andere klanten vinden. Doortestenvan Social Proof techniek op andere pagina’s 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 154. Deze case is opgesteld door: Rudger de Groot, Digital Optimizer bij Mintminds.
  • 155. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Webanalytics data als bron voor verbetering aan de webshop
  • 156. 46,4% van alle unieke bezoekers in de webshop bereikt een productdetailpagina 15.2% verlaat de webshop vanaf een productdetailpagina 30.3% gaat terug naar een vorige pagina (meestal een categoriepagina of zoekresultaten. 9.4% voegt een product toe aan de winkelmand 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 157. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Inzicht: met behulp van webanalytics data is bezoekersgedrag op de productdetailpagina’s in kaart gebracht. 9,4% van de unieke bezoekers die een productdetailpaginahebben bezocht,voegen een producttoe aan de winkelmand. Kan het percentage van 9,4% hoger door technieken uit de consumentenpsychologie toe te passen? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 158. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wat is de beste aanpak om potentiële verbeteringen te prioriteren? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 159. PrioVerbeterpunten Potential Importance Ease 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 160. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wanneer komt een potentiële verbetering op de change of A/B-test backlog? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 161. Emotie Intuïtie Usability Functionaliteit Technologie Unieke waarde propositie Hypotheses altijd A/B-testen Hypotheses altijd A/B-testen HypothesesA/B-testen of in de webwinkel direct aanpassen Direct in de webwinkel aanpassen Deze potentiële verbetering betreftverleidingstechnieken uit de consumenten- psychologieom bezoekers te verleiden om te kopen 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 163. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Welke hypothese willen we testen op de bezoekers? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 164. Hypothese Door de korting op de productdetailpagina’s (testlocatie) voor desktop- en tabletbezoekers (apparaat & testpopulatie) te benadrukken door middel van de verleidingstechnieken attentional bias, reference pricing en limitation time (beschrijving aanpassing) wordt het gevoel van waarde voor je geld verhoogd, omdat bezoekers bewuster zijn van het bedrag dat ze besparen (impact of gedrag/gevoel). Dit moet leiden tot meer transacties voor producten met korting (test-KPI). 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 165. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hoe stel je een testplan op? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 166. Testoverzicht Testnaam Korting benadrukken op productdetailpagina Paginatype Productdetailpagina’s (alleen productenmet korting wanneer korting bij kleur is geselecteerd) Testtype A/B-test Populatie Desktop-& tabletverkeer Variaties 3 (1 origineel en 2 varianten) Testduur 14 dagen Hypothese Doorde korting op de productdetailpagina’s (testlocatie)voordesktop-en tabletbezoekers (apparaat& testpopulatie)te benadrukken doormiddelvan de verleidingstechniekenattentional bias, reference pricing en limitation time (beschrijving aanpassing)wordt het gevoelvan waarde voor je geld verhoogd,omdat bezoekers bewusterzijn van het bedrag dat ze besparen(impactof gedrag/gevoel). Dit moetleiden tot een hogere visitor-to-cart rate (test-KPI) en meertransacties voor productenmet korting (test-KPI). Primaire test-KPI Visitor to cart Secundaire test-KPI Transactions 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 167. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. De testvarianten worden gecreëerd en in de A/B-testsoftware geïmplementeerd 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 169. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Analyseer je testresultaten En rapporteer! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 171. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hypothese opstellen Test herhalen Informeren team Volgende stap:test opnieuw versie C tegen versie B na implementatie.Deel de uitkomsten met het marketingteam voor het optimaliserenvan salescampagnes. Vervolgtestenop categoriepagina’s en zoekresultatenpagina’s 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 173. Deze case is opgesteld door: Hendrik Jan Staal, E-commerce Manager bij BCC
  • 174. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Webanalytics data, klantenservicevragen en onsite klantfeedbackals bronnen voor verbetering aan de webshop 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 175. In de top 3 van meest bezochte pagina’s van de klantenservice: bezoekers zoeken informatie omtrent bezorgenen afhalen 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 176. Inzichten uit overige data-bronnen • Top 3 feedback vanuit winkels mbt klanten die ‘Click & Collect’ order ophalen • Top 5 opmerkingen uit de onsite feedback tool • Hoofdreden voor annulering van orders 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 177. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Inzicht: bezoekers willen de verwachte levertijd weten over een product. Kennelijk is de levertijd niet duidelijk genoeg op het momentdat een bezoekerde beslissing maakt om het productte kopen. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 178. Huidige productpagina Levertijd wordt niet getoond 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 179. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wat is de beste aanpak om potentiële verbeteringen te prioriteren? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 180. PrioVerbeterpunten Potential Importance Ease 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 181. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wanneer komt een potentiële verbetering op de change of A/B-test backlog? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 182. Emotie Intuïtie Usability Functionaliteit Technologie Unieke waarde propositie Hypotheses altijd A/B-testen Hypotheses altijd A/B-testen HypothesesA/B-testen of in de webwinkel direct aanpassen Direct in de webwinkel aanpassen Deze potentiële verbetering betreft onzekerheid over de levering 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 183. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Welke hypothese willen we testen op de bezoekers? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 184. Hypothese Door de levertijdnotificatie (beschrijving aanpassing) reeds op de productpagina’s (testlocatie) duidelijker te tonen op desktop (apparaat) nemen we onzekerheid over het levertijdstip meer weg (impact op gedrag/gevoel). Door duidelijker en prominenter de levertijd te tonen verwachten we een verhoging van het aantal transacties (test-KPI) bij desktopbezoekers op de product detailpagina’s binnen wasmachines (testpopulatie). 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 185. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings Hoe stel je een testplan op?
  • 186. Testoverzicht Testnaam Toevoegeninformatie levertijd op productdetailpagina’s Paginatype Productdetailpagina(wasmachines) Testtype A/B-test Populatie Desktopverkeer Variaties 2 (1 origineel en 1 variant) Testduur 2 weken Hypothese Doorde levertijdnotificatie (beschrijvingaanpassing)reeds op productpagina(testlocatie)duidelijker te tonen op desktop (apparaat)nemenwe onzekerheid over het levertijdstip meerweg (impact op gedrag/gevoel). Doorduidelijker en prominenter de levertijd te tonen verwachten we een verhoging van het aantal transacties (test-KPI) bij desktopbezoekers op de product detailpagina’s binnen wasmachines (testpopulatie). Primaire test-KPI Conversie % 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 187. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. De testvarianten worden gecreëerd en in de A/B-testsoftware geïmplementeerd 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 189. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Analyseer je testresultaten En rapporteer! 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 191. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Hypothese opstellen Test herhalen Informeren team Volgende stap: delen van deze kennis binnen de organisatie. Campagnelearning: verwachte levertijd is belangrijk voor bezoekers 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Hypothese 6 Testplan 7 Varianten 8 Analyseren 9 Learnings
  • 193. Deze case is opgesteld door: Farshad Soleymani, Conversion Manager bij Ziggo
  • 194. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Form-analysedata als bron voor verbetering aan de webshop 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live 6 Learnings
  • 195. Met behulp van een formanalyse zijn de interacties met het formulier in stap 1 van de checkout inzichtelijk gemaakt. Bezoekers blijken de meeste problemen te hebben met het veld IBAN/rekeningnummer. Het veld IBAN/rekeningnummer: 2x meer interacties in vergelijking met andere invulvelden 3x meer time on field in vergelijking met andere invulvelden 15x meer uitval in vergelijking met andere invulvelden . 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live 6 Learnings
  • 196. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Inzicht: het IBAN-rekeningnummer is een lang en ingewikkeld nummer dat mensen moeilijk kunnen onthouden. Voorveel bezoekers is het mogelijkeen drempel waardoor ze afhaken en hun order niet afmaken. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live 6 Learnings
  • 197. Hier bevindt zich het huidige veld IBAN- rekeningnummer in stap 1 van de checkout. 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live 6 Learnings
  • 198. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Wat is de beste aanpak om potentiële verbeteringen te prioriteren? 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live 6 Learnings
  • 199. PrioVerbeterpunten Potential Importance Ease 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live 6 Learnings
  • 200. Inzichten Prioriteren Test backlog HoogLaag Hypothese opstellen Testplan maken Testvarianten maken A/B-test live Analyseren Learnings delen Test herhalen Informeren team Rapportage o # bezoekers en conversie per variant o Segment analyse o Significantie niveau o Impact op KPI Verandering doorvoeren? Nee Ja Verw erpen en naar volgende test Maak ticket voor Development Hoog LIVE Change backlog Bronnen voor conversieverbeteringen o Webanalytics data o Externe expertanalyses o Sessie recordinganalyses o Onsite klantfeedback o Usability-onderzoek o Gedragsonderzoek o Analyse klantenservicevragen o Interviews met klanten o Etc. Er wordt hoge prioriteit toegekend aan het inzicht 1 Bron 3 Prioriteren 4 Backlog 2 Inzicht 5 Live 6 Learnings