Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrow

Expertgroep Revenue Optimization
Datagedreven conversie-optimalisatie op mobiel!
proces, cases en tips

Onderzoeksprogramma om de
concurrentiepositie
van Nederland te versterken
ShoppingTomorrow

In 2017 hebben 24 expertgroepen met in totaal
meer dan 450 experts zich gestort op
onderzoeksvragen over verschillende e-commerce
gerelateerde onderwerpen. Iedere expertgroep
levert een zogenaamde bluepaper op, waarin je de
antwoorden op de onderzoeksvragen kunt
terugvinden. Download gratis de bluepapers op
www.shoppingtomorrow.nl/bluepapers
Alle bluepapers zijn gebundeld in het boek ‘samen
bouwen aan retailscucces’. U kunt het boek
bestellen op www.shoppingtomorrow.nl.

Dit online casedocument is opgesteld vanuit de
Expertgroep Revenue Optimization. Vanuit het
ShoppingTomorrow-boek en onze bluepaper
wordt doorverwezen naar mobiele conversie-
optimalisatiecases. Deze cases vind je in dit
document.

Voorzitter Expertgroep Revenue Optimization
Jurjen Jongejan
Sr. Conversie-optimalisatie consultant | Online Marketing Director
j.jongejan@ism.nl
Linkedin.com/jurjenjongejan
@jurjenjongejan
✓ Meer dan 13 jaar conversie-optimalisatie ervaring bij
✓ Bedrijfskundige van de
✓ Blogger op
✓ Auteur van de bestseller

Rudger de Groot
CRO Specialist
Sr. Conversie-optimalisatie
Jurjen Jongejan
Consultant
Farshad Soleymani
Conversie Manager
Bert Middendorp
E-commerce Manager
Rick Weij
Conversie Specialist
Vanja Mlaco
CRO Lead
Bas Jansen
Conversion Specialist
& Webanalytics
Wouter Wensing
Team Lead Conversion
Denise Visser-Koot
User Experience Strateeg
Wesley Koolen
E-commerce Manager
Jurrien Schouten
CRO Specialist
Raun Sips
Business Analist
Bernadette Bijkerk
CRO Specialist
Robin Fellinger
Online Shop Manager
Erik van Houwelingen
Senior Web Analyst
Kristof Vervliet
E-commerce Manager
Guido Jansen
Sr. Online Optimization
Manager

Om conversie-optimalisatie een strategisch
onderdeel van je bedrijf te maken, heb je
volgens ons 7 competenties nodig.

Competenties conversie-optimalisatie

De expertgroep heeft een
volwassenheidsmodel voor conversie-
optimalisatie ontwikkeld. Bij iedere
competentie kun je zien op welk niveau jouw
bedrijf scoort.

Benieuwd naar de volwassenheid van
jouw organisatie op het gebied van
conversie-optimalisatie? En waar jouw
groeikansen liggen?

Waar hebben we ons dit jaar op gericht?

Help! Mobiel converteert niet!

Oriënteren op mobiel...
Cross-device attributie hebben we ons zelf aangepraat….
Converteren op desktop

De échte reden is dat we consumenten slechte mobiele ervaringen bieden…

‘mobile gap’
Klantverwachting
(snelheid, functionaliteit,
usability)
mobiele shops

Online marketeer
Consument
CEO
eCommerce ManagerKlantenservice

Hoe toekomstgericht is jouw bedrijf?
€290
Aandeel verkeer
0%
20%
40%
60%
80%
100%
Mobile Tablet Desktop
Sept ‘17 Sept ‘20
Conversie ratio
0%
1%
2%
3%
4%
Mobile Tablet Desktop
Sept ‘17 Sept ‘20
Omzet sept ´17
€290.000,- €650.000,-
€2.310.000,- €1.340.000,-
VERLIES €970.000,-
Omzet sept ´20
€220.000,- €120.000,-
€1.800.000,- €570.000,-
Totaal aantal sessies: 1.000.000
Gemiddelde orderwaarde: €100
Totaal:
60%
11%
29%
65%
6%
19%

Onze onderzoeksvraag:
Hoe optimaliseer je de conversie op mobiel?

Dé succesfactor in optimalisatie is dat je een
datagedreven proces volgt...óók op mobiel!

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
conversie per variant
o Segment analyse
o Significantie niveau
o Impact op KPI
Verandering doorvoeren?
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
conversieverbeteringe
n
o Webanalytics data
o Externe expertanalyses
o Sessie recordinganalyses
o Onsite klantfeedback
o Usability-onderzoek
o Gedragsonderzoek
o Analyse
klantenservicevragen
o Interviews met klanten
o Etc.
Conversie-optimalisatieproces

Op basis van concrete cases hebben we
onze onderzoeksvraag beantwoord.
Deze cases vind je in het resterende deel
van dit document.

Conversie-
optimalisatiecase
mobiel
Fonq

Deze case is opgesteld door:
Jurrien Schouten, conversie specialist bij fonQ.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Analyse van
webanalytics data
als bron voor
conversie
verbetering

Na het analyseren van de checkout in
Google Analytics concluderen we een
relatief hoge uitval in de winkelwagen
bij alle mobiele gebruikers.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Heatmap data en het
configureren van events
in Google Tag Manager
om de taps in de
winkelwagen te meten

Bij het analyseren van
heatmap data valt op dat
er veel geklikt wordt op
het winkelwagen icoontje,
terwijl de gebruiker zich al
in de winkelwagen
bevindt.

De notificatie bij het
icoontje is voor het eerst
zichtbaar als je een
product toevoegt aan je
winkelwagentje én je
komt vervolgens in de
winkelwagen.
Stap 1: Productpagina
Voegt een product toe aan het winkelwagentje
Stap 2:
Winkelwagentje

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Inzicht: De aandacht van de
gebruiker wordt in de winkelwagen
door de rode notificatie naar het
winkelwagen-icoontje getrokken
terwijl ze zich al in de winkelwagen
bevinden.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Wat is de
beste aanpak
om potentiële
verbeteringen te
prioriteren?

PrioVerbeterpunten Potential Importance Ease

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Wanneer komt
een potentiële
verbetering op de
change of A/B-test
backlog?

Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waarde propositie
Hypotheses altijd A/B-testen
Hypotheses A/B-testen of in de webwinkel direct aanpassen
Direct in de webwinkel aanpassen
Deze potentiële verbetering gaat
over het weghalen van element die
de aandacht op een verkeerd
moment trekt.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Welke hypothese
willen we testen
op de bezoekers?

Hypothese
Door de notificatie in de winkelwagen en de checkout (testlocatie)
op smartphone en desktop (apparaat) te veranderen van rood naar
wit (beschrijving aanpassing), zullen bezoekers minder afgeleid zijn
(impact op gedrag/gevoel), waardoor meer bezoekers die de
winkelmand bereiken (testpopulatie) hun bestelling afronden (test
KPI).

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Hoe stel je
een testplan
op?

Testplan
Test ID AB-000023-4
Testnaam Veranderning kleur van notificatie icoon in winkelwagen + ordertraject
Paginatype Winkelwagen en ordertraject
Testtype A/B-test
Populatie 100% mobile en desktop verkeer
Variaties Origineel en variant (2)
Startdatum 16-01-2017
Einddatum 5-02-2017
Testduur 21 dagen
Minimum sample size 42.685
Hypothese Door de notificatie in de winkelwagen en de checkout (testlocatie) op smartphone en desktop
(apparaat) te veranderen van rood naar wit (beschrijving aanpassing), zullen bezoekers minder
afgeleid zijn (impact op gedrag/gevoel), waardoor meer bezoekers die de winkelmand bereiken
(testpopulatie) hun bestelling afronden (test KPI).
Test-KPI Conversie %

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
De testvarianten
worden gecreëerd
en in de
A/B-testsoftware
geïmplementeerd

Origineel
A
Variant
B
In de variant is de kleur
van de winkelwagen-
notificatie veranderd naar
wit. Deze wijzing geldt in
de variant ook voor de
volgende pagina’s in het
ordertraject. Omdat
hetzelfde effect zichtbaar
is op desktop is het zinvol
deze test ook daar aan te
zetten.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
En
rapporteer!
Analyseer je
testresultate
n

Significante stijging
van 2.09% op alle
devices!

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Zorg voor de juiste
triggers op het juiste
moment. Op welke
plekken kunnen we
dit nog meer
verbeteren?

Conversie-
optimalisatiecase
mobiel
Primera

Jurjen Jongejan, senior conversie-optimalisatie
consultant bij ISM eCompany

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Webanalytics data
als bron voor
verbetering

Stijging in mobiele transacties

Correlatie: 0.66
Middelmatige positieve correlatie tussen laadtijd en bouncepercentage
56.05%
56.17%
54.50%
55.00%
55.50%
56.00%
56.50%
57.00%
57.50%
58.00%
58.50%
59.00%
59.50%
0
50000
100000
150000
200000
250000
300000
5.1 5.4 5.7 6 6.3 6.6 6.9 7.2 7.5 7.8 8.1
Bouncepercentage
Sessies
Laadtijden
Mobiel

Zeer sterke negatieve correlatie tussen laadtijd en conversiepercentage
1.74%
1.25%
0.00%
0.20%
0.40%
0.60%
0.80%
1.00%
1.20%
1.40%
1.60%
1.80%
2.00%
0
50000
100000
150000
200000
250000
300000
5.1 5.4 5.7 6 6.3 6.6 6.9 7.2 7.5 7.8 8.1
Conversiepercentage
Sessies
Laadtijden
Mobiel
Correlatie: -0.90

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Sterke negatieve
correlatie tussen
laadtijd en conversie
%., terwijl mobiele
sessie blijven
toenemen. Laadtijd
belangrijkste
concurrent
substantieel sneller

Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Direct in de webwinkel aanpassen Technische aanpassingen
leiden tot een snellere
webshop. Het effect op KPI’s
wordt met een ‘voor’ en ‘na’
analyse gemeten.

Geef een goede eerste indruk
Bezoekers willen de content boven de vouw zo snel mogelijk zien. Laat
belangrijke content boven de vouw daarom eerst en maak de webpagina
bruikbaar binnen 3 seconden.
Speed Index
Start Render
Laat zo snel mogelijk iets gebeuren op het scherm
Hoe sneller een request op en neer gestuurd wordt tussen de browser en de server, hoe
sneller de bezoeker iets op het scherm ziet gebeuren.
Laadtijd KPI’s

2.1
2.2
2.32.4
2.5
2.10
Laag<<Impact>>Hoog
Laag << Complexiteit >> Hoog
1a
4
6
5
3
1b
7
8
2
9
10
11
Actiepunt Actiepunt gespecificeerd Prioriteit
1a JavaScript en CSS in content boven
de vouw die het weergeven
blokkeren, verwijderen &
Combineer Resources
Maak alle pagina’s HTTPS
1b Vervang inline afbeeldingen door files - Alleen mogelijk indien alle pagina’s https zijn
2
JavaScript en CSS in content boven
blokkeren, verwijderen
Verwijder de custom scroller op de store locator pagina op mobiel
3 Afbeeldingen optimaliseren
Gebruik maken van Mogrify om afbeeldingen te verkleinen en metadata te
verwijderen
4
Afbeeldingen optimaliseren Gebruik maken van Mogrify voor gecachte afbeeldingen om ze te verkleinen en
metadata te verwijderen
5 JS, CSS en HTML verkleinen JS/CSS verkleinen door middle van PHP code
6
Afbeeldingen onder de vouw op de POP lazy loaded maken
7
Veranderingen op de homepage doorvoeren aan de hand van Javascript
8 Browsercaching benutten Cacheduur verlengen voor statische resources als JavaScript en CSS bestanden
9 Server response time Logging voor bots uitschakelen – inclusief user agents naar local.xml
10 JS, CSS en HTML verkleinen ISM scripts verkleinen
11 JS, CSS en HTML verkleinen
Magento scripts herstellen (Ontbrekende ';', wanneer het errors veroorzaakt in
de minifier: tooltip.js, configure.js, centinel.js,packaging.js,
uploader,instance.js etc
Prioritering verbeterpunten

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Analyseer je
resultaten op basis
van ‘voor’ en ‘na’
analyse

5.0 s 16.2 s
VoltooidL a d e n . . .
Visually complete Fully loaded
0.67 s 3.8 s
0-meting
Na optimalisatie
Start Render Speed Index
+ 653% + 362%

VoltooidL a d e n . . .
Visually complete Fully loaded
0.67 s 3.8 sNa optimalisatie
+ 653% + 362%
Bouncepercentage mobiel: -10%
Conversiepercentage mobiel: +4%

Conversie-
optimalisatiecase mobiel
Roompot Vakanties

Wesley Koolen, e-Commerce Manager bij Roompot Vakanties

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Webanalytics data
als bron voor
conversie-
verbetering

Stap 1 - Voorkeuren Stap 2 – Extra’s
bijboeken
Stap 3 - Gegevens Stap 4 - Bedankt
35,36% 48,02% 23,57%

Het merendeel van de bezoekers bezoekt onze website op een smartphone. Bij
een analyse van onze funnel flow zien we dat 52% van die bezoekers de flow
verlaat op het bijboek-scherm.
Zonde, want ook ná de boeking hebben we genoeg mogelijkheden om het
bijboeken te stimuleren (emails, MijnRoompot, etc.).

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Inzicht:
52% van de bezoekers
op smartphone haakt
af op de bijboek-stap
in de funnel.

Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Het overslaan van
de bijboek-stap
zou minder
mentale energie
moeten kosten

Hypothese
Door de bijboek-stap in de check-out flow (testlocatie) op
smartphone (apparaat) te verwijderen (beschrijving
aanpassing) verlaagt dit de ‘mentale energie’, ‘keuzestress’ én
benodigde tijd (impact op gedrag/gevoel) om een boeking te
kunnen maken, waardoor meer bezoekers in de check-out
(testpopulatie) hun reservering plaatsen (test KPI).

Testplan
Test ID N/A
Testnaam Verwijderen bijboek-stap
Paginatype Funnel
Testtype A/B-test
Populatie 100% van het totale verkeer, 70/30 verdeeld (politieke kwestie!)
Variaties Origineel en variant (2)
Einddatum 25-02-2016
Testduur 21 dagen
Minimum sample size
Hypothese Door de bijboek-stap in de check-out flow (testlocatie) op smartphone (apparaat) te
verwijderen (beschrijving aanpassing) verlaagt dit de ‘mentale energie’ en ‘keuzestress’ (impact
op gedrag/gevoel)’, waardoor meer bezoekers in de check-out (testpopulatie) hun reservering
plaatsen (test KPI).
Test-KPI Funnel Conversie %

Stap 1 - Voorkeuren Stap 2 – Extra’s
bijboeken
Stap 3 - Gegevens Stap 4 - Bedankt
Flow Controle variant – 4 stappen

Stap 1 - Voorkeuren Stap 2 - Gegevens Stap 3 - Bedankt
Flow Test variant – 3 stappen

Resultaten
Control Test
Users 15018 6029
Funnel conversion% +12%
p-value < .05
Bayesian chance 95,9%
Cross-effects • € 7,9 per boeking aan extra’s verloren
• Cross-sell campagne hierdoor uitgebreid

Conversie-
optimalisatiecase
mobiel
Zinzi

Deze case is opgesteld door
Wouter Wensing,
Team Lead Conversion & Webanalytics bij ISM eCompany

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Webanalytics data
/ 404 aangepast
rapport als bron
voor verbetering
aan de website

Analyse–404foutenm.b.v.aangepast rapport

Analyse
✓ Veel 404 meldingen bij URL’s die ‘-2?>’ bevatten
✓ Deze meldingen zijn allemaal afkomsting van mobile
Alle pagina’s met 404 meldingen

✓ Wanneer bezoekers op mobiel ‘paginering’ gebruiken en terug willen keren naar de vorige pagina,
belanden zij op een 404 pagina.
Analyse

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Inzicht:
bezoekers die op
mobiel paginering
gebruiken, krijgen een
404 melding te zien,
waardoor ze afhaken

Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Deze potentiële
verbetering betreft
een niet werkend
gedeelte van de site

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
De aanpassing
wordt
doorgevoerd.

Conversie-
optimalisatiecase
Mobiel
Hunkemöller

Bert Middendorp, Manager e-Commerce bij Hunkemöller

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Usability-
onderzoek als
bron voor
conversie-
verbetering

o Doelgroep & testdevice bepalen
o Deelnemers verzamelen
o Testscript schrijven
o Testdagen
o Analyse
o Onderzoeksresultaten

Sessies Aandeel device
1,001,701 (-12,75%) 31,14%
1,755,088 (+26,98%) 54,55%
460,440 (-18,00%) 14,31%
Desktop
Tablet
Smartphone

Respondenten voerden in een
bepaald scenario verschillende taken
uit op de mobiele webshop van
Hunkemöller. Eén van de taken was:
“Koop een blauwe sport-bh in jouw
maat en laat je bestelling op je werk
bezorgen”

Uit het usability-onderzoek kwamen 39
kritische usability-issues naar voren,
die Hunkemöller nooit op de change of
A/B-testbacklog had geplaatst. Eén van
van die kritieke usability-issues was dat
respondenten wilden filteren op maat
en kleur, maar dan tapten op ‘sorteer
op’ in plaats van op ‘filter’. Vervolgens
dachten ze dat het niet mogelijk was
om te filteren op kleur en maat.

Respondenten uit het usability-
onderzoek gebruiken niet de
filteroptie, maar wél de sorteer
optie, omdat waarschijnlijk de
‘visual cuing’ bij filteren
ontbreekt. Hierdoor kunnen
bezoekers niet snel tot het
gewenste product komen

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Inzicht: uit usability
onderzoek blijkt dat
respondenten niet de
filteroptie, maar wél de
sorteer optie gebruiken,
omdat waarschijnlijk de
‘visual cuing’ bij filteren
ontbreekt. Hierdoor kunnen
bezoekers niet snel tot het
gewenste product komen

Emotie
Intuïtie
Usability
Functionaliteit
Technologie
De potentiële
verbetering betreft een
usability issue. Er wordt
besloten om de
verbetering direct aan
te passen.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
De aanpassing wordt
doorgevoerd.

Origineel Na
aanpassing
‘Visual cuing’ als potentiële
verbetering is op de change
backlog met hoge prioriteit
gezet. De change is
vervolgens live gezet.

Na livegang blijkt uit een
webinteractie-analyse dat
de filterfunctie nu wel
wordt gebruikt door de
bezoekers. Hierdoor
kunnen bezoekers snel tot
het gewenste product
komen.

Conversie-optimalisatiecase
mobiel
Bcc.nl

Robin Fellinger, Online Shop Manager bij BCC.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Webanalytics data
als bron voor
verbetering aan de
webshop

✓ 35,24% van de mobiele bezoekers haakt af bij de laatste stap in de checkout (Kassa)

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Inzicht:
Mobiele bezoekers
die de kassa
bereiken vallen
relatief vaak uit.

Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Deze potentiële
verbetering gaat
over onzekerheid
reduceren

Hypothese
Door de buttontekst in de kassa (testlocatie) op smartphone
(apparaat) te wijzigen (4 varianten) verlaagt dit de
onzekerheid over betalen op mobiel (impact op
gedrag/gevoel), waardoor meer mobiele bezoekers die de
winkelmand bereiken (testpopulatie) hun bestelling afronden
(test KPI).

Testplan
Test ID AB Test: Mobile payment – Text (cta)
Testnaam AB Test: Mobile payment – Text (cta)
Paginatype Winkelwagen
Testtype A/B-test
Populatie 100% Mobiel verkeer
Variaties ▪ Control – CTA: Bestelling afrekenen
▪ Variant 1 – CTA: Veilig betalen
▪ Variant 2 – CTA: Bestelling plaatsen
▪ Variant 3 – CTA: Bestellen en betalen
▪ Variant 4 – CTA: Doorgaan
(5 x 20% van mobiele verkeer)
Startdatum 6-3-2017
Einddatum 29-3-2017
Testduur 21 dagen
Minimum sample size 6000
Hypothese Door de buttontekst in de Winkelwagen (Kassa) op device (Smartphone) te wijzigen verlaagt dit
de onzekerheid’ (impact op gedrag/gevoel)’, waardoor meer mobiele bezoekers die de kassa
bereiken hun bestelling afronden (Test-KPI).

Origineel
A
Varianten
Call to action varianten:
▪ Variant 1 – CTA: Veilig betalen
▪ Variant 2 – CTA: Bestelling plaatsen
▪ Variant 3 – CTA: Bestellen en betalen
▪ Variant 4 – CTA: Doorgaan

Control Variant 1
Number of visitors 1.025 1.019
Conversion rate 52 56
P-value 0,045
Significant yes
+7% in conversie

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
V1 ‘Veilig betalen’
komt als winnaar uit
de test op mobiel.
Doortesten op
desktop.

Conversie-
optimalisatiecase
mobiel
Ulla Popken

Rudger de Groot – Digital Optimizer bij Mintminds - Digital Optimizers

Plus size mode sinds 1977
600 Filialen wereldwijd
42 Filialen in Benelux

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Survey als bron voor
conversieverbetering

Waar gebruikt men de mobiele site? (n=6000)

Waarom bezoekt men de mobiele site? (n=6000)

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Uitkomsten survey
zijn aanleiding
voor verdere
analyse in
analytics.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Analyse van een
externe expert als
bron van
verbetering aan de
webshop

Het is op de mobiele site erg lastig om snel door
productgroepen met veel producten te browsen.
Hierdoor kan men sneller geneigd zijn om af te
haken. Browsen kan als vermoeiend beschouwd
worden.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Inzicht: uit usability- en
analytics-onderzoek blijkt dat
het gedrag op mobiel minder
doelgericht is dan op
desktop. Op mobiel lijkt het
meer op funshopping. De
listingpages bieden hier niet
voldoende mogelijkheden
voor.

Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Unieke waardepropositie
De potentiële
verbetering betreft
het verbeteren van
functionaliteiten,
zodat die beter
aansluiten bij het
gedrag van de
bezoekers.

Hypothese
Het uitbreiden van de functionaliteit van de paginator - voor
de listingpages (testlocatie) op de smartphone site
(apparaat) - met een pull down pagina selector (beschrijving
aanpassing), vergroot de perceptie van autonomiteit (in
controle zijn van de situatie) (impact op gedrag/gevoel),
waardoor bezoekers meer listing pages en dus productpages
bekijken (testpopulatie). Hierdoor zal vervolgens het aantal
orders toenemen. (test KPI).

Testplan
Test ID AB-000023-4
Testnaam Paginator functionaliteit uitbreiding
Paginatype Category listingpagina
Testtype A/B-test
Populatie 100% Smartphone
Variaties Origineel en 1 variant
Einddatum 29-01-2016
Testduur 21 dagen
Hypothese Het uitbreiden van de functionaliteit van de paginator - voor de listingpages (testlocatie) op de
smartphone site (apparaat) - met een pull down pagina selector (beschrijving aanpassing),
vergroot de perceptie van autonomiteit (in controle zijn van de situatie) (impact op
gedrag/gevoel), waardoor bezoekers meer listing pages en dus productpages bekijken
(testpopulatie). Hierdoor zal vervolgens het aantal orders toenemen. (test KPI).

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
De testvarianten worden
gecreëerd en in de
A/B-testsoftware
geïmplementeerd.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
En
rapporteer!
Analyseer je
testresultate
n.

ORIGINEEL A VARIANT B
Effect op ‘Alle bezoekers’-segment:
✓ + 22,5% bekeken listing pages
✓ + 22,7% bekeken producten
✓ + 34,5% orders (Significantie 99%)
✓ Na tracking controle (te mooi om waar te zijn)
test opnieuw uitgevoerd met hetzelfde
resultaat.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Doelgroep bekijkt meer pagina’s en producten
wanneer functionaliteiten worden aangeboden
die het browsen leuker/makkelijker maken.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Na advies om verandering te
implementeren is er een ticket
aangemaakt bij het
development team. De nieuwe
paginator staat inmiddels live.

Conversie-
optimalisatiecase
mobiel
KARWEI

Erik van Houwelingen, CRO-specialist bij Intergamma.

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
klantonderzoek +
usability tests

Klantonderzoek:
• Relatieve onbekendheid voorraadcheckfunctie
• Terwijl de grote meerderheid van het bezoek
als doel oriëntatie heeft, als voorbereiding van
een bouwmarktbezoek
Usability test:
• Moeite met kanaalkeuze op de productpagina.
Wat onduidelijke samenhang tussen ‘add to
cart’ call to action, voorraadcheck-CTA, USP’s
en bestelinformatie

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Inzicht:
De kanaalkeuze (online kopen of
kopen in bouwmarkt) op de
productpagina is niet duidelijke
genoeg

Emotie
Intuïtie
Usability
Functionaliteit
Technologie
Deze potentiële
verbetering gaat
over de propositie

Hypothese
Door de call to actions en USP’s op de productpagina
(testlocatie) op smartphone (apparaat) te veranderen, wordt
de informatievoorziening over kopen online of kopen in de
bouwmarkt duidelijker (impact op gedrag/gevoel), waardoor
meer mobiele bezoekers vanaf de productpagina
(testpopulatie) hun online bestelling afronden of een
voorraadcheck doen (test KPI).

A/B-test-KPI’s
Veel verkeer
Dichter bij bedrijfsdoelen
Online retailer Retailer met fysieke winkels
Doorklikratio # offline voorraadchecks op de site
Toevoegingen winkelmandje # bezoeken aan fysieke winkel
Online conversiepercentage Conversiepercentage
Online omzet Omzet
Online winst Winst
Lange termijn waarde van de online klant Lange termijn waarde van de klant

Testplan
Test ID PDP-03
Testnaam PDP kanaalkeuze
Paginatype Productpagina - mobiel
Testtype A/B-test
Populatie 50% van al het mobiele verkeer op Karwei.nl
Variaties 2 (incl. origineel)
Startdatum 3-6-2017
Einddatum 30-6-2017
Testduur 28 dagen
Minimum sample size -
Hypothese Door de call to actions en USP’s op de productpagina (testlocatie) op smartphone (apparaat) te
veranderen, wordt de informatievoorziening over kopen online of kopen in de bouwmarkt
duidelijker (impact op gedrag/gevoel), waardoor meer mobiele bezoekers vanaf de
productpagina (testpopulatie) hun online bestelling afronden of een voorraadcheck doen (test
KPI).
Test-KPI Conversie % online & % voorraadchecks

De variant met de splitsing van kanalen is een duidelijke winnaar:
- + 27,6% (sign. 99%) (online+offline)
- De stijging is vrijwel geheel te danken aan de offline route
- In een aantal bouwmarkten loopt een pilot met click & reserve; de
variant leidt tot 49% meer reserveringen

Inzichten
Prioriteren
Test backlog
HoogLaag
Hypothese opstellen
Testplan maken
Testvarianten maken
A/B-test live
Analyseren
Learnings delen
Test
herhalen
Informere
n team
Rapportage
o # bezoekers en
o Segment analyse
o Impact op KPI
Nee Ja
Verwerpen en
naar volgende
test
Maak ticket voor
Development
Hoog
LIVE
Change backlog
Bronnen voor
n
o Webanalytics data
o Gedragsonderzoek
o Analyse
o Etc.
Hypothese opstellen
Test
herhalen
Informeren
team
Doelgroep heeft duidelijkere routing nodig om de
voorraad in de bouwmarkt te controleren.
Er lopen voortdurend
A/B testen om
orienterende bezoekers
nog meer te ‘guiden’
om voorraadchecks te
doen.

Key takeaways
1. Mobiel verkeer zal nog verder stijgen! Focus je op mobiele
optimalisatie en onderzoek de rol van mobiel in de customer
journey!
2. Verkrijg potentiële verbeteringen altijd op basis van
data in plaats van onderbuikgevoel, zeker op mobiel!
3. Prioriteer óók op basis van data; zo realiseer je met de
laagste effort de hoogst mogelijke impact op je KPI’s
4. Valideer je potentiële verbeteringen met A/B testing en
leer daardoor voortdurend van je doelgroep

Ontdek hoe volwassen uw organisatie is op het gebied
van conversie-optimalisatie en bekijk uw groeikansen op
www.mijnconversiescore.nl
Bekijk nog meer cases en beantwoording
van onze onderzoeksvragen op
www.shoppingtomorrow.nl/download
Namens onze expertgroep dank ik je voor je tijd
voor het lezen van dit online casedocument. Veel
succes met je het optimaliseren van je conversie op
mobiel!
Jurjen Jongejan
Voorzitter expertgroep Revenue Optimization

Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrow

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrow

Similaire à Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrow (20)

Plus de valantic NL

Plus de valantic NL (20)

Cases van conversie-optimalisatie op de smartphone - ShoppingTomorrow