Presentatie over conversie optimalisatie praktijkresultaten getoetst door AB testen op de valk.com website door Online Dialogue. Deze presentatie werd gegeven op de 1e Online Dialogue Donderdag op 9 september 2010 in Utrecht (http://onlinedialogue.nl/donderdag)
Keynote on Online Experiments by Ton Wesseling - Online Dialogue at the Web A...
Online Dialogue Donderdag 9 september 2010: praktijkcase (AB testen bij valk.com)
1. 9 september 2010
Praktijkcase: valk.com
Online Dialogue Donderdag nr. 1
1. Leer je klant kennen met hypothese testen
2. Hoe kun je de self-service bezoeker beter helpen?
2. Historie Van der Valk
In 1939 begonnen Martien en Rie van der Valk samen een
restaurant in Voorschoten. Nu 70 jaar later is het bedrijf door hun
(achter)kleinkinderen uitgebouwd tot het grootste horeca concern
van Nederland meer dan 90 hotels in het binnen- en buitenland.
Van der Valk internet – Valk.com
Van der Valk internet is de centrale internet organisatie die
de hotels ondersteunt met diensten voor hun online
service. Daarnaast beheert zij de valk.com website. Deze
overkoepelende informatie en reserveringen website wordt
online gepromoot. Door het eigen team heeft men de
mogelijkheid om zelf direct verbeteringen door te voeren.
valk.com wil het rendement van de website verbeteren en heeft Online
Dialogue gevraagd om als partner hier het verschil te maken. Deze case
uitwerkingen zijn resultaten van de samenwerking tussen beiden.
7. Organisa(onal maturity
Management
4
3
Objec9ves 2 Employees
1
0
Goals Tools
Methodology
Wat zijn de mogelijkheden van de organisatie?
8. Current online dialogues
Analytics research
Expert review
Wat voor een dialogen zijn nu niet succesvol?
9. Consumer insights maturity
Goals
4
3
Context 2 Knowledge
1
0
Mood AOtude
Personality
Weet je al wat het gedrag van de klant beïnvloedt?
10. Op basis van de organisatie
mogelijkheden, de inzichten waar
verbetering haalbaar is en de
Hypot
hesis klantinzichten ga je aan de slag met het
testen van welke communicatie en
interactie op de website leidt tot meer
Alternative
klanttevredenheid en rendement.
Dit gebeurd altijd door de website
inhoudelijk te variëren op basis van
hypotheses die je wilt toetsen. Je wilt
immers steeds beter leren hoe je met de
mensen op je website moet interacteren
en communiceren. Je wilt een antwoord
op de gestelde hypotheses.
11. 1) Mass
Webanalytics Dissatisfiers - satisfiers Feedback / Why
valk.com is de centrale website van Van der Valk Hotels en Restaurants
waarop bezoekers informatie over de hotels en de mogelijkheden kunnen
vinden. Online aanbod bestaat onder andere uit hotelkamer overnachtingen,
arrangementen, last-minutes en zaal reserveringen.
Op de valk.com website zijn we op zoek gegaan naar locaties waar we:
- begrepen met welk doel de bezoekers kwamen
- zagen dat er een verbetering haalbaar zou moeten zijn
- eenvoudig, binnen de organisatie mogelijkheden, een test konden uitvoeren
12. De gekozen pagina
Er is gekozen om te testen met
de reserveringen overzicht
pagina. Deze pagina, die voor
elk hotel binnen valk.com gelijk
is, trekt enerzijds veel
bezoekers en boekingen via
deze pagina en anderzijds valt
er op een eenvoudige manier
veel aan te verbeteren (zonder
moeilijke technische
aanpassingen).
Het doel van de bezoeker is
daarbij helder: reserveren
De pagina is nog erg kaal en het is niet geheel helder waar je moet klikken. Door
optimalisatie verwachten we aanzienlijke resultaten. De pagina draagt immers
goed bij aan de dagelijkse omzet.
13. De 3 hypothesen
De pagina is Extra promotie van de We moeten de klant
onduidelijk: er moet last-minutes, overtuigen bij ons te
een duidelijke aanbiedingen en boeken en dat doen
hotelkamer boek arrangementen leidt we door het gratis
actieknop in beeld, dit tot meer unieke kopje koffie en de
leidt tot meer bezoekers die iets gratis WiFi onder de
conversie.
kopen.
aandacht te brengen.
14. De variaties: nieuwe basis variant
Scanbare tekst met daarbij het
benadrukken van de enige
juiste koopargumenten: snel,
veilig en 24 uur per dag!
15. De variaties: variant B
Alle 3 de hypotheses verwerkt in 1
pagina: koffie en WiFi, aanbiedingen,
lastminutes en arrangementen en een
duidelijke boek hotelkamer knop.
16. De variaties: variant C
Om te testen wat nu het effect is van
de koffie en WiFi aanbieding, dezelfde
variant als B , maar dan zonder deze
aanbieding!
17. De variaties: variant D
In plaats van arrangementen, last
minutes en aanbiedingen nu weer een
koffie en WiFi variant om te kunnen
bepalen wat de effecten van beide
opties zijn.
18. De variaties: variant E
Tot slot de uitgebreide variant van D
om ook weer te kunnen vergelijken
met B en de impact van de
boodschappen te kunnen
doorrekenen.
19. Hoe werd er gewerkt?
Het gratis software pakket Google Website
Optimizer werd met een stukje maatwerkcode
gebruikt om te zorgen dat een evenredig grote
random groep bezoekers een bepaalde variant
(met of zonder Qweery software) te zien kreeg.
Het gratis software pakket Google Analytics
werd gebruikt om van alle bezoekers die
alleen een bepaalde variant hadden gezien
te bepalen wat zij op de webpagina hebben
gedaan (verblijfstijd, aankopen etc.).
De effecten van de test werden bepaald door het afsluitformulier gedrag (de
verkoop funnel) te vergelijken van alle bezoekers die een bepaalde variant
hadden gezien met de bezoekers van de andere varianten.
20. De uitkomsten: conversie uplift
Variant
Conversie uplift
Zekerheid
Met een statistische
zekerheid van meer dan
90% is versie D de
A
default
91,5%
winnaar van deze test. De
kolom met zekerheid is de
kans dat versie D in een
volgende test weer wint
B
-6,1%
98,2%
van de betreffende versie.
In de conversie uplift
kolom is het conversie
C
0,1%
90,6%
verschil te zien van de
betreffende versie in
vergelijking met de
originele variant (A).
D
13,6%
winnaar
Duidelijk zichtbaar is het
feit dat sommige variaties
E
-15,1%
99,9%
ook slechter presteren
dan het origineel!
De testperiode was 6 t/m 16 februari 2010 op een deel van het bezoek. Nieuwe tekst uplift: 2%
21. De uitkomsten: hypotheses
De pagina is Extra promotie van de We moeten de klant
onduidelijk: er moet last-minutes, overtuigen bij ons te
een duidelijke aanbiedingen en boeken en dat doen
hotelkamer boek arrangementen leidt we door het gratis
actieknop in beeld, dit tot meer unieke kopje koffie en de
leidt tot meer bezoekers die iets gratis WiFi onder de
conversie.
kopen.
aandacht te brengen.
Waar!
Niet waar!
Geen verschil
22. De uitkomsten: conclusies
1. De boodschap van gratis koffie & WiFi heeft geen significant
effect op het conversie percentage.
2. De last-minutes, arrangementen en aanbiedingen leiden af.
Het bezoek dat op zoek is naar deze informatie neemt een
andere route op de webpagina. Aanbieden van deze opties op
deze plek leidt tot significant minder conversie.
3. Het tonen van de duidelijke call-to-action hotel knop leidt tot
een significant hoger conversie percentage van minimaal
13%. Het weglaten van de aanbieding in de winnende versie kan
voor nog meer conversie door deze knop zorgen.
4. De geïnvesteerde tijd vanaf de eerste kennismaking, in het
ontwerp, de implementatie, de uitvoer, tot en met de evaluatie
van deze test bedraagt: 40 interne en 40 externe uren.
Vervolgtesten zullen naar verwachting 20 interne en 20 externe
uren kosten.
23. De Self-Service bezoeker
Op valk.com hebben we voornamelijk te maken met self-service gerichte
zoekers en boekers. Zij willen zelf een goed antwoord op hun vragen kunnen
vinden. Wanneer we hier in slagen leidt dit tot meer omzet per bezoeker.
Met behulp van software van “search and navigation” bedrijf Qweery hebben we
getest of hun uitgebreide interne zoekfunctie met filter oplossing voor zoekers
en hun inline FAQ module voor boekers (bij het afsluitformulier) de bezoeker
beter helpt en dan ook leidt tot een beter conversie percentage.
25. Zoeken case
De valk.com website bevat een hotel zoek
functie waarbij je op basis van het invoeren
van een woonplaats (en landkeuze) kunt
bekijken welke hotels op welke afstand bij
deze ingevoerde plaats te vinden zijn.
Zoeken: helpen het juiste hotel te vinden
26. Zoeken: beter helpen vinden
Normaal
2
1
Met de Qweery software was het mogelijk om de bestaande verschillende
hotelkenmerken beter te ontsluiten. Hierdoor konden we middels de software
enerzijds de bezoekers bij de resultaten een filterfunctie te geven (zie 2) en
anderzijds een meer geavanceerde zoekbox (zie 1).
27. Zoeken: beter helpen vinden
A
We hebben 2 varianten van de
originele variant A getest. Variant B
met alleen de filter functie als extra
element bij de zoekresultaten.
Daarnaast variant C met ook de
filterfunctie maar ook de uitgebreide
zoekbox (op de begin en de
resultaten pagina).
B
C
28. Zoeken case: de resultaten
Views zoekresultaten pagina per unieke bezoeker
90%+ significant
+14,6%
+12,6%
t.o.v. origineel
Views van reserveren start pagina per unieke bezoeker
90%+ significant
-20,9%
-14,0%
t.o.v. origineel
De nieuwe zoekpagina variaties leiden per unieke bezoeker tot een significant
frequenter gebruik van de interne zoekmachine (gemiddeld 13,6%). De
bezoekers van de nieuwe varianten klikken daarbij vanaf de zoekresultaten
minder vaak door naar het reserveringsformulier (gemiddeld 17,5%).
B
C
Periode: 24 maart 2010 tot en met 5 april 2010
29. Zoeken case: de resultaten
Van de mensen die een reserveren pagina bekijken is de conversie naar het
daadwerkelijke boekingsgedeelte binnen de reserveringsformulieren aanzienlijk
groter. Men klikt in veel grotere getale langs de hotelinformatie binnen het
reserveringsformulier. Dit effect is veel groter wanneer de uitgebreide zoekbox
wordt gebruikt in tegenstelling tot puur de filter functies.
Conversie van reserveren views tot en met boeken stap 3
90%+ significant
+9,8%
+45,0%
t.o.v. origineel
B
C
Periode: 24 maart 2010 tot en met 5 april 2010
30. Zoeken case: conclusies
1. De filterfuncties zorgen voor een frequenter gebruik van de zoekbox
(per bezoeker).
2. De filterfuncties zorgen voor een betere hotelkeuze voorafgaand aan
het boekingsproces.
3. De uitgebreide zoekbox zorgt voor een nog betere keuze voorafgaand
aan het boekingsproces en heeft meer effect dan de filterfuncties.
4. In plaats van dat de bezoeker het boekingsproces misbruikt om het
juiste hotel te vinden gebeurd dat nu beter voorafgaand aan het
boekingsproces.
5. Het verschil wordt gemaakt in het boekingsproces van start tot aan
persoonsgegevens, vanaf persoonsgegevens tot conversie is er geen
significant verschil meer in uitval percentage.
6. Het eindconversie verschil is niet significant, maar zal naar
verwachting* op de langere termijn meer rendement gaan opleveren
omdat meer mensen de zoekmachine gaan gebruiken.
* De filter functie variant werd per unieke bezoeker vaker gebruikt dat de originele
zoekmachine. Naar verwachting zullen door deze ervaring meer bezoekers vaker de internet
zoekmachine gaan gebruiken en de waarde van deze bezoekers is hoger dan bezoekers die
de interne zoekmachine niet gebruiken.
32. Boeken: twijfels wegnemen
Op het boekingsformulier van valk.com was er geen
eenvoudige mogelijkheid om een antwoord te
vinden op vragen. Nadat we vraag@valk.com
toevoegden bleek dat de vragen er wel waren. Met
de software van Qweery is vanuit de aanwezige
antwoorden een inline FAQ gegenereerd.
Veel respons op vraag@valk.com
33. Boeken: twijfels wegnemen
1
2
3
De module opende standaard met de meest gestelde
vragen (1). Het intypen van een vraag genereerde
direct tijdens het typen de mogelijke vragen waarop
wij een antwoord hadden (2). Bij het aanklikken van
de vraag opende het antwoord onder de vraag (3).
Dynamische FAQ module bij elke boekingsstap
34. Boeken: twijfels wegnemen
A
B
De helft van de bezoekers kreeg (door de Qweery software zelf ingesteld) wel
naast elke stap in het boekingsformulier de FAQ module te zien (B) en de andere
helft van de bezoekers kreeg deze FAQ module niet te zien (A). Het
boekingsformulier was voor de rest volledig gelijk (inclusief vraag@valk.com).
Dynamische FAQ module bij elke boekingsstap
35. Boeken case: de resultaten
Funnel Funnel Verschil door
Onderwerp (groen in cijfer: uitslag=significant)
uitval A:
uitval B:
minder uitval
default
FAQ box
van bezoekers
Kamer boeken, stap 1, datum kiezen
-
-
-
Naar kamer boeken, stap 2, kamer kiezen
33%
34%
-1,4%
Naar kamer boeken, stap 3, persoonsgegevens
66%
66%
+1,1%
Naar kamer boeken, stap 4, betaalgegevens
51%
46%
+9,2%
Naar kamer boeken, stap 5, overzicht
2%
4%
-2,0%
Naar kamer boeken, stap 6, bedankt
6%
6%
+0,5%
Totaal van stap 1 tot en met bedankt
90%
89%
+5,5%
Periode: 29 april 2010 tot en met 12 mei 2010, zekerheidsmarge: 90%
In geen enkele stap van het boekingsformulier ontstond een significant conversie
verschil, behalve van stap 3 naar stap 4. Op het moment dat men daadwerkelijk de
keuze maakt om te boeken zorgt de FAQ module significant voor minder uitval.
36. Boeken case: conclusies
1. De eindconversie van +5,5% heeft een zekerheid van 89%. Dit is net
niet genoeg om van een significant verschil te spreken (bij een volgende
vergelijking is er een kans van 11% dat de versie zonder FAQ module
beter converteert dan met).
2. De FAQ module heeft alleen een significant effect op de overgang van
stap 3 (persoonsgegevens invullen) naar stap 4.
3. Deze 9% minder uitval zorgt voor de uiteindelijke 5,5% meer conversie
in het hele boekingsformulier.
4. De FAQ module blijkt dus succesvol te zijn in de meest kritische stap
van het bestel proces. Daar waar men stopt met zoeken en besluit
daadwerkelijk te gaan boeken. De FAQ module geeft antwoord op
vragen die wanneer ze niet beantwoord worden zorgen voor afhakers in
het bestelproces.
5. De module bespaart tijd door wegnemen van vragen per email.
6. Verwachting is dat bij het verder vullen van de FAQ vragen en
antwoorden het conversieverschil groter en significant zal zijn. Er is nu
immers gewerkt een vaste set van vragen en antwoorden en geen set
die specifiek was ontworpen voor een bepaalde stap in het formulier.
38. Introductie Online Dialogue
Online Dialogue heeft als doel om de kwaliteit van offline
service en verkoop dialogen naar online te halen.
Strategie
Ontwerp
Optimalisatie
Onze diensten:
Internet strategie
Het ontwerpen van online aanwezigheid.
Gestructureerde online rendement verbetering.
39. Schrijf je nu in!
Deze case is gepresenteerd op de
Online Dialogue donderdag.
Je kunt deze 2 maandelijkse kennis
sessie in Utrecht sessie zelf bijwonen!
Schrijf je nu in:
http://onlinedialogue.com/donderdag
Volgende sessies:
•
11 november 2010
•
13 januari 2011
•
10 maart 2011
•
12 mei 2011
•
8 september 2011
•
10 november 2011
40. Web: http://onlinedialogue.nl
Web: http://valk.com
Mail: info@onlinedialogue.nl
Mail: info@internet.valk.com
Tel: 030 4100 170
Tel: 0347 325 942
Fax: 030 4100 171
Fax: 0347 325 977
Postadres:
Postadres:
Postbus 26, 3500 AA, Utrecht
Postbus 103, 4130 EC, Vianen
Case contactpersoon:
Case contactpersoon:
Ton Wesseling
Gerard Schomaker
Senior conversion consultant
General manager
Online Dialogue
Van der Valk internet
Mail: ton@onlinedialogue.nl
Mail: gerard@internet.valk.com