SlideShare une entreprise Scribd logo
1  sur  40
9 september 2010
Praktijkcase: valk.com
Online Dialogue Donderdag nr. 1


1. Leer je klant kennen met hypothese testen

2. Hoe kun je de self-service bezoeker beter helpen?
Historie Van der Valk

In 1939 begonnen Martien en Rie van der Valk samen een
restaurant in Voorschoten. Nu 70 jaar later is het bedrijf door hun
(achter)kleinkinderen uitgebouwd tot het grootste horeca concern
van Nederland meer dan 90 hotels in het binnen- en buitenland.



Van der Valk internet – Valk.com

                      Van der Valk internet is de centrale internet organisatie die
                      de hotels ondersteunt met diensten voor hun online
                      service. Daarnaast beheert zij de valk.com website. Deze
                      overkoepelende informatie en reserveringen website wordt
                      online gepromoot. Door het eigen team heeft men de
                      mogelijkheid om zelf direct verbeteringen door te voeren.

valk.com wil het rendement van de website verbeteren en heeft Online
Dialogue gevraagd om als partner hier het verschil te maken. Deze case
uitwerkingen zijn resultaten van de samenwerking tussen beiden.
Inhoud
1. Hypothese testen
2. De “zoeken” case
3. De “boeken” case


4. Over Online Dialogue
Company
goals
                               €€€









                     Customer
goals



      Company
                                                                          Prospect
/
client





                              Behavior





                                                                            Behavior

                                             Mul9
    Mul9
       Mul9‐

                                            purpose

 phase
     channel





                                          Online kunnen we gedrag meten van prospects en
                                          klanten. Doel van de metingen is om te begrijpen wat
theory © http://onlinedialogue.com
                                          een bezoeker komt doen en of deze bezoeker
icons © http://dryicons.com
                                          doorgaat en slaagt met het uitvoeren van het doel.
Structuring

A)                                        Analysis



B)                                Roadmap
&
Dashboard


                                                                -


1)                                         Mass

                                                         Na de analyse en het zorgen
                                                         dat verbetereffecten kunnen
2)                                        Segments
      worden gemeten, kan worden
                                                         gestart met optimalisatie. Dit
                                                         door gericht te testen welke
3)                                        Dynamic

                                                         communicatie en interactie
                                                         zorgt voor meer succes.
4)                                         1‐on‐1


     theory © http://onlinedialogue.com
     icons © http://dryicons.com
Hoe bepalen waar te beginnen?
Organisa(onal
maturity

                        Management

                           4

                           3

           Objec9ves
      2
          Employees

                           1

                           0




               Goals
                  Tools



                        Methodology



Wat zijn de mogelijkheden van de organisatie?
Current
online
dialogues




       Analytics research
   Expert review




Wat voor een dialogen zijn nu niet succesvol?
Consumer
insights
maturity

                          Goals

                           4

                           3

             Context
      2
          Knowledge

                           1

                           0




              Mood
                    AOtude



                        Personality



Weet je al wat het gedrag van de klant beïnvloedt?
Op basis van de organisatie
                           mogelijkheden, de inzichten waar
                           verbetering haalbaar is en de
Hypot
     hesis                 klantinzichten ga je aan de slag met het
                           testen van welke communicatie en
                           interactie op de website leidt tot meer


             Alternative
                           klanttevredenheid en rendement.

                           Dit gebeurd altijd door de website
                           inhoudelijk te variëren op basis van
                           hypotheses die je wilt toetsen. Je wilt
                           immers steeds beter leren hoe je met de
                           mensen op je website moet interacteren
                           en communiceren. Je wilt een antwoord
                           op de gestelde hypotheses.
1)
Mass


             Webanalytics     Dissatisfiers - satisfiers   Feedback / Why




valk.com is de centrale website van Van der Valk Hotels en Restaurants
waarop bezoekers informatie over de hotels en de mogelijkheden kunnen
vinden. Online aanbod bestaat onder andere uit hotelkamer overnachtingen,
arrangementen, last-minutes en zaal reserveringen.

Op de valk.com website zijn we op zoek gegaan naar locaties waar we:

-  begrepen met welk doel de bezoekers kwamen
-  zagen dat er een verbetering haalbaar zou moeten zijn
-  eenvoudig, binnen de organisatie mogelijkheden, een test konden uitvoeren
De gekozen pagina

                                                 Er is gekozen om te testen met
                                                 de reserveringen overzicht
                                                 pagina. Deze pagina, die voor
                                                 elk hotel binnen valk.com gelijk
                                                 is, trekt enerzijds veel
                                                 bezoekers en boekingen via
                                                 deze pagina en anderzijds valt
                                                 er op een eenvoudige manier
                                                 veel aan te verbeteren (zonder
                                                 moeilijke technische
                                                 aanpassingen).

                                                 Het doel van de bezoeker is
                                                 daarbij helder: reserveren


  De pagina is nog erg kaal en het is niet geheel helder waar je moet klikken. Door
  optimalisatie verwachten we aanzienlijke resultaten. De pagina draagt immers
  goed bij aan de dagelijkse omzet.
De 3 hypothesen




     De pagina is         Extra promotie van de    We moeten de klant
 onduidelijk: er moet           last-minutes,     overtuigen bij ons te
    een duidelijke          aanbiedingen en        boeken en dat doen
   hotelkamer boek         arrangementen leidt      we door het gratis
actieknop in beeld, dit       tot meer unieke       kopje koffie en de
     leidt tot meer         bezoekers die iets     gratis WiFi onder de
       conversie.
                 kopen.
        aandacht te brengen.
De variaties: nieuwe basis variant




                         Scanbare tekst met daarbij het
                           benadrukken van de enige
                          juiste koopargumenten: snel,
                             veilig en 24 uur per dag!
De variaties: variant B

                        Alle 3 de hypotheses verwerkt in 1
                       pagina: koffie en WiFi, aanbiedingen,
                      lastminutes en arrangementen en een
                         duidelijke boek hotelkamer knop.
De variaties: variant C

                       Om te testen wat nu het effect is van
                      de koffie en WiFi aanbieding, dezelfde
                       variant als B , maar dan zonder deze
                                    aanbieding!
De variaties: variant D

                        In plaats van arrangementen, last
                      minutes en aanbiedingen nu weer een
                       koffie en WiFi variant om te kunnen
                       bepalen wat de effecten van beide
                                    opties zijn.
De variaties: variant E

                       Tot slot de uitgebreide variant van D
                       om ook weer te kunnen vergelijken
                            met B en de impact van de
                             boodschappen te kunnen
                                   doorrekenen.
Hoe werd er gewerkt?
                        Het gratis software pakket Google Website
                        Optimizer werd met een stukje maatwerkcode
                        gebruikt om te zorgen dat een evenredig grote
                        random groep bezoekers een bepaalde variant
                        (met of zonder Qweery software) te zien kreeg.



  Het gratis software pakket Google Analytics
  werd gebruikt om van alle bezoekers die
  alleen een bepaalde variant hadden gezien
  te bepalen wat zij op de webpagina hebben
  gedaan (verblijfstijd, aankopen etc.).



  De effecten van de test werden bepaald door het afsluitformulier gedrag (de
  verkoop funnel) te vergelijken van alle bezoekers die een bepaalde variant
  hadden gezien met de bezoekers van de andere varianten.
De uitkomsten: conversie uplift
 Variant
                       Conversie uplift
      Zekerheid
                                                                             Met een statistische
                                                                             zekerheid van meer dan
                                                                             90% is versie D de
 A
                                         default
        91,5%
           winnaar van deze test. De
                                                                             kolom met zekerheid is de
                                                                             kans dat versie D in een
                                                                             volgende test weer wint
 B
                                          -6,1%
         98,2%
           van de betreffende versie.


                                                                             In de conversie uplift
                                                                             kolom is het conversie
 C
                                           0,1%
         90,6%
                                                                             verschil te zien van de
                                                                             betreffende versie in
                                                                             vergelijking met de
                                                                             originele variant (A).
 D
                                        13,6%
 winnaar
                                                                             Duidelijk zichtbaar is het
                                                                             feit dat sommige variaties
 E
                                        -15,1%
          99,9%
           ook slechter presteren
                                                                             dan het origineel!


 De testperiode was 6 t/m 16 februari 2010 op een deel van het bezoek. Nieuwe tekst uplift: 2%
De uitkomsten: hypotheses




     De pagina is         Extra promotie van de    We moeten de klant
 onduidelijk: er moet           last-minutes,     overtuigen bij ons te
    een duidelijke          aanbiedingen en        boeken en dat doen
   hotelkamer boek         arrangementen leidt      we door het gratis
actieknop in beeld, dit       tot meer unieke       kopje koffie en de
     leidt tot meer         bezoekers die iets     gratis WiFi onder de
       conversie.
                 kopen.
        aandacht te brengen.

      Waar!
                Niet waar!
           Geen verschil
De uitkomsten: conclusies

1.     De boodschap van gratis koffie & WiFi heeft geen significant
      effect op het conversie percentage.
2.     De last-minutes, arrangementen en aanbiedingen leiden af.
      Het bezoek dat op zoek is naar deze informatie neemt een
      andere route op de webpagina. Aanbieden van deze opties op
      deze plek leidt tot significant minder conversie.
3.     Het tonen van de duidelijke call-to-action hotel knop leidt tot
      een significant hoger conversie percentage van minimaal
      13%. Het weglaten van de aanbieding in de winnende versie kan
      voor nog meer conversie door deze knop zorgen.
4.     De geïnvesteerde tijd vanaf de eerste kennismaking, in het
      ontwerp, de implementatie, de uitvoer, tot en met de evaluatie
      van deze test bedraagt: 40 interne en 40 externe uren.
      Vervolgtesten zullen naar verwachting 20 interne en 20 externe
      uren kosten.
De Self-Service bezoeker




  Op valk.com hebben we voornamelijk te maken met self-service gerichte
  zoekers en boekers. Zij willen zelf een goed antwoord op hun vragen kunnen
  vinden. Wanneer we hier in slagen leidt dit tot meer omzet per bezoeker.

  Met behulp van software van “search and navigation” bedrijf Qweery hebben we
  getest of hun uitgebreide interne zoekfunctie met filter oplossing voor zoekers
  en hun inline FAQ module voor boekers (bij het afsluitformulier) de bezoeker
  beter helpt en dan ook leidt tot een beter conversie percentage.
Inhoud
1. Hypothese testen
2. De “zoeken” case
3. De “boeken” case


4. Over Online Dialogue
Zoeken case

                       De valk.com website bevat een hotel zoek
                       functie waarbij je op basis van het invoeren
                       van een woonplaats (en landkeuze) kunt
                       bekijken welke hotels op welke afstand bij
                       deze ingevoerde plaats te vinden zijn.




  Zoeken: helpen het juiste hotel te vinden
Zoeken: beter helpen vinden

                                        Normaal
                                  2




                                                     1




  Met de Qweery software was het mogelijk om de bestaande verschillende
  hotelkenmerken beter te ontsluiten. Hierdoor konden we middels de software
  enerzijds de bezoekers bij de resultaten een filterfunctie te geven (zie 2) en
  anderzijds een meer geavanceerde zoekbox (zie 1).
Zoeken: beter helpen vinden

                 A
   We hebben 2 varianten van de
                      originele variant A getest. Variant B
                      met alleen de filter functie als extra
                      element bij de zoekresultaten.
                      Daarnaast variant C met ook de
                      filterfunctie maar ook de uitgebreide
                      zoekbox (op de begin en de
                      resultaten pagina).



                 B
                                       C
Zoeken case: de resultaten
           Views zoekresultaten pagina per unieke bezoeker
                                                                        90%+ significant
                   +14,6%
                              +12,6%
           t.o.v. origineel

     Views van reserveren start pagina per unieke bezoeker
                                                                        90%+ significant
                   -20,9%
                              -14,0%
           t.o.v. origineel

    De nieuwe zoekpagina variaties leiden per unieke bezoeker tot een significant
    frequenter gebruik van de interne zoekmachine (gemiddeld 13,6%). De
    bezoekers van de nieuwe varianten klikken daarbij vanaf de zoekresultaten
    minder vaak door naar het reserveringsformulier (gemiddeld 17,5%).

                                                  B
                               C




Periode: 24 maart 2010 tot en met 5 april 2010
Zoeken case: de resultaten
    Van de mensen die een reserveren pagina bekijken is de conversie naar het
    daadwerkelijke boekingsgedeelte binnen de reserveringsformulieren aanzienlijk
    groter. Men klikt in veel grotere getale langs de hotelinformatie binnen het
    reserveringsformulier. Dit effect is veel groter wanneer de uitgebreide zoekbox
    wordt gebruikt in tegenstelling tot puur de filter functies.


  Conversie van reserveren views tot en met boeken stap 3
                                                                          90%+ significant
                    +9,8%
                               +45,0%
            t.o.v. origineel



                                                  B
                                 C




Periode: 24 maart 2010 tot en met 5 april 2010
Zoeken case: conclusies
1.    De filterfuncties zorgen voor een frequenter gebruik van de zoekbox
      (per bezoeker).
2.    De filterfuncties zorgen voor een betere hotelkeuze voorafgaand aan
      het boekingsproces.
3.    De uitgebreide zoekbox zorgt voor een nog betere keuze voorafgaand
      aan het boekingsproces en heeft meer effect dan de filterfuncties.
4.    In plaats van dat de bezoeker het boekingsproces misbruikt om het
      juiste hotel te vinden gebeurd dat nu beter voorafgaand aan het
      boekingsproces.
5.    Het verschil wordt gemaakt in het boekingsproces van start tot aan
      persoonsgegevens, vanaf persoonsgegevens tot conversie is er geen
      significant verschil meer in uitval percentage.
6.    Het eindconversie verschil is niet significant, maar zal naar
      verwachting* op de langere termijn meer rendement gaan opleveren
      omdat meer mensen de zoekmachine gaan gebruiken.
      * De filter functie variant werd per unieke bezoeker vaker gebruikt dat de originele
      zoekmachine. Naar verwachting zullen door deze ervaring meer bezoekers vaker de internet
      zoekmachine gaan gebruiken en de waarde van deze bezoekers is hoger dan bezoekers die
      de interne zoekmachine niet gebruiken.
Inhoud
1. Case achtergrond
2. De “zoeken” case
3. De “boeken” case


4. Over Online Dialogue
Boeken: twijfels wegnemen
                Op het boekingsformulier van valk.com was er geen
                eenvoudige mogelijkheid om een antwoord te
                vinden op vragen. Nadat we vraag@valk.com
                toevoegden bleek dat de vragen er wel waren. Met
                de software van Qweery is vanuit de aanwezige
                antwoorden een inline FAQ gegenereerd.




  Veel respons op vraag@valk.com
Boeken: twijfels wegnemen
                    1
                           2
    3




 De module opende standaard met de meest gestelde
 vragen (1). Het intypen van een vraag genereerde
 direct tijdens het typen de mogelijke vragen waarop
 wij een antwoord hadden (2). Bij het aanklikken van
 de vraag opende het antwoord onder de vraag (3).


Dynamische FAQ module bij elke boekingsstap
Boeken: twijfels wegnemen

                                 A
                                             B




  De helft van de bezoekers kreeg (door de Qweery software zelf ingesteld) wel
  naast elke stap in het boekingsformulier de FAQ module te zien (B) en de andere
  helft van de bezoekers kreeg deze FAQ module niet te zien (A). Het
  boekingsformulier was voor de rest volledig gelijk (inclusief vraag@valk.com).



Dynamische FAQ module bij elke boekingsstap
Boeken case: de resultaten
                                                                        Funnel       Funnel       Verschil door
Onderwerp (groen in cijfer: uitslag=significant)
                       uitval A:
   uitval B:
    minder uitval
                                                                        default
    FAQ box
     van bezoekers
Kamer boeken, stap 1, datum kiezen
                                            -
           -
               -

Naar kamer boeken, stap 2, kamer kiezen
                                   33%
         34%
             -1,4%

Naar kamer boeken, stap 3, persoonsgegevens
                               66%
         66%
            +1,1%

Naar kamer boeken, stap 4, betaalgegevens
                                 51%
         46%
            +9,2%
Naar kamer boeken, stap 5, overzicht
                                       2%
           4%
            -2,0%

Naar kamer boeken, stap 6, bedankt
                                         6%
           6%
           +0,5%



Totaal van stap 1 tot en met bedankt
                                      90%
         89%
            +5,5%

Periode: 29 april 2010 tot en met 12 mei 2010, zekerheidsmarge: 90%


   In geen enkele stap van het boekingsformulier ontstond een significant conversie
   verschil, behalve van stap 3 naar stap 4. Op het moment dat men daadwerkelijk de
   keuze maakt om te boeken zorgt de FAQ module significant voor minder uitval.
Boeken case: conclusies
1.    De eindconversie van +5,5% heeft een zekerheid van 89%. Dit is net
      niet genoeg om van een significant verschil te spreken (bij een volgende
      vergelijking is er een kans van 11% dat de versie zonder FAQ module
      beter converteert dan met). 
2.    De FAQ module heeft alleen een significant effect op de overgang van
      stap 3 (persoonsgegevens invullen) naar stap 4.
3.    Deze 9% minder uitval zorgt voor de uiteindelijke 5,5% meer conversie
      in het hele boekingsformulier.
4.    De FAQ module blijkt dus succesvol te zijn in de meest kritische stap
      van het bestel proces. Daar waar men stopt met zoeken en besluit
      daadwerkelijk te gaan boeken. De FAQ module geeft antwoord op
      vragen die wanneer ze niet beantwoord worden zorgen voor afhakers in
      het bestelproces.
5.    De module bespaart tijd door wegnemen van vragen per email.
6.    Verwachting is dat bij het verder vullen van de FAQ vragen en
      antwoorden het conversieverschil groter en significant zal zijn. Er is nu
      immers gewerkt een vaste set van vragen en antwoorden en geen set
      die specifiek was ontworpen voor een bepaalde stap in het formulier.
Inhoud
1. Case achtergrond
2. De “zoeken” case
3. De “boeken” case


4. Over Online Dialogue
Introductie Online Dialogue

  Online Dialogue heeft als doel om de kwaliteit van offline
   service en verkoop dialogen naar online te halen.


                               Strategie
                               Ontwerp
                               Optimalisatie
  Onze diensten:
    Internet strategie
    Het ontwerpen van online aanwezigheid.
    Gestructureerde online rendement verbetering.
Schrijf je nu in!

Deze case is gepresenteerd op de 
Online Dialogue donderdag.

Je kunt deze 2 maandelijkse kennis
sessie in Utrecht sessie zelf bijwonen!

Schrijf je nu in:
http://onlinedialogue.com/donderdag

Volgende sessies:

    •    
11 november 2010
    •    
13 januari 2011
    •    
10 maart 2011
    •    
12 mei 2011
    •    
8 september 2011
    •    
10 november 2011
Web: http://onlinedialogue.nl
   Web: http://valk.com

Mail: info@onlinedialogue.nl
    Mail: info@internet.valk.com
Tel: 030 4100 170
               Tel: 0347 325 942
Fax: 030 4100 171
               Fax: 0347 325 977

Postadres:
                      Postadres:
Postbus 26, 3500 AA, Utrecht
    Postbus 103, 4130 EC, Vianen
Case contactpersoon:
            Case contactpersoon:

Ton Wesseling
                   Gerard Schomaker
Senior conversion consultant
    General manager
Online Dialogue
                 Van der Valk internet

Mail: ton@onlinedialogue.nl
     Mail: gerard@internet.valk.com

Contenu connexe

Similaire à Online Dialogue Donderdag 9 september 2010: praktijkcase (AB testen bij valk.com)

Similaire à Online Dialogue Donderdag 9 september 2010: praktijkcase (AB testen bij valk.com) (20)

Rapport Usability en conversie optimalisatie
Rapport Usability en conversie optimalisatieRapport Usability en conversie optimalisatie
Rapport Usability en conversie optimalisatie
 
Conversie optimalisatie case Freo.nl
Conversie optimalisatie case Freo.nlConversie optimalisatie case Freo.nl
Conversie optimalisatie case Freo.nl
 
Wa College 1
Wa College 1Wa College 1
Wa College 1
 
Klant behoefte onderzoek
Klant behoefte onderzoekKlant behoefte onderzoek
Klant behoefte onderzoek
 
Rapport Webanalytics
Rapport WebanalyticsRapport Webanalytics
Rapport Webanalytics
 
Conversie optimalisatie in zes stappen imme2011
Conversie optimalisatie in zes stappen imme2011Conversie optimalisatie in zes stappen imme2011
Conversie optimalisatie in zes stappen imme2011
 
Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010Web analytics en conversie optimalisatie_TCD 2010
Web analytics en conversie optimalisatie_TCD 2010
 
Website conversie optimalisatie in 6 stappen copy
Website conversie optimalisatie in 6 stappen copyWebsite conversie optimalisatie in 6 stappen copy
Website conversie optimalisatie in 6 stappen copy
 
Clinic web analytics dim1day
Clinic web analytics dim1dayClinic web analytics dim1day
Clinic web analytics dim1day
 
Magento & online marketing: 5 best practices voor uw webshop!
Magento & online marketing: 5 best practices voor uw webshop!Magento & online marketing: 5 best practices voor uw webshop!
Magento & online marketing: 5 best practices voor uw webshop!
 
Social media: meten en weten
Social media: meten en wetenSocial media: meten en weten
Social media: meten en weten
 
Social media school 2011, meten is weten
Social media school 2011, meten is wetenSocial media school 2011, meten is weten
Social media school 2011, meten is weten
 
Meer rendement uit uw online budget - Egan van Doorn (OrangeValley)
Meer rendement uit uw online budget - Egan van Doorn (OrangeValley)Meer rendement uit uw online budget - Egan van Doorn (OrangeValley)
Meer rendement uit uw online budget - Egan van Doorn (OrangeValley)
 
Sociale dialogen & recruiters
Sociale dialogen & recruitersSociale dialogen & recruiters
Sociale dialogen & recruiters
 
Big Data presentatie #dido12 - Arend Zwaneveld
Big Data presentatie #dido12 - Arend ZwaneveldBig Data presentatie #dido12 - Arend Zwaneveld
Big Data presentatie #dido12 - Arend Zwaneveld
 
Digitaal werven, wat kan recruitment leren van marketing?
Digitaal werven, wat kan recruitment leren van marketing? Digitaal werven, wat kan recruitment leren van marketing?
Digitaal werven, wat kan recruitment leren van marketing?
 
Meten is weten presentatie Social media School maart 2011
Meten is weten presentatie Social media School maart 2011Meten is weten presentatie Social media School maart 2011
Meten is weten presentatie Social media School maart 2011
 
Conversie verdubbelen op dim1day
Conversie verdubbelen op dim1dayConversie verdubbelen op dim1day
Conversie verdubbelen op dim1day
 
Presentatie marcom12 social media strategie_hans molenaar
Presentatie marcom12 social media strategie_hans molenaarPresentatie marcom12 social media strategie_hans molenaar
Presentatie marcom12 social media strategie_hans molenaar
 
Google analytics: Measuring what matters
Google analytics: Measuring what mattersGoogle analytics: Measuring what matters
Google analytics: Measuring what matters
 

Plus de Online Dialogue

Plus de Online Dialogue (20)

Introduction to BOOM! - Behavioral online optimization method
Introduction to BOOM! - Behavioral online optimization methodIntroduction to BOOM! - Behavioral online optimization method
Introduction to BOOM! - Behavioral online optimization method
 
CRO & scrum combineren
CRO & scrum combinerenCRO & scrum combineren
CRO & scrum combineren
 
GAUC 2020 - presentatie Hans en Reinier
GAUC 2020 - presentatie Hans en ReinierGAUC 2020 - presentatie Hans en Reinier
GAUC 2020 - presentatie Hans en Reinier
 
Online Dialogue Digital Analytics Congres 2019
Online Dialogue Digital Analytics Congres 2019Online Dialogue Digital Analytics Congres 2019
Online Dialogue Digital Analytics Congres 2019
 
Presentation Emerce Conversion_Bart Schutz_April 11th 2019
Presentation Emerce Conversion_Bart Schutz_April 11th 2019Presentation Emerce Conversion_Bart Schutz_April 11th 2019
Presentation Emerce Conversion_Bart Schutz_April 11th 2019
 
Presentation Emerce Conversion_Tom vanden Berg_April 11th 2019
Presentation Emerce Conversion_Tom vanden Berg_April 11th 2019Presentation Emerce Conversion_Tom vanden Berg_April 11th 2019
Presentation Emerce Conversion_Tom vanden Berg_April 11th 2019
 
Validation in every Organisation - Ton Weseling - CRO Elite keynote London - ...
Validation in every Organisation - Ton Weseling - CRO Elite keynote London - ...Validation in every Organisation - Ton Weseling - CRO Elite keynote London - ...
Validation in every Organisation - Ton Weseling - CRO Elite keynote London - ...
 
Dialogue Donderdag #28 Joost Baalbergen, Eline van Baal en Roos van Dam
Dialogue Donderdag #28 Joost Baalbergen, Eline van Baal en Roos van DamDialogue Donderdag #28 Joost Baalbergen, Eline van Baal en Roos van Dam
Dialogue Donderdag #28 Joost Baalbergen, Eline van Baal en Roos van Dam
 
Dialogue Donderdag #28 Gerben Langendijk
Dialogue Donderdag #28 Gerben LangendijkDialogue Donderdag #28 Gerben Langendijk
Dialogue Donderdag #28 Gerben Langendijk
 
Joost Fromberg at the Global Digital Marketing Summit '18
Joost Fromberg at the Global Digital Marketing Summit '18Joost Fromberg at the Global Digital Marketing Summit '18
Joost Fromberg at the Global Digital Marketing Summit '18
 
Amy Cueva, Mad*Pow (USA) - Conversion Hotel 2017 - keynote
Amy Cueva, Mad*Pow (USA) - Conversion Hotel 2017 - keynoteAmy Cueva, Mad*Pow (USA) - Conversion Hotel 2017 - keynote
Amy Cueva, Mad*Pow (USA) - Conversion Hotel 2017 - keynote
 
Ronny Kohavi, Microsoft (USA) - Conversion Hotel 2017 - keynote
Ronny Kohavi, Microsoft (USA) - Conversion Hotel 2017 - keynoteRonny Kohavi, Microsoft (USA) - Conversion Hotel 2017 - keynote
Ronny Kohavi, Microsoft (USA) - Conversion Hotel 2017 - keynote
 
Michelle Kiss, Analytics Demystified (AUS/NL/USA) - Conversion Hotel 2017 - k...
Michelle Kiss, Analytics Demystified (AUS/NL/USA) - Conversion Hotel 2017 - k...Michelle Kiss, Analytics Demystified (AUS/NL/USA) - Conversion Hotel 2017 - k...
Michelle Kiss, Analytics Demystified (AUS/NL/USA) - Conversion Hotel 2017 - k...
 
Matthew Roach, Sanoma (AUS/UK/NL) - Conversion Hotel 2017 - keynote
Matthew Roach, Sanoma (AUS/UK/NL) - Conversion Hotel 2017 - keynoteMatthew Roach, Sanoma (AUS/UK/NL) - Conversion Hotel 2017 - keynote
Matthew Roach, Sanoma (AUS/UK/NL) - Conversion Hotel 2017 - keynote
 
Els Aerts, AGConsult (BE) - Conversion Hotel 2017 - keynote
Els Aerts, AGConsult (BE) - Conversion Hotel 2017 - keynoteEls Aerts, AGConsult (BE) - Conversion Hotel 2017 - keynote
Els Aerts, AGConsult (BE) - Conversion Hotel 2017 - keynote
 
Joost de Schepper, Spotify (SWE) - Conversion Hotel 2017 - keynote
Joost de Schepper, Spotify (SWE) - Conversion Hotel 2017 - keynoteJoost de Schepper, Spotify (SWE) - Conversion Hotel 2017 - keynote
Joost de Schepper, Spotify (SWE) - Conversion Hotel 2017 - keynote
 
Keynote #gconvert17 - Bart Schutz of Online Dialogue - Online Persuasion - Sy...
Keynote #gconvert17 - Bart Schutz of Online Dialogue - Online Persuasion - Sy...Keynote #gconvert17 - Bart Schutz of Online Dialogue - Online Persuasion - Sy...
Keynote #gconvert17 - Bart Schutz of Online Dialogue - Online Persuasion - Sy...
 
Workshop congres verborgen psycholoog
Workshop congres  verborgen psycholoogWorkshop congres  verborgen psycholoog
Workshop congres verborgen psycholoog
 
Keynote #DAC17 - Bart Schutz - Marshmallows and the psychology behind evidenc...
Keynote #DAC17 - Bart Schutz - Marshmallows and the psychology behind evidenc...Keynote #DAC17 - Bart Schutz - Marshmallows and the psychology behind evidenc...
Keynote #DAC17 - Bart Schutz - Marshmallows and the psychology behind evidenc...
 
Keynote on Online Experiments by Ton Wesseling - Online Dialogue at the Web A...
Keynote on Online Experiments by Ton Wesseling - Online Dialogue at the Web A...Keynote on Online Experiments by Ton Wesseling - Online Dialogue at the Web A...
Keynote on Online Experiments by Ton Wesseling - Online Dialogue at the Web A...
 

Online Dialogue Donderdag 9 september 2010: praktijkcase (AB testen bij valk.com)

  • 1. 9 september 2010 Praktijkcase: valk.com Online Dialogue Donderdag nr. 1 1. Leer je klant kennen met hypothese testen 2. Hoe kun je de self-service bezoeker beter helpen?
  • 2. Historie Van der Valk In 1939 begonnen Martien en Rie van der Valk samen een restaurant in Voorschoten. Nu 70 jaar later is het bedrijf door hun (achter)kleinkinderen uitgebouwd tot het grootste horeca concern van Nederland meer dan 90 hotels in het binnen- en buitenland. Van der Valk internet – Valk.com Van der Valk internet is de centrale internet organisatie die de hotels ondersteunt met diensten voor hun online service. Daarnaast beheert zij de valk.com website. Deze overkoepelende informatie en reserveringen website wordt online gepromoot. Door het eigen team heeft men de mogelijkheid om zelf direct verbeteringen door te voeren. valk.com wil het rendement van de website verbeteren en heeft Online Dialogue gevraagd om als partner hier het verschil te maken. Deze case uitwerkingen zijn resultaten van de samenwerking tussen beiden.
  • 3. Inhoud 1. Hypothese testen 2. De “zoeken” case 3. De “boeken” case 4. Over Online Dialogue
  • 4. Company
goals
 €€€









 Customer
goals
 Company
 Prospect
/
client
 Behavior
 Behavior
 Mul9
 Mul9
 Mul9‐
 purpose

 phase
 channel
 Online kunnen we gedrag meten van prospects en klanten. Doel van de metingen is om te begrijpen wat theory © http://onlinedialogue.com een bezoeker komt doen en of deze bezoeker icons © http://dryicons.com doorgaat en slaagt met het uitvoeren van het doel.
  • 5. Structuring
 A) Analysis
 B) Roadmap
&
Dashboard
 - 1) Mass
 Na de analyse en het zorgen dat verbetereffecten kunnen 2) Segments
 worden gemeten, kan worden gestart met optimalisatie. Dit door gericht te testen welke 3) Dynamic
 communicatie en interactie zorgt voor meer succes. 4) 1‐on‐1
 theory © http://onlinedialogue.com icons © http://dryicons.com
  • 6. Hoe bepalen waar te beginnen?
  • 7. Organisa(onal
maturity
 Management
 4
 3
 Objec9ves
 2
 Employees
 1
 0
 Goals
 Tools
 Methodology
 Wat zijn de mogelijkheden van de organisatie?
  • 8. Current
online
dialogues
 Analytics research Expert review Wat voor een dialogen zijn nu niet succesvol?
  • 9. Consumer
insights
maturity
 Goals
 4
 3
 Context
 2
 Knowledge
 1
 0
 Mood
 AOtude
 Personality
 Weet je al wat het gedrag van de klant beïnvloedt?
  • 10. Op basis van de organisatie mogelijkheden, de inzichten waar verbetering haalbaar is en de Hypot hesis klantinzichten ga je aan de slag met het testen van welke communicatie en interactie op de website leidt tot meer Alternative klanttevredenheid en rendement. Dit gebeurd altijd door de website inhoudelijk te variëren op basis van hypotheses die je wilt toetsen. Je wilt immers steeds beter leren hoe je met de mensen op je website moet interacteren en communiceren. Je wilt een antwoord op de gestelde hypotheses.
  • 11. 1)
Mass
 Webanalytics Dissatisfiers - satisfiers Feedback / Why valk.com is de centrale website van Van der Valk Hotels en Restaurants waarop bezoekers informatie over de hotels en de mogelijkheden kunnen vinden. Online aanbod bestaat onder andere uit hotelkamer overnachtingen, arrangementen, last-minutes en zaal reserveringen. Op de valk.com website zijn we op zoek gegaan naar locaties waar we: -  begrepen met welk doel de bezoekers kwamen -  zagen dat er een verbetering haalbaar zou moeten zijn -  eenvoudig, binnen de organisatie mogelijkheden, een test konden uitvoeren
  • 12. De gekozen pagina Er is gekozen om te testen met de reserveringen overzicht pagina. Deze pagina, die voor elk hotel binnen valk.com gelijk is, trekt enerzijds veel bezoekers en boekingen via deze pagina en anderzijds valt er op een eenvoudige manier veel aan te verbeteren (zonder moeilijke technische aanpassingen). Het doel van de bezoeker is daarbij helder: reserveren De pagina is nog erg kaal en het is niet geheel helder waar je moet klikken. Door optimalisatie verwachten we aanzienlijke resultaten. De pagina draagt immers goed bij aan de dagelijkse omzet.
  • 13. De 3 hypothesen De pagina is Extra promotie van de We moeten de klant onduidelijk: er moet last-minutes, overtuigen bij ons te een duidelijke aanbiedingen en boeken en dat doen hotelkamer boek arrangementen leidt we door het gratis actieknop in beeld, dit tot meer unieke kopje koffie en de leidt tot meer bezoekers die iets gratis WiFi onder de conversie. kopen. aandacht te brengen.
  • 14. De variaties: nieuwe basis variant Scanbare tekst met daarbij het benadrukken van de enige juiste koopargumenten: snel, veilig en 24 uur per dag!
  • 15. De variaties: variant B Alle 3 de hypotheses verwerkt in 1 pagina: koffie en WiFi, aanbiedingen, lastminutes en arrangementen en een duidelijke boek hotelkamer knop.
  • 16. De variaties: variant C Om te testen wat nu het effect is van de koffie en WiFi aanbieding, dezelfde variant als B , maar dan zonder deze aanbieding!
  • 17. De variaties: variant D In plaats van arrangementen, last minutes en aanbiedingen nu weer een koffie en WiFi variant om te kunnen bepalen wat de effecten van beide opties zijn.
  • 18. De variaties: variant E Tot slot de uitgebreide variant van D om ook weer te kunnen vergelijken met B en de impact van de boodschappen te kunnen doorrekenen.
  • 19. Hoe werd er gewerkt? Het gratis software pakket Google Website Optimizer werd met een stukje maatwerkcode gebruikt om te zorgen dat een evenredig grote random groep bezoekers een bepaalde variant (met of zonder Qweery software) te zien kreeg. Het gratis software pakket Google Analytics werd gebruikt om van alle bezoekers die alleen een bepaalde variant hadden gezien te bepalen wat zij op de webpagina hebben gedaan (verblijfstijd, aankopen etc.). De effecten van de test werden bepaald door het afsluitformulier gedrag (de verkoop funnel) te vergelijken van alle bezoekers die een bepaalde variant hadden gezien met de bezoekers van de andere varianten.
  • 20. De uitkomsten: conversie uplift Variant Conversie uplift Zekerheid Met een statistische zekerheid van meer dan 90% is versie D de A default 91,5% winnaar van deze test. De kolom met zekerheid is de kans dat versie D in een volgende test weer wint B -6,1% 98,2% van de betreffende versie. In de conversie uplift kolom is het conversie C 0,1% 90,6% verschil te zien van de betreffende versie in vergelijking met de originele variant (A). D 13,6% winnaar Duidelijk zichtbaar is het feit dat sommige variaties E -15,1% 99,9% ook slechter presteren dan het origineel! De testperiode was 6 t/m 16 februari 2010 op een deel van het bezoek. Nieuwe tekst uplift: 2%
  • 21. De uitkomsten: hypotheses De pagina is Extra promotie van de We moeten de klant onduidelijk: er moet last-minutes, overtuigen bij ons te een duidelijke aanbiedingen en boeken en dat doen hotelkamer boek arrangementen leidt we door het gratis actieknop in beeld, dit tot meer unieke kopje koffie en de leidt tot meer bezoekers die iets gratis WiFi onder de conversie. kopen. aandacht te brengen. Waar! Niet waar! Geen verschil
  • 22. De uitkomsten: conclusies 1.  De boodschap van gratis koffie & WiFi heeft geen significant effect op het conversie percentage. 2.  De last-minutes, arrangementen en aanbiedingen leiden af. Het bezoek dat op zoek is naar deze informatie neemt een andere route op de webpagina. Aanbieden van deze opties op deze plek leidt tot significant minder conversie. 3.  Het tonen van de duidelijke call-to-action hotel knop leidt tot een significant hoger conversie percentage van minimaal 13%. Het weglaten van de aanbieding in de winnende versie kan voor nog meer conversie door deze knop zorgen. 4.  De geïnvesteerde tijd vanaf de eerste kennismaking, in het ontwerp, de implementatie, de uitvoer, tot en met de evaluatie van deze test bedraagt: 40 interne en 40 externe uren. Vervolgtesten zullen naar verwachting 20 interne en 20 externe uren kosten.
  • 23. De Self-Service bezoeker Op valk.com hebben we voornamelijk te maken met self-service gerichte zoekers en boekers. Zij willen zelf een goed antwoord op hun vragen kunnen vinden. Wanneer we hier in slagen leidt dit tot meer omzet per bezoeker. Met behulp van software van “search and navigation” bedrijf Qweery hebben we getest of hun uitgebreide interne zoekfunctie met filter oplossing voor zoekers en hun inline FAQ module voor boekers (bij het afsluitformulier) de bezoeker beter helpt en dan ook leidt tot een beter conversie percentage.
  • 24. Inhoud 1. Hypothese testen 2. De “zoeken” case 3. De “boeken” case 4. Over Online Dialogue
  • 25. Zoeken case De valk.com website bevat een hotel zoek functie waarbij je op basis van het invoeren van een woonplaats (en landkeuze) kunt bekijken welke hotels op welke afstand bij deze ingevoerde plaats te vinden zijn. Zoeken: helpen het juiste hotel te vinden
  • 26. Zoeken: beter helpen vinden Normaal 2 1 Met de Qweery software was het mogelijk om de bestaande verschillende hotelkenmerken beter te ontsluiten. Hierdoor konden we middels de software enerzijds de bezoekers bij de resultaten een filterfunctie te geven (zie 2) en anderzijds een meer geavanceerde zoekbox (zie 1).
  • 27. Zoeken: beter helpen vinden A We hebben 2 varianten van de originele variant A getest. Variant B met alleen de filter functie als extra element bij de zoekresultaten. Daarnaast variant C met ook de filterfunctie maar ook de uitgebreide zoekbox (op de begin en de resultaten pagina). B C
  • 28. Zoeken case: de resultaten Views zoekresultaten pagina per unieke bezoeker 90%+ significant +14,6% +12,6% t.o.v. origineel Views van reserveren start pagina per unieke bezoeker 90%+ significant -20,9% -14,0% t.o.v. origineel De nieuwe zoekpagina variaties leiden per unieke bezoeker tot een significant frequenter gebruik van de interne zoekmachine (gemiddeld 13,6%). De bezoekers van de nieuwe varianten klikken daarbij vanaf de zoekresultaten minder vaak door naar het reserveringsformulier (gemiddeld 17,5%). B C Periode: 24 maart 2010 tot en met 5 april 2010
  • 29. Zoeken case: de resultaten Van de mensen die een reserveren pagina bekijken is de conversie naar het daadwerkelijke boekingsgedeelte binnen de reserveringsformulieren aanzienlijk groter. Men klikt in veel grotere getale langs de hotelinformatie binnen het reserveringsformulier. Dit effect is veel groter wanneer de uitgebreide zoekbox wordt gebruikt in tegenstelling tot puur de filter functies. Conversie van reserveren views tot en met boeken stap 3 90%+ significant +9,8% +45,0% t.o.v. origineel B C Periode: 24 maart 2010 tot en met 5 april 2010
  • 30. Zoeken case: conclusies 1.  De filterfuncties zorgen voor een frequenter gebruik van de zoekbox (per bezoeker). 2.  De filterfuncties zorgen voor een betere hotelkeuze voorafgaand aan het boekingsproces. 3.  De uitgebreide zoekbox zorgt voor een nog betere keuze voorafgaand aan het boekingsproces en heeft meer effect dan de filterfuncties. 4.  In plaats van dat de bezoeker het boekingsproces misbruikt om het juiste hotel te vinden gebeurd dat nu beter voorafgaand aan het boekingsproces. 5.  Het verschil wordt gemaakt in het boekingsproces van start tot aan persoonsgegevens, vanaf persoonsgegevens tot conversie is er geen significant verschil meer in uitval percentage. 6.  Het eindconversie verschil is niet significant, maar zal naar verwachting* op de langere termijn meer rendement gaan opleveren omdat meer mensen de zoekmachine gaan gebruiken. * De filter functie variant werd per unieke bezoeker vaker gebruikt dat de originele zoekmachine. Naar verwachting zullen door deze ervaring meer bezoekers vaker de internet zoekmachine gaan gebruiken en de waarde van deze bezoekers is hoger dan bezoekers die de interne zoekmachine niet gebruiken.
  • 31. Inhoud 1. Case achtergrond 2. De “zoeken” case 3. De “boeken” case 4. Over Online Dialogue
  • 32. Boeken: twijfels wegnemen Op het boekingsformulier van valk.com was er geen eenvoudige mogelijkheid om een antwoord te vinden op vragen. Nadat we vraag@valk.com toevoegden bleek dat de vragen er wel waren. Met de software van Qweery is vanuit de aanwezige antwoorden een inline FAQ gegenereerd. Veel respons op vraag@valk.com
  • 33. Boeken: twijfels wegnemen 1 2 3 De module opende standaard met de meest gestelde vragen (1). Het intypen van een vraag genereerde direct tijdens het typen de mogelijke vragen waarop wij een antwoord hadden (2). Bij het aanklikken van de vraag opende het antwoord onder de vraag (3). Dynamische FAQ module bij elke boekingsstap
  • 34. Boeken: twijfels wegnemen A B De helft van de bezoekers kreeg (door de Qweery software zelf ingesteld) wel naast elke stap in het boekingsformulier de FAQ module te zien (B) en de andere helft van de bezoekers kreeg deze FAQ module niet te zien (A). Het boekingsformulier was voor de rest volledig gelijk (inclusief vraag@valk.com). Dynamische FAQ module bij elke boekingsstap
  • 35. Boeken case: de resultaten Funnel Funnel Verschil door Onderwerp (groen in cijfer: uitslag=significant) uitval A: uitval B: minder uitval default FAQ box van bezoekers Kamer boeken, stap 1, datum kiezen - - - Naar kamer boeken, stap 2, kamer kiezen 33% 34% -1,4% Naar kamer boeken, stap 3, persoonsgegevens 66% 66% +1,1% Naar kamer boeken, stap 4, betaalgegevens 51% 46% +9,2% Naar kamer boeken, stap 5, overzicht 2% 4% -2,0% Naar kamer boeken, stap 6, bedankt 6% 6% +0,5% Totaal van stap 1 tot en met bedankt 90% 89% +5,5% Periode: 29 april 2010 tot en met 12 mei 2010, zekerheidsmarge: 90% In geen enkele stap van het boekingsformulier ontstond een significant conversie verschil, behalve van stap 3 naar stap 4. Op het moment dat men daadwerkelijk de keuze maakt om te boeken zorgt de FAQ module significant voor minder uitval.
  • 36. Boeken case: conclusies 1.  De eindconversie van +5,5% heeft een zekerheid van 89%. Dit is net niet genoeg om van een significant verschil te spreken (bij een volgende vergelijking is er een kans van 11% dat de versie zonder FAQ module beter converteert dan met). 2.  De FAQ module heeft alleen een significant effect op de overgang van stap 3 (persoonsgegevens invullen) naar stap 4. 3.  Deze 9% minder uitval zorgt voor de uiteindelijke 5,5% meer conversie in het hele boekingsformulier. 4.  De FAQ module blijkt dus succesvol te zijn in de meest kritische stap van het bestel proces. Daar waar men stopt met zoeken en besluit daadwerkelijk te gaan boeken. De FAQ module geeft antwoord op vragen die wanneer ze niet beantwoord worden zorgen voor afhakers in het bestelproces. 5.  De module bespaart tijd door wegnemen van vragen per email. 6.  Verwachting is dat bij het verder vullen van de FAQ vragen en antwoorden het conversieverschil groter en significant zal zijn. Er is nu immers gewerkt een vaste set van vragen en antwoorden en geen set die specifiek was ontworpen voor een bepaalde stap in het formulier.
  • 37. Inhoud 1. Case achtergrond 2. De “zoeken” case 3. De “boeken” case 4. Over Online Dialogue
  • 38. Introductie Online Dialogue   Online Dialogue heeft als doel om de kwaliteit van offline service en verkoop dialogen naar online te halen. Strategie Ontwerp Optimalisatie Onze diensten:   Internet strategie   Het ontwerpen van online aanwezigheid.   Gestructureerde online rendement verbetering.
  • 39. Schrijf je nu in! Deze case is gepresenteerd op de Online Dialogue donderdag. Je kunt deze 2 maandelijkse kennis sessie in Utrecht sessie zelf bijwonen! Schrijf je nu in: http://onlinedialogue.com/donderdag Volgende sessies: •  11 november 2010 •  13 januari 2011 •  10 maart 2011 •  12 mei 2011 •  8 september 2011 •  10 november 2011
  • 40. Web: http://onlinedialogue.nl Web: http://valk.com Mail: info@onlinedialogue.nl Mail: info@internet.valk.com Tel: 030 4100 170 Tel: 0347 325 942 Fax: 030 4100 171 Fax: 0347 325 977 Postadres: Postadres: Postbus 26, 3500 AA, Utrecht Postbus 103, 4130 EC, Vianen Case contactpersoon: Case contactpersoon: Ton Wesseling Gerard Schomaker Senior conversion consultant General manager Online Dialogue Van der Valk internet Mail: ton@onlinedialogue.nl Mail: gerard@internet.valk.com