Introductie tot A/B testing presentatie #digitaldayAHS 28 November 2013 ArteVelde Hogeschool Gent. Waarom A/B testing? Waarop letten? Welke elementen testen op een webpagina?

1. ABC VAN A/B TESTING
ArteveldeHogeschool – november 2013
Bert Schouppe
@BertSchouppe

2. @BertSchouppe #AB_Arte

3. We overlopen…
1
Wat A/B testing betekent en waarom
dit zo populair wordt
2
Hoe je start met A/B testen
3
Welke elementen je kan opnemen in
een A/B test

4. Google Search Features

5. Data Driven vs. Intuition

6. HiPPO’s rule the world

7. Marketeers kunnen kiezen

8. Hoe is het ooit zover gekomen!
Wat ik met jou heb gedaan durfde ik
alleen maar te dromen...
Nu zal ik moeten kiezen,
en één van jullie moeten verliezen...
Source: gedichtenfreaks.nl

10. VERSIE
VERSIE
WILLEKEURIG VERDEELD OVER DE GEBRUIKERS

11. CONVERSIES
CONVERSIES
VERSIE B IS BETER DAN VERSIE A

12. A/B vs. Multivariate
Source: Invesp.com

13. Een winnaar kiezen

14. Betrouwbaarheid van tests
Significantie
Betrouwbaarheid

15. You lost me here…

16. Laat iemand anders rekenen
Source: Evanmiller.org

17. Er zijn tools die je helpen

18. Test voldoende lang
Scenario 1
Scenario 2
Scenario 3
Scenario 4
Na 200 observaties Insignificant
Insignificant
Significant!
Significant!
Na 500 observaties Insignificant
Significant!
Insignificant
Significant!
Einde experiment
Significant!
Insignificant
Significant!
Insignificant

19. Foto: Onderdedraak.be

22. Foto: Onderdedraak.be

23. Waarom A/B testen

24. Google Trends

26. 85% focus on CRO

27. Inbound marketing
Offline
Online
Push
Pull
Eénrichting
Dialoog
Sociale Media explosie
Focus op ROI – cijfers en feiten

28. SEO Ranking Factor #1
is (visitor) Satisfaction
Cyrus Shepard

29. Google Ranking factoren

30. De gebruiker staat centraal

31. De gebruiker staat centraal
1
Hoe tevreden is uw bezoeker
met de website of webpagina?
2
Vindt de bezoeker wat hij zocht?
3
Zal hij of zij later nog een bezoek brengen?
4
De website aanbevelen aan vrienden of
kennissen?

32. Conversie optimalisatie
54
3,70 %
Conversie
2

33. Conversie optimalisatie
54
9,26%
Conversie
+250%
5

34. Hoe kan je testen
A/B Testing
Usability
Radical Innovation
Low
Low–medium
High (unless lucky)
Benefits
1–10%
10–100%
100–1,000%
Risk
None
Low
High
Who can do?
Everybody
Everybody
Geniuses
How often?
Weekly
Monthly
Every 10 years
Cost
Source: nngroup.com

35. 14%
conversie
21%
conversie
32%
conversie
25%
conversie
9%
conversie

36. De omgekeerde tunnel
Y
(Ma)YES
Sales Call
(Mi)YES
(Mi)YES
Landing Page
(Mi)YES
(Mi)YES
Business Software Suite
#1 On-Demand. 6459+ World Clients
Award-Winning Solution. Free Trial
(Mi)YES
www.XXXXXXXXXX.com/Business
GOOGLE ADVERTENTIE
Source: MarkertingExperiments
The Message
(Mi)YES

37. Source: optimizely.com

38. Yes he did

39. Button

40. Variant 2

41. The Winner

42. Resultaten
•
+40,6% meer conversies
• 2.880.000 extra e-mail adressen
• 288.000 extra vrijwilligers
• $21 donatie / e-mailadres
• $60.000.000 extra donaties

43. Source: http://www.whitchtestwon/

44. +247%

45. Test
Source: MarkertingExperiments

46. Control
+330,6%
Source: MarkertingExperiments

47. VERSIE A
Source: http://www.whitchtestwon/

48. VERSIE B
+28%

49. VERSIE C
+54%

50. Privacy policy
VERSIE A
Source: http://www.whitchtestwon/
VERSIE B

51. Privacy policy
VERSIE A
VERSIE B
+19,47%

52. Waarop testen, conversies?
•
Een PRODUCT bestellen
•
Inschrijven op een NIEUWSBRIEF
•
Een OFFERTE aanvraag
•
FORMULIER invullen
•
Een PRODUCTPAGINA bekijken
•
DOWNLOAD van een brochure
•
…

53. Start with a plan

54. 1. Bepaal je doelstellingen
Get your data!
Doelstellingen van je bedrijf (online vs. offline)
Doelstellingen van de website of webpagina
Via welke KPI’s ga je deze doelstellingen meten?

57. 2. Bepaal je hypotheses
Wat moet er getest worden?
Waardoor zal een webpagina beter scoren?
De rode draad doorheen je optimalisatie proces
Hier komt je data van pas

58. 2. Bepaal je hypotheses
Door enkel noodzakelijke invulvelden verplicht te maken
zal de conversie van het offerte formulier met 5-10%
toenemen.
Wanneer ik bezoekers om hun e-mailadres vraag ipv een
tweet zal het aantal PDF downloads aanzienlijk
toenemen?
Meer informatie over het gebruik van een tablet zal leiden
tot meer online sales.

59. 3. Experimenten opzetten
Foto: Onderdedraak.be

60. 4. Test, test, test
“Never stop testing, and your advertising
will never stop improving.” – David Ogilvy
“The volume of tests you start is important
but even more so, is how many you finish
every month.” – Craig Sullivan

61. 5. Archiveer resultaten
Centraliseer alle resultaten in één sheet
De hypothese, resultaat, screenshot origineel,
screenshots variaties, looptijd, …

63. Source: KyleRush.net

64. Source: KyleRush.net

65. Enkele cijfers
$1,1 miljard fundraising
$690 miljoen via online
500 a/b tests
+49%
fondsen dankzij A/B testing
+161%
conversies met A/B testing
Source: KyleRush.net

66. A/B Testing DHL
VERSIE A
VERSIE B

68. Wat testen op een website

69. Titel en subtitel
1
Enkele vs Meerdere titels
2
Lang vs Kort
3
Positief vs Negatief
4
Product gericht vs Gebruiker gericht

70. Pagina content
1
Lang vs Kort
2
Product gericht vs Gebruiker gericht
3
Volle tekst vs tekst met structuur

71. Afbeeldingen
1
Kleine vs Grote
2
Grafisch vs Mensen
3
Monotoon vs Kleurvol
4
Eén vs meerdere
5
Product vs mensen

72. Video
1
Autoplay of Manuele start
2
Met mensen of animaties
3
CTA in het begin / doorheen / einde tonen

73. CTA
1
Inschrijven vs “Gratis” inschrijven
2
Rood vs Groen vs Oranje
3
Links vs bovenaan vs in het centrum

74. Formulieren
1
Kort vs Lang
2
Verplichte vs Optionele velden
3
Links vs Rechts vs Centrum pagina
4
Het aantal velden
5
De privacy link naast een e-mailveld

75. Testimonials
1
Video vs Tekst
2
Bovenaan vs Onderaan
3
Eén vs Meerdere

76. Foto: Onderdedraak.be

84. @BertSchouppe
#AB_Arte

85. Thank you for these imazing images !!
http://www.wired.com/opinion/2013/11/what-to-do-when-ab-testing-doesnt-allow-us-to-c-enough/
http://moeatthemovies.com/2012/10/
http://www.onderdedraak.be/eddy-wally-ereburger-van-de-gentse-feesten/
http://www.staden.be/WWW/gemeente/5473.html
http://www.flickr.com/photos/doug88888/5937412419/

86. Bronnen
http://unbounce.com/docs/ultimate-AB-testing-guide.pdf
http://blog.marketizator.com/ab-testing-beginners-guide.html
http://blog.woorank.com/2012/10/a-b-testing-beginners-guide-to-website-a-b-testing/
http://socialmediatoday.com/socialbarrel/1828086/how-make-effective-landing-page-your-business-infographic
http://blog.optimizely.com/2013/11/06/ab-test-ideas-online-retailers-to-run-now/
http://ioninteractive.com/post-click-marketing-blog/2012/10/8/ab-testing-generates-a-98-lift-in-conversion-ratefor-dhl.html
http://kylerush.net/blog/optimization-at-the-obama-campaign-ab-testing/
http://conversionxl.com/how-to-build-a-strong-ab-testing-plan-that-gets-results/
http://www.slideshare.net/onlinedialogue/web-analytics-congress-2013-abtest-workshop
http://www.frankwatching.com/archive/2013/10/17/conversieoptimalisatie-voor-het-mkb-hoe-start-je-ermee/
http://blog.optimizely.com/2010/11/29/how-obama-raised-60-million-by-running-a-simple-experiment/
http://www.nngroup.com/articles/ab-testing-usability-engineering/
http://moz.com/blog/seo-satisfaction
http://www.evanmiller.org/announcing-evans-awesome-ab-tools.html
http://www.webanalisten.nl/hoe-je-landingspaginas-kunt-testen-infographic
http://traveltekker.com/2012/07/11/think-you-can-effectivelyjudge-effective-user-experience-design-think-again/