1. Jak zařídit, aby vaše
A/B testy přinášely výsledky
Martin Snížek
22.2.2012

2. Co je optimalizace výkonnosti
E-mailing
Web
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 2

3. 2 nebo více variant
proti sobě
Hodnotící kritéria:
 Konverzní poměr
 Průměrná hodnota
objednávky
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 3

4. Expedia.com
A B
Roční zisk:
+ 12 mil. USD
Zdroj: http://www.conversionvoodoo.com/blog/2011/11/expedia-deletes-one-field-from-their-registration-process-increases-profit-12m/
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 4

5. Mall.cz
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 5

6. Mall.cz
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 6

7. Mall.cz
Konverzní poměr: +15 %
Přínos přepočtený na 1 rok: cca 300 mil. Kč
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 7

8. Hypoteční banka
Rekapitulace údajů o hypotéce shrnuta
do menší a přehlednější tabulky.
Informační box o závaznosti nabídky
a slevě při online vyřízení.
Pouze nezbytně nutné kontaktní údaje
pro vyplnění.
8
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 8

9. Hypoteční banka
Registrace: +67 %
Řádově desítky hypoték za rok navíc
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 9

10. SEOmoz.org
Zdroj: http://www.conversion-rate-experts.com/seomoz-case-study/
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 10

11. SEOmoz.org
Varianta B navíc:
+ přehledná tabulka verzí
+ questions & answers
+ větší loga hlavních klientů
+ videoprezentace ve stránce
+ snížení požadavků na členství
($ 1 za 30denní členství)
+ Quick Start Guide
Prodej služeb: + 52 %

+ 1 milion dolarů ročně
Zdroj: http://www.conversion-rate-experts.com/seomoz-case-study/
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 11

12. BuyaKilt.com
Obrat: + 76 %
Konverzní poměr: + 26 %
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 12

13. Děláte A/B testování takto?
1. Změny s vlivem na zákazníka
– Zaměřte se na analytiku a výzkum.
– Nevěnujte takovou pozornost best practices, UX
a grafice webu.
2. Prioritizace změn
3. Měření změn
4. Opakování a systematizace
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 13

14. Jak vypadá úspěšné A/B testování
1. Změny s vlivem na zákazníka
– Zaměřte se na analytiku a výzkum.
– Nevěnujte takovou pozornost best practices, UX
a grafice webu.
2. Prioritizace změn
3. Měření změn
4. Opakování a systematizace
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 14

15. Cílem je zmenšit propast
Zdroj: http://experiencematters.wordpress.com/2008/05/04/your-customers-as-martians/
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 15

16. Kvalitativní výzkum
1. Všichni návštěvníci nebo vzorek • Blockery a námitky • Co by změnili
Návštěvníci • Uvažování o nabídce a v nabídce
2. Určitý segment návštěvníků
produktu  příležitosti • Segmentace a
webu 3.
4.
V momentu uvažování
Při odchodu (on exit)
• Nákupní cyklus spokojenost
• Vnímané benefity návštěvníků
1. Stávající • Proč se rozhodli pro • Naše výhody z
Zákazníci 2. Bývalí konkurenci
•
jejich pohledu
• Proč už nejsou Spokojenost
firmy 3.
4.
Rozhodující se (leady)
Ti, kteří si vybrali konkurenci
zákazníky • Co by udělali
• Proč se rozhodli pro nás nového
1. Individuální rozhovory (lab/terén)
Respondenti 2. Focus group
3. Crowd sourcing
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 16

17. Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 17

18. Ultimátní vzorec přesvědčivosti,
který stačí následovat:
Perceived Value − Perceived Risk
=
Purchasing Decision
Zdroj: http://visualwebsiteoptimizer.com/split-testing-blog/ultimate-sales-formula/
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 18

19. Jak vypadá úspěšné A/B testování
1. Změny s vlivem na zákazníka
– Zaměřte se na analytiku a výzkum.
– Nevěnujte takovou pozornost best practices, UX
a grafice webu.
2. Prioritizace změn
3. Měření změn
4. Opakování a systematizace
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 19

20. Prioritizace
1. Jaký přínos může mít tato změna?
– Jakou šanci má tato změna zdvojnásobit obrat?
2. Jak náročné je provést danou změnu?
– náklady + čas
3. Už podobný nápad někdy předtím fungoval?
Přínos = 1-5 bodů (5 = nejvyšší přínos)
Náročnost = 1-5 bodů (5 = nejsnazší)
Score = přínos + náročnost
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 20

21. Jak vypadá úspěšné A/B testování
1. Změny s vlivem na zákazníka
– Zaměřte se na analytiku a výzkum.
– Nevěnujte takovou pozornost best practices, UX
a grafice webu.
2. Prioritizace změn
3. Měření změn
4. Opakování a systematizace
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 21

22. „In a battle with CEO's wife,
statistics will always lose.“
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 22

23. Jak vypadá úspěšné A/B testování
1. Změny s vlivem na zákazníka
– Zaměřte se na analytiku a výzkum.
– Nevěnujte takovou pozornost best practices, UX
a grafice webu.
2. Prioritizace změn
3. Měření změn
4. Opakování a systematizace
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 23

24. Optimalizace je iterativní
 Největší význam má, když se provádí delší
dobu
 S každým dalším testem se hodně naučíte, a
budete tak přicházet na stále lepší změny
– Test book
 Budujete know-how ohledně svých online
zákazníků
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 24

25. Highrise
Zdroj: http://37signals.com/svn/posts/2991-behind-the-scenes-ab-testing-part-3-final
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 25

26. Highrise
Zdroj: http://37signals.com/svn/posts/2991-behind-the-scenes-ab-testing-part-3-final
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 26

27. Highrise
Zdroj: http://37signals.com/svn/posts/2991-behind-the-scenes-ab-testing-part-3-final
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 27

28. Highrise
Zdroj: http://37signals.com/svn/posts/2991-behind-the-scenes-ab-testing-part-3-final
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 28

29. Díky za pozornost!
 Blog & newsletter Optimics
– www.optimics.cz/blog
 Zajímavé články a studie
– www.optimics.cz/c/csob-pojistovna-pripadova-studie
– www.optimics.cz/c/ab-testovani-kompletni-pruvodce
– www.optimics.cz/c/kalkulacka-zvysovani-vykonnosti-webu
 Twitter
– twitter.com/optimics
 Školení:
Optimalizace výkonnosti webu a A/B testování
– webexpo.cz/academy/kurzy/optimalizace-vykonnosti-webu-a-ab-testovani
Jak zařídit, aby vaše A/B testy přinášely výsledky | www.optimics.cz 29