Ein kleines Quiz anlässlich des Barcamps Karlsruhe im Juli 2012.

1. Welche Variante gewinnt?
Wie gut kannst du einschätzen, welche Variante im
Usability-Test oder A/B Test gewinnt?
Ein kleines Quiz fürs Barcamp Karlsruhe, Juli 2012
Silke Berz, http://blog.paulinepauline.de/, @paulinepauline
Creative Director bei http://triplesense.de/

2. Usabilitytests
http://www.carlynporter.com/

3. A/B Split Testing
http://www.smashingmagazine.com/2010/06/24/the-ultimate-guide-to-a-b-testing/

4. Los geht‘s!
Anleitung:
Das Quiz enthält 18 Testergebnisse aus Usability- und A/B-Tests.
Zuerst werden jeweils die beiden getesteten Varianten gezeigt.
Merke dir die Variante, die deiner Meinung nach gewonnen hat.
Dann wird das Ergebnis gezeigt.
Hast du richtig getippt, notiere dir einen Punkt.
Am Ende der 18 Testergebnisse erhältst du eine Auswertung deines Ergebnisses.

5. Call-to-action links oder rechts?
Eyetracking Test: Der Versuchsaufbau
Für den Test wurde das Panel von 20 Personen im Alter von 20
Wird ein Call-to-Action auf der rechten – 43 Jahren und rund 50% Frauen bzw. Männer in zwei gleiche
Gruppen aufgeteilt. Jede Gruppe bekam nur einen der Screens
oder auf der linken Seite stärker im 5-Sekunden-Test zu sehen.
wahrgenommen?
Quelle: http://www.konversionskraft.de/landing-page-optimierung/landingpage-optimierung-tipp-5-call-to-action-links-oder-rechts.html

6. Call-to-action links oder rechts?
Eyetracking Test: Der Versuchsaufbau
Für den Test wurde das Panel von 20 Personen im Alter von 20
Wird ein Call-to-Action auf der rechten – 43 Jahren und rund 50% Frauen bzw. Männer in zwei gleiche
Gruppen aufgeteilt. Jede Gruppe bekam nur einen der Screens
oder auf der linken Seite stärker im 5-Sekunden-Test zu sehen.
wahrgenommen?
Quelle: http://www.konversionskraft.de/landing-page-optimierung/landingpage-optimierung-tipp-5-call-to-action-links-oder-rechts.html

7. Bildkompisition mit Call-to-action
Eyetracking Test
Der Versuchsaufbau:
Welchen Einfluss hat die A/B-Test mit zehn Probanden. Jeder Proband hat nur
eine Version der Landing-Page gesehen um ein klares
Blickrichtung der abgebildeten Ergebnis zu erhalten. Es wurden jeweils zwei
Person auf das Blickverhalten der Messungen mit 5 Sekunden Blickzeit aufgenommen.
Die Altersstruktur von 20 bis über 60 Jahre und genau
Nutzer? Welche Anordnung der 50% Männer / Frauen.
Call to Actions funktioniert besser?
http://www.konversionskraft.de/landing-page-optimierung/landing-page-optimierung-tipp-3.html

8. Bildkompisition mit Call-to-action
Eyetracking Test
Der Versuchsaufbau:
Welchen Einfluss hat die A/B-Test mit zehn Probanden. Jeder Proband hat nur
eine Version der Landing-Page gesehen um ein klares
Blickrichtung der abgebildeten Ergebnis zu erhalten. Es wurden jeweils zwei
Person auf das Blickverhalten der Messungen mit 5 Sekunden Blickzeit aufgenommen.
Die Altersstruktur von 20 bis über 60 Jahre und genau
Nutzer? Welche Anordnung der 50% Männer / Frauen.
Call to Actions funktioniert besser?
http://www.konversionskraft.de/landing-page-optimierung/landing-page-optimierung-tipp-3.html

9. Textgestaltung als Konversionsverstärker
Variante A Variante B
A/B-Test: Der Versuchsaufbau
Umgestaltung des Textaufbaus in Version B: Kürzere Headline,
Welche Kombination von Headline, zusätzliche Headline + Hervorhebung von Begriffen.
Anlauf und Zusatztext funktioniert Lenkung der Blickrichtung zum CtA.
besser? Ergebnis
91% höhere Registrierung für Testversion
http://visualwebsiteoptimizer.com/split-testing-blog/split-testing-increases-signups/

10. Textgestaltung als Konversionsverstärker
+91%
Variante A Variante B
A/B-Test: Der Versuchsaufbau
Umgestaltung des Textaufbaus in Version B: Kürzere Headline,
Welche Kombination von Headline, zusätzliche Headline + Hervorhebung von Begriffen.
Anlauf und Zusatztext funktioniert Lenkung der Blickrichtung zum CtA.
besser? Ergebnis
91% höhere Registrierung für Testversion
http://visualwebsiteoptimizer.com/split-testing-blog/split-testing-increases-signups/

11. Farben für Call to Action-Buttons
Eye-Tracking-Test:
Konvertieren konträre Elemente
besser?
Getestet wurden zwei Varianten
des Call-to-Actions-Buttons „Jetzt
abschließen“. (Im linken
Screenshot grüner)
Versuchsaufbau
• A/B-Test mit jeweils zehn Probanden.
• Jeder Proband hat nur eine Version der
Landingpage gesehen um ein klares
Ergebnis zu erhalten.
• Jeweils drei Messungen mit jeweils 4
Sekunden Blickzeit.
• Altersstruktur von 20 bis über 60 Jahre.
• Genau 50% Männer / Frauen.
Quelle: 11 Konversionskiller und wie sie vermieden werden, Thorsten Hubert, 2011

12. Farben für Call to Action-Buttons
Zwei Varianten im Test:
Original mit Buttons in der CI-Farbe.
Modifizierte Version mit Call-to-Action-Button in einer konträren Farbe, die
auf der gesamten Website bisher nicht vorkommt.
Quelle: 11 Konversionskiller und wie sie vermieden werden, Thorsten Hubert, 2011

13. Farben für Call to Action-Buttons
Variante mit grünem Button: Variante mit rotem Button:
Quelle: 11 Konversionskiller und wie sie vermieden werden, Thorsten Hubert, 2011

14. Die optimale Länge einer Landingpage
A/B-Test mit 4 Version einer Landingpage
Version 1:
Langversion mit FAQ +
Screenshots Der Versuchsaufbau
A/B-Test mit 4 Versionen einer Landingpage.
Auslieferung aller Versionen und Messung der Veränderung im Abverkauf des Test-Software-Services.

15. Die optimale Länge einer Landingpage

16. Die optimale Länge einer Landingpage

17. Die optimale Länge einer Landingpage

18. Die optimale Länge einer Landingpage
A/B-Test mit 4 Version einer Landingpage
Version 4:
Seite ohne Screenshots +
FAQ
Version 2:
nur FAQs zur Anwendung
Version 3:
nur Screenshots der
Anwendung
Version 1:
Langversion mit FAQ +
Screenshots Der Versuchsaufbau
A/B-Test mit 4 Versionen einer Landingpage.
Auslieferung aller Versionen und Messung der Veränderung im Abverkauf des Test-Software-Services.

19. Die optimale Länge einer Landingpage
+56% +62% -3%
A/B-Test mit 4 Version einer Landingpage
Version 4:
Seite ohne Screenshots +
FAQ
Version 2:
nur FAQs zur Anwendung
Version 3:
nur Screenshots der
Anwendung
Version 1:
Langversion mit FAQ +
Screenshots Der Versuchsaufbau
A/B-Test mit 4 Versionen einer Landingpage.
Auslieferung aller Versionen und Messung der Veränderung im Abverkauf des Test-Software-Services.

20. Produktdetailseiten im E-Commerce
Welche Produktseite convertiert besser?
Quelle: https://whichtestwon.com

21. Produktdetailseiten im E-Commerce
Welche Produktseite convertiert besser?
substantial increase in purchases
removing extraneous navigation, increasing
image size, and clarifying the order process are
best practices that generally win
Quelle: https://whichtestwon.com

22. Angebot von Free Trial
Quelle: https://whichtestwon.com

23. Angebot von Free Trial
+ 158%
We expected that by adding a free trial button on the
homepage the number of paid accounts would
decrease. We were positively surprised by the results.
Not only did we manage to keep the sale at the same
level, but we also noticed a huge increase in the
number of free trial accounts, which will also result in a
bigger number of upgrades in the future.
Quelle: https://whichtestwon.com

24. Themenbühnen 1/2
Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?
Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

25. Themenbühnen 1/2
Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?
A
D
C
B
E
Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

26. Themenbühnen 1/2
Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?
A
D
C
B
E
Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

27. Themenbühnen 2/2
Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?
Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

28. Themenbühnen 2/2
Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?
A
B
C D
F
G
E
Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

29. Themenbühnen 2/2
Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?
Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

30. Themenbühnen 2/2
Welches Element zieht wahrscheinlich die meiste Aufmerksamkeit auf sich?
A
B
C D
F
G
E
Quelle: http://www.usability.de/publikationen/studien/themenbuehnen.html

31. Videos zum Abschlussunterstützung
Welche Version steigerte die Registrierungen?
Quelle: http://whichtestwon.com/google-website-optimizer-test-results

32. Videos zum Abschlussunterstützung
- 30%
Welche Version steigerte die Registrierungen?
This test pitted bullet points against two different style
videos, a 3 minute tour & a 6 minute A/B test demo.
Both video versions hurt conversion rates, the former
dropped rates by roughly 20% and the latter dropped rates
by about 30%.
Quelle: http://whichtestwon.com/google-website-optimizer-test-results

33. Formulare
Welche Version steigerte die Conversion?
Ron and his team ran some
A/B testing online that
compared a traditional Web
form layout with a narrative
"Mad Libs" format.
Quelle: http://www.lukew.com/ff/entry.asp?1007

34. Formulare
+ 25 -
Welche Version steigerte die Conversion? 40%
Ron and his team ran some
A/B testing online that
compared a traditional Web
form layout with a narrative
"Mad Libs" format.
In Vast.com's testing, Mad
Libs style forms increased
conversion across the board
by 25-40%.
Quelle: http://www.lukew.com/ff/entry.asp?1007

35. Multi-Step vs. Single Page Checkout
Quelle: http://www.getelastic.com/single-vs-two-page-checkout/ A/B Test

36. Multi-Step vs. Single Page Checkout
+ 21%
„After only 300
transactions, the winner
was clear and we
stopped the experiment
after 606 transactions.
Google Website
Optimizer concluded
that the single-page
checkout outperformed
the out-of-the-box
checkout by a whopping
21.8%.“
Quelle: http://www.getelastic.com/single-vs-two-page-checkout/ A/B Test

37. Newsletter Anmeldungen
Welche Version führte zu mehr Newsletter-Anmeldungen?
Quelle: http://whichtestwon.com/archives/16975

38. Newsletter Anmeldungen
Welche Version führte zu mehr Newsletter-Anmeldungen?
Quelle: http://whichtestwon.com/archives/16975

39. Newsletter Magazin
Welche Newsletter-
Variante steigerte die
Klickrate?
Quelle: http://whichtestwon.com/archives/17017

40. Newsletter Magazin + 36%
Welche Newsletter-
Variante steigerte die
Klickrate?
The winning version
decluttered the left hand
margin and used text links
in the body to share other
stories. The major
differences between the
two versions were the
placement of the
publication’s
advertisement, the number
of featured stories, and the
layout of the ‘non-featured’
articles below the fold.
This test received a gold
award because it did a
phenomenal job
decluttering the newsletter
while providing the same
number of stories via text
links.
Quelle: http://whichtestwon.com/archives/17017

41. Newsletter Gestaltung
Welche Newsletter-Variante steigerte die Klickrate?
Quelle: http://whichtestwon.com/archives/16905

42. Newsletter Gestaltung
+ 6%
Welche Newsletter-Variante steigerte die Klickrate?
Both versions had the same headline and subhead copy.
However, Version A had a lot more white space and Apple-
style design, whereas Version B used a fairly traditional
email blast template.
The judges liked this test because, well, the winning template
was just so pretty. It’s a nice reminder that creativity can
increase response rates. So, dust off your old tired templates
and test something different!
Quelle: http://whichtestwon.com/archives/16905

43. Produkt Detailseiten - Shop
Welche Detailseiten-Variante steigerte die Conversion?
Klassische Aufgeräumt und Wirkt elitär durch Emotionen:
Produktseite clean Hintergrund und Rebellion,
Ausleuchtung Individualismus
Quelle: http://whichtestwon.com/archives/16905

44. Produkt Detailseiten - Shop
Welche Detailseiten-Variante steigerte die Conversion?
45.9% 59.1% 82.1% 63.2%
Klassische Aufgeräumt und Wirkt elitär durch Emotionen:
Produktseite clean Hintergrund und Rebellion,
Ausleuchtung Individualismus
Quelle: http://whichtestwon.com/archives/16905

45. Landingpage mit Registrierungsformular
Welches Formular führte zu mehr Registrierungen?
Quelle: http://www.abtests.com/test/258001/landing-for-vendio

46. Landingpage mit Registrierungsformular
+ 60%
Welches Formular führte zu mehr Registrierungen?
Big Takeaway
In this case an easier sign-up didn't necessarily lead to
MORE sign-ups.
Other Test Highlights
Another lesson here is that it is it is worth testing radically
different ideas – which, on the first glance, may appear not-
so-smart (like removing signup form from the landing page!).
Quelle: http://www.abtests.com/test/258001/landing-for-vendio

47. Produktlisten im E-Commerce
Welches Variante der Liste führte zu mehr Verkäufen?
Quelle: https://whichtestwon.com

48. Produktlisten im E-Commerce
+ 35%
Welches Variante der Liste führte zu mehr Verkäufen?
Quelle: https://whichtestwon.com

49. Einsatz von Störern
Welches Variante der Produktdetailseite führte zu mehr Verkäufen?
http://www.abtests.com/test/263001/product-for-the-corkscrew-wine-merchants

50. Einsatz von Störern
Welches Variante der Produktdetailseite führte zu mehr Verkäufen?
31% CR 12% CR
http://www.abtests.com/test/263001/product-for-the-corkscrew-wine-merchants

51. Und jetzt:
Wie viele Punkte habt ihr erreicht?

52. Ergebnis
18 – 12 Punkte 11 – 6 Punkte 5 – 0 Punkte
? ? ?

53. Ergebnis
18 – 12 Punkte 11 – 6 Punkte 5 – 0 Punkte
? ?
Du bist der Typ
Konzepter / Designer
Aus dir könnte ein
hervorragender Konzepter oder
Designer werden, wenn du es
nicht schon bist. Du bist ein
Mensch gewordenes Testlabor –
irgend eine höhere Macht lässt
deine Entwürfe in jedem Test
gewinnen.

54. Ergebnis
18 – 12 Punkte 11 – 6 Punkte 5 – 0 Punkte
?
Du bist der Typ Du bist der Typ
Konzepter / Designer Projektmanager
Aus dir könnte ein Du hast manchmal merkwürdige
hervorragender Konzepter oder Vorstellungen, wie die Nutzer im
Designer werden, wenn du es Web sich verhalten, und lässt
nicht schon bist. Du bist ein dich nur ungern eines besseren
Mensch gewordenes Testlabor – belehren. Aber hin und wieder
irgend eine höhere Macht lässt liegst du auch mal richtig, mit
deine Entwürfe in jedem Test deinen Vermutungen.
gewinnen.
;-)

55. Ergebnis
18 – 12 Punkte 11 – 6 Punkte 5 – 0 Punkte
Du bist der Typ Du bist der Typ Du bist der Typ
Konzepter / Designer Projektmanager Programmierer
Aus dir könnte ein Du hast manchmal merkwürdige Du hast nur ein paar
hervorragender Konzepter oder Vorstellungen, wie die Nutzer im Zufallstreffer gelandet, was dir
Designer werden, wenn du es Web sich verhalten, und lässt aber nix ausmacht, denn die
nicht schon bist. Du bist ein dich nur ungern eines besseren eigentliche Musik spielt hinter
Mensch gewordenes Testlabor – belehren. Aber hin und wieder dem ganzen überbewerteten
irgend eine höhere Macht lässt liegst du auch mal richtig, mit Schischi.
deine Entwürfe in jedem Test deinen Vermutungen.
gewinnen. ;-)
;-)

56. Quellen
Google Suche nach „heatmap“ oder „A/B test“
http://www.konversionskraft.de/
http://whichtestwon.com/
http://visualwebsiteoptimizer.com/

57. Vielen Dank
Silke Berz
@paulinepauline