Wie messe ich den Erfolg eines Redesigns? - Vorher-Nachher-Befragung vs. Conversion Rate, Usability Coffee, Bern, 19.11.2015

1. Wie messe ich den Erfolg eines Redesigns? -
Vorher-Nachher-Befragung vs. Conversion Rate
Usability Coffee, Bern, 19.November 2015

2. Dr. sc. techn. ETH
Studium der Biologie an der ETH Zürich mit
der Vertiefung in Ergonomie und Usability
Dissertation zum Thema «Transfer of
Training in Driving Simulators»
Usability-Erfahrung seit 1998
CEO bei soultank AG
Certified Scrum Product Owner
marcel.uhr@soultank.ch
Marcel B.F. Uhr
CEO
| Folie 2soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015

3. M. Sc. FHNW
Studium der Angewandten Psychologie
an der Fachhochschule Nordwestschweiz
4.5 Jahre Usability-Erfahrung
Usability Consultant bei soultank AG
seit Anfang 2013
Certified Scrum Product Owner
adrian.lauper@soultank.ch
Adrian Lauper
Consultant
| Folie 3soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015

4. soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Wissenschaftlich fundiertes Beratungsunternehmen
Seit 1996 im Bereich Usability und Ergonomie tätig
2000 Gründung soultank AG in Zug
5 Usability-Experten
Betrieb eines Usability-Labors in Zug
Europaweit tätig, Fokus Schweiz
Über soultank AG
| Folie 4

5. Referenzen soultank AG
soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015 | Folie 5
Weitere Referenzen: www.soultank.ch/content/referenzen

6. Unser Vorgehen - User Centred Design (UCD)
| Folie 6soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015

7. Conversion Rate / System AnalyseConversion Rate / System Analyse

8. Beispiele für Aktionen sind:
Etwas kaufen
Etwas downloaden
Sich registrieren
Anmelden für den Newsletter
Rubriken bei Website wechseln bzw. anschauen
Etc.
Conversion Rate
Was das ist
| Folie 8soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Anteil Besucher, die eine gewünschte Aktion tätigen (Verhalten)

9. Conversion Rate
Gemessen wird das Verhalten der Nutzer
| Folie 9soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Quelle/Kanal
Landing Page
Woher?
Auf welche Seite?
Mit welcher Abfolge?
Wie lange?
Welche Aktion?
Wo verlassen?
NewsletterNewsletter
Anmelden
Klick
Kriterien über die Benutzer selbst, können nur marginal gemessen
werden

10. Vertiefte Aussagen über das Verhalten der Nutzer und das
genutzte System
Conversion Rate
Gemessen wird das Verhalten der Nutzer
| Folie 10soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Benutzer
System
Aufgabe
(Verhalten)
Kontext (Umfeld)
+++
+++
+
+

11. Interesse vom Nutzer
Attraktivität des Angebots
Attraktivität der Webseite
Usability der Webseite
Produktkomplexität
Preise
Reputation der Marke
Identifikation mit der Marke / dem Webauftritt
Marketing-Kampagnen oder Presse
Conversion Rate
Einflussfaktoren bei Messung (für Verhalten)
| Folie 11soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015

12. Makroziel (ein Beispiel)
Conversion Rate optimieren, indem mehr Kunden ein Produkt kaufen «bei
gleichbleibendem Traffic»
Conversion Rate
Makroziele vs. Mikroziele - Verhalten analysieren
| Folie 12soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Landing Page Bestellung

13. Was sagt dies über:
den Kunden selbst (Person, Erwartungen, Motivation etc.)
den Kauf, das generelle Kaufverhalten?
wie das Ziel erreicht wurde?
Conversion Rate
Makroziele vs. Mikroziele - Verhalten analysieren
| Folie 13soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Welche Faktoren sind für die Conversion Rate verantwortlich?
Häufig besteht ein Informationsdefizit seitens Unternehmen, klare
Fragen nach dem «warum» können nicht beantwortet werden

14. Mikroziele
Konkrete Fragestellungen über Elemente wie: Navigation, Filter etc.
Je detaillierter Fragestellung und Messung, desto einfacher ist es,
Problemstellungen zu finden
Wissen von Mikrozielen kann genutzt werden, das Makroziel zu
erreichen
| Folie 14soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Landing Page Kategorienseite Detailseiteseite Check-out Bestellung
Mikro Mikro Mikro Mikro Makro
Conversion Rate
Makroziele vs. Mikroziele - Verhalten analysieren

15. Detail-Aussagen zu einzelnen Elementen möglich, wenn:
Veränderung von Elementen gezielt gemessen wird, wie sie sich
auf das Verhalten der Nutzer auswirkt
Kontrolle von weiteren Einflussfaktoren
Ansonsten kann nicht auf Veränderung geschlossen werden
Bspw. weniger Eingabefelder in Formularen beim Check-out-Prozess
Conversion Rate
Makroziele vs. Mikroziele - Verhalten analysieren
| Folie 15soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Step 2 Step 3
Mikro Mikro
Check-out-Prozess

16. Online-Befragung / Vorher und NachherOnline-Befragung / Vorher und Nachher

17. “Standardisierte Beurteilung von Systemen anhand vorgegebener
Kriterien (bspw. ISO-Norm-Kriterien), um zu quantitativen
Aussagen der Nutzer zu gelangen“
Subjektive Urteile der Nutzer zu bestimmten Systemaspekten
Befragung von grossen Nutzerpopulationen (Objektivität)
Online-Befragung
Was das ist
| Folie 17soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
SystemSystem beurteilen
Standardisierte Beurteilung von Systemen anhand vorgegebener
Kriterien (bspw. ISO-Norm-Kriterien), um zu quantitativen Aussagen
der Nutzer zu gelangen

18. Vorher-Nachher-Befragung
Was das ist
| Folie 18soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
altes System neues System
Nachher-BefragungVorher-Befragung
Messen, wie Nutzer das neue System im Vergleich zum alten System
beurteilen (bspw. Relaunch einer Webseite)

19. | Folie 19soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Beispielfragen
Was ist Ihr Besuchsgrund?
Produkt kaufen
Über Produkt informieren
Nutzergruppe (bspw. aufgrund Personas). Sie sind:
Privatkunde
Geschäftskunde
Auf Job-Suche
Usw.
Subjektive Beurteilung System. Fragen zum Inhalt:
(Skala von 1 = "Stimme überhaupt nicht zu", 6 = "Stimme voll und ganz zu")
Für mich wichtige Informationen sind vorhanden
Online-Befragung (Vorher-Nachher-Befragung)
Was das ist

20. Nutzer werden befragt zu ihrer Erfahrung, Meinung, zum Verhalten
und dem genutzten System
| Folie 20soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Online-Befragung (Vorher-Nachher-Befragung)
Gemessen werden Benutzer, Meinung Aufgabenerfüllung
Erwartung
System/Inhalt
Erfahrung & Expertise
System/Inhalt/Internet
Motivation/Interesse
Demographische
Daten Subjektive Beurteilung System
Effektivität
Effizienz
Zufriedenheit
Attraktivität
Loyalität
Etc.
Benutzer Aufgabe
(Verhalten)
SystemGenutztes System
Besuchsgrund

21. Vertiefte Aussagen über den Benutzer. Je nach
detaillierungsgrad der Fragen sind vertiefte Aussagen über
Kontext und Aufgabe möglich.
Online-Befragung (Vorher-Nachher-Befragung)
Gemessen werden Benutzer, Meinung Aufgabenerfüllung
| Folie 21soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Benutzer
System
Aufgabe
(Verhalten)
Kontext (Umfeld)
+++++
++
+

22. | Folie 22soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Eingeschränkte Bewertungsfreiheit
Deshalb zusätzlich offene Antwortfelder anbieten
Verständnisfragen sind nicht möglich
Konstruktion und Antworte-Kategorien bei Fragebogen wohl
überlegen
Überpräsentation von Nutzern mit höherer Computerexpertise
Zusätzlich Erfahrung abfragen, anhand derer Ergebnisse
segmentiert werden können
Unverbindlichkeit des Online-Mediums hohe Abbrecherquote
Ca. 10% ist normal, Daten sollten herausgefiltert werden
Online-Befragung (Vorher-Nachher-Befragung)
Einflussfaktoren bei Messung

23. | Folie 23soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Ergebnisverzerrung durch onlinespezifische Gestaltungsfehler
Technische Fehler/Probleme
Lange oder langweilige Befragung
Aufruf für Befragung richtig platzieren
Zugehörigkeit Nutzer zur Zielpopulation
Anonyme Erhebung vs. Besonderheiten Zielgruppe verstehen
Qualität des Erhebungsinstruments
Qualität der Daten ist abhängig von dessen Qualität (sehr
aufwändig in der Konstruktion nach testtheoretischen Prinzipien)
Online-Befragung (Vorher-Nachher-Befragung)
Einflussfaktoren bei Messung

24. Insgesamt nur globale Aussagen zur Usability und Attraktivität des
Systems möglich
Alternativ können einzelne Prozesse wie der Check-out-Prozess
beurteilt werden (zeitnahe Präsentation Fragebogen)
Zusätzliche offene Antwortfelder geben detaillierteren Einblick
Online-Befragung (Vorher-Nachher-Befragung)
Daten analysieren
| Folie 24soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Landing Page Kategorienseite Detailseiteseite Check-out Bestellung
Step 1 Step 2 Step 3
global über ganzes System

25. Nicht nur einzelne Aussagen zum Benutzer, zur Aufgabe oder
System können gemacht werden, sondern auch zu deren
Zusammenhänge
Online-Befragung (Vorher-Nachher-Befragung)
Daten analysieren
| Folie 25soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Benutzer
System
Aufgabe
(Verhalten)
Kontext (Umfeld)
Beispiel: Privatkunden haben tendenziell die Informationen
schneller gefunden als Geschäftskunden

26. Conversion Rate vs. Online-Befragung
Vergleich
| Folie 26soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Conversion Rate Online-Befragung
Gemessen wird Verhalten
(Aktionen) der Benutzer
Gemessen wird Meinung
(Zufriedenheit etc.) der Benutzer
Bestimmung von Nutzerpfaden,
Abbruchraten/Effektivität von
Prozessen (bspw. Check-out)
Bestimmung von Nutzer-
meinungen

27. Conversion Rate vs. Online-Befragung
Vergleich
| Folie 27soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Conversion Rate Online-Befragung
Gründe für Veränderung (warum)
der CR schwierig zu bestimmen.
Wird transparenter durch
Mikroziele oder zusätzlicher
Befragung
Gründe für Veränderung der
Zufriedenheit klarer. Mitunter auch
durch offene Fragen und
Detaillierungsgrad des
Fragebogens. Einflussfaktoren sind
bestmöglich zu kontrollieren
Herausforderung liegt in der
Interpretation des gezeigten
Verhaltens (was waren konkrete
Gründe dafür)
Herausforderung liegt in der
Interpretation der Meinungen,
offene Fragen tragen zum
Verständnis bei

28. Conversion Rate vs. Online-Befragung
Vergleich
| Folie 28soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015
Conversion Rate Online-Befragung
Zielgruppe gänzlich unbekannt
(wer hat welches Verhalten
gezeigt)
Zielgruppe kann bestimmt und
segmentiert werden
Schnell und flexibel einsetzbar.
Für objektive Messung sollten
jedoch konkrete Ziele gesetzt
werden
Sorgfältige Planung für
Durchführung, nicht zu oft
einzusetzen

29. Methoden der empirischen Sozialforschung
(Schnell R., Hill P.B. & Esser E.)
Methoden der Usability Evaluation
(Sarodnick, F. & Brau, H.)
TrakkBlog (2013). Die Makro- und Mikroziele
der Conversion Rate. Verfügbar unter:
www.trakken.de/trakkblog/optimization/m
akro-und-mikroziele-der-conversion-rate/
Nielsen, J. (2013). Conversion Rates.
Verfügbar unter:
www.nngroup.com/articles/conversion-
rates/
Literatur
| Folie 29soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015

30. Usability Coffee in Bern
Bern, Donnerstag, 21. Januar 2015: Do’s und Dont’s bei Online-
Formularen
Mehr Informationen finden Sie auf unserer Webseite oder
dem hashtag #usabilitycoffee auf Twitter
Nächste Termine
| Folie 30soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015

31. Herzlichen Dank für Ihre Aufmerksamkeit
Bei Fragen stehen wir gerne zur Verfügung
AB14

32. Folie 31
AB14 Nach vorne genommen, bevor das Team kommt.
Andreas Bossard; 08.05.2015

33. Team
soultank AG | Usability Coffee – Wie messe ich den Erfolg eines Redesigns? | 19. November 2015 | Folie 32
soultank AG
Bahnhofplatz
Postfach 4744
6304 Zug
Tel: +41 41 726 50 20
Fax: +41 41 726 50 26
www.soultank.ch
Gaby SurberMonique Andres
Marcel B.F. Uhr Bianca Redel Andreas Bossard Adrian Lauper
Stefanie Friedli Jérome Fischer