Wie ein professioneller Testing-Prozess von der Analyse über die Konzeption bis zur Interpretation aufgesetzt und inhouse etabliert wird und welche Anforderungen und Herausforderungen auf Sie zukommen.

1. Professioneller Testing-Prozess
Silvia Grabler, e-dialog
Google Analytics Konferenz 2016
Wien, 23. Februar 2016

2. Seite 2
Silvia Grabler
Consultant & Teamleitung
Conversion-Optimierung & E-Mail Marketing
 A/B- & multivariates Testing
 Landingpage Erstellung
 Remote Usability Tests
 E-Mail Marketing Konzeption & Umsetzung
von der Tool-Evaluierung bis zum
Newsletter-Versand

3. Seite 3
Worum geht‘s?
Variante A - Vertikal: Variante B - Horizontal:
2 oder mehr Varianten werden auf Basis einer Testhypothese
gegeneinander getestet.

4. Seite 4
Warum Conversion-Optimierung?
Erfolgsrate OnSite (auch ohne Relaunch) steigern
 Vorhandenen Traffic effizient nutzen
 Hypothesen verifizieren/falsifizieren
 Prüfung welche Elemente die Conversions steigern
ALLEINE der User entscheidet über den Website-Erfolg
 Daten werden anhand echtem Userverhalten erhoben
 Echte Situationsumgebung

5. Seite 6
Welche Business Ziele sollen optimiert werden?
Optimierungsbereiche
E-Commerce Optimierung
Engagement Optimierung
Lead-Generierung Optimierung
Self-Service Optimierung
Optimierung von Confirmation Pages
Mögliche Ziele
• Steigerung der Kauf-Rate
• Umsatzsteigerung
• Nutzung der Social Media Funktionen
• Click-through,…
• Steigerung der Newsletter Abonnenten
• Steigerung der Kontakt-Anfragen,…
• Erhöhung der Nutzung von zB FAQs,…
• Social Engagement
• Weitere Aktionen durchführen,….
1. Ziele definieren 2. Ziele priorisieren 3. User Journey festhalten

6. Seite 7
Richtige Ziele definieren
Unterschiedliche Ziele  Unterschiedliche Ergebnisse
Das Macro Ziel ist die entscheidende Messgröße.

7. Seite 8
Können meine Tests eine angemessene
Testdauer erreichen? http://www.convert.com/tools/ab-split-multivariate-test-duration-visitor-calculator/
Testdauer hängt ab von:
• Anzahl an Conversions
• Anzahl an Varianten
• Höhe der Conversion-
Veränderung zwischen
Control und Variante

8. Seite 9
Testablauf
Ziel(e)
Strategie
Roadmap
AnalyseDaten

9. Seite 10
Quantitativ & Qualitativ
Webanalyse
Mouse-/Klick-/Eye-Tracking Heatmap
Umfragen
Usability Tests (Remote, User Lab)
Feedback aus Kundengesprächen
(zB. Call-Center, Verkauf,…)
1. Daten sammeln
2. Daten analysieren
3. Optimierungsbereiche
aufdecken
4. Testhypothesen generieren
…
Mehr Analysen liefern mehr Erkenntnisse.
Funnel-Analyse
Content-Analyse
Verhaltensfluss Analysen
UmfragenTraffic Analyse
Heatmaps

10. Seite 11
Ergänzende und alternative Analyse Methode
Remote Usability Test als
qualitative Analyse Methode:
Verstehen WARUM der User
eine bestimmte Aktion nicht
ausführt.
• Methodik zur Generierung weiterer Testhypothesen
• Alternative für Sites mit zu wenig Conversions

11. Seite 12
Roadmap erstellen & pflegen
Analyse
Testhypothese und Ziele
definieren
Potential
einschätzen
Status,
Rahmen-
bedingungen,
Outcome
festhalten

12. Seite 13
Testablauf
Konzeption
Ziele
Strategie
Roadmap
AnalyseDaten
Warum?
Was?
Wie?
Wo?
Wann?
Wer?
Techn. Requirements?

13. Seite 14
Generierung von Testhypothesen
Eine Darstellung nebeneinander führt zu einer
besseren Sichtbarkeit beider Angebot bietet eine
bessere Vergleichsmöglichkeit beider Angebote für den
User. Das bietet dem User eine bessere Orientierung
und führt daher zu einer erhöhten Kauf-Rate.
Test-Hypothese:
Eine Darstellung des Angebotes untereinander
folgt dem natürlichen Lesefluss (links nach rechts,
nächste Zeile) und verschafft dem User eine
besseren Überblick über das Angebot. Dies führt
zu einer erhöhten Kauf-Rate.
Test-Hypothese:
Variante A - Vertikal: Variante B - Horizontal:
Test-Hypothesen geben folgende Auskunft:
1. Was
2. führt warum
3. zu welchem Ziel.

14. Seite 15
Testing Blindness
B war besser.
Warum?
Immer nur 1 Element in 1 Variante testen!
Jetzt buchen! Heute buchen!vs.
Variante A Variante B

15. Seite 17
Testablauf
Konzeption
Setup
Ziele
Strategie
Roadmap
AnalyseDaten

16. Seite 18
Wie funktioniert‘s?
Test-Seite
Testvariante - B
Testing-Tool Code Snippet
Variante A - Vertikal:
Einmaliger Einbau des Basis-Codes. Kein CMS nötig.
Bei komplexen Tests ggf. individuelle Code-Erweiterung erforderlich.
Von Tool zu Tool anders -
bei zB. VWO & Optimizely so:
• Zufall welche Variante User sieht
• Lädt zu ersetzenden Inhalt nach
• Tauscht im Browser des Users die
Testelemente aus (in Millisekunden)

17. Seite 19
Testablauf
Konzeption
Setup
Ziele
Strategie
Roadmap
Analyse
Monitoring
Daten
• Keine Durchführung von Änderungen
auf den getesteten Seiten
• Original-Page und Traffic
(Kampagnen) stabil halten

18. Seite 20
Dateninterpretation: Signifikanz ≠ valide!
Je weniger Messwerte vorhanden sind, desto ungenauer sind die Ergebnisse.

19. Seite 22
Testablauf
Konzeption
Setup
Ziele
Strategie
Roadmap
Analyse
MonitoringAuswertung
Daten

20. Seite 23
Warum ist ein Reporting wichtig?
• Überlegungen, Learnings, Schwierigkeiten, etc. nicht im
Tool ersichtlich sind
• In-house über den Test informiert werden soll
• Oft sind keine Screenshots der Testseite im Tool
gespeichert  Bei einer Veränderung der Website
verändert sich die Vorschau mit.

21. Seite 24
Testergebnis

22. Seite 27
Insights durch Segmentierung generieren
• Nutzer können unterschiedlich auf
Optimierungsmaßnahmen reagieren.
• Neue vs. wiederkehrende Besucher
• Wochentage vs. Wochenenden
• Traffic-Kanäle (Medium, Quelle)
• Region
• Endgeräte: Desktop, Tablet, Mobile
• Warenkorbwert,…
Varianten für bestimmte User-Segmente ausspielen > Personalisierung

23. Seite 28
Testablauf
Konzeption
Setup
Ziele
Strategie
Roadmap
Analyse
MonitoringAuswertung
Daten
Fortlaufender Prozess zur Steigerung der Performance.

24. Seite 29
Der Start ins Testing…
- je nach Unternehmenskultur anders -
• Laufender Austausch mit
Projektteam & Stakeholdern
• Laufende Analysen
• Roadmap-Pflege
• Laufendes Testing
• Analysen durchführen
• Testhypothesen sammeln
& priorisieren
Ziel(e)
Stakeholder
ins Boot holen
Analyse
& Roadmap
Testingprozess
starten
Optimierungs-
prozess festlegen
• Analyse ob Testing
• Ziele definieren & priorisieren
• User Flow festhalten
• Wozu Conversion-Optimierung
• Inputs anderer Abteilungen einholen
• Kommunikation für Abstimmungen
& Austausch festlegen
• Umgang mit Einschränkungen &
Zielkonflikten
• Projektteam definieren
• Verantwortlichkeiten definieren
• Stakeholder ermitteln
• Einschränkungen ermitteln
• Testing Tool anhand definierter
Kriterien auswählen
• Analysen
• Konzeption
• Setup
• Monitoring
• Reporting &
Interpretation
Leben!

25. Seite 30
Fragen? Display
Advertising

26. www.e-dialog.at
+43-1-309 09 09
Guten Start ins
Testing!
www.e-dialog.at/newsletter

27. Seite 32