Usability Benchmark und Aktivitäts-Analyse mit Eye Tracking von Mobile Augmented Reality unterstützten Ernährungsempfehlungen
•
1 j'aime•2,988 vues
Diplomarbeitspräsentation, Technische Universität Graz, Oktober 2015
Recommandé
Contenu connexe
En vedette
En vedette (20)
Similaire à Usability Benchmark und Aktivitäts-Analyse mit Eye Tracking von Mobile Augmented Reality unterstützten Ernährungsempfehlungen
Similaire à Usability Benchmark und Aktivitäts-Analyse mit Eye Tracking von Mobile Augmented Reality unterstützten Ernährungsempfehlungen (20)
Plus de Educational Technology
Plus de Educational Technology (20)
Usability Benchmark und Aktivitäts-Analyse mit Eye Tracking von Mobile Augmented Reality unterstützten Ernährungsempfehlungen
- 1. 1 W I S S E N T E C H N I K L E I D E N S C H A F T Usability Benchmark und Aktivitäts- Analyse mit Eye Tracking von Mobile Augmented Reality unterstützten Ernährungsempfehlungen Diplomarbeitspräsentation, 08.10.2015 Betreuer: Univ.-Doz. DI Dr.techn. Martin Ebner, IICM Verena Rexeis Diplomarbeit in einer Kooperation mit JOANNEUM RESEARCH Digital, DI Dr. Lucas Paletta
- 2. 22 Inhalt • Einleitung • Usability-Test, Eye Tracking, 7 Stages of Action • Forschungsfrage • App „MANGO“ • Studiendesign • Auswertung • Ergebnisse • Ausblick 08.10.2015 Verena Rexeis
- 3. 33 Usability-Test (1) Usability, dt. Gebrauchstauglichkeit • …Ziele effektiv, effizient und zufriedenstellend erreichen (DIN EN ISO 9241-11) • System muss erlernbar, einprägsam und fehlerfrei sein (Nielsen, 1993) User Experience 08.10.2015 Verena Rexeis Bildquelle: nach Sarodnick et al. (2011, S. 22)
- 4. 44 Usability-Test (2) • Teil des Usability Engineering Lifecycle • repräsentative Testpersonen • verwenden fertig entwickelte Systeme • Messungen und Beobachtungen • zB Formale Experimente, Fragebögen, Thinking-Aloud-Tests, Benutzungsstudien,… 08.10.2015 Verena Rexeis
- 5. 55 Eye Tracking • Aufzeichnung Augenbewegungen • Fixationen -> Aufmerksamkeit (Holmqvist et al., 2011) • Sakkaden – Bewegungen zwischen Fixationen • Head Mounted Displays (zB Eye Tracking Glasses) • infrarote Lichtquellen • Reflexionen auf Hornhaut • Messung videobasiert • Augen- und Szenen-Kamera 08.10.2015 Verena Rexeis Bildquelle: vgl. Santner et al. (2013)
- 6. 66 Seven Stages of Action (1) 08.10.2015 Verena Rexeis Bildquelle:nachNorman(2013,S.39) ZIEL WELT bzw. SYSTEM Wie bearbeite ich es? Was kann ich machen? Was ist passiert? Ist es das, was ich wollte? KLUFTDERDURCHFÜHRUNG KLUFTDEREVALUATION
- 7. 77 Seven Stages of Action (2) 08.10.2015 Verena Rexeis Bildquelle:nachNorman(2013,S.41) ZIEL WELT bzw. SYSTEM KLUFTDERDURCHFÜHRUNG KLUFTDEREVALUATION INTERPRETIEREN WAHRNEHMEN VERGLEICHEN SPEZIFIZIEREN AUSFÜHREN PLANEN
- 8. 88 Forschungsfrage Können mit Usability Benchmark und Aktivitäts-Analyse durch Eye-Tracking-Unterstützung vertiefende Kenntnisse für die App-Entwicklung im Bereich Ernährungsempfehlung gewonnen werden? 08.10.2015 Verena Rexeis
- 9. 99 Testumgebung „MANGO“-App (1) „MANGO – Mobile Augmented Reality for Nutrition Guidance and Food Awareness“ • Ernährungsphilosophie „functional eating“ • automatische Lebensmittelerkennung • Betriebssystem Android; iOS dzt. nicht geplant 08.10.2015 Verena Rexeis Bildquellen: functionaleating.at
- 14. 1414 Studiendesign (1) 16 Testpersonen (8m, 8w) Vorbefragung inkl. functional eating Typenzuordnung Eye-Tracking-Teil: • Szenarien • Aufgaben • Typenbeschreibung durchlesen • 3x Lebensmittel scannen • das beste der aufgebauten Lemis + • 3 wichtigsten Gemüsesorten nennen 08.10.2015 Verena Rexeis
- 15. 1515 Studiendesign (2) App-Bewertung • User Experience Questionnaire (UEQ) • System Usability Scale (SUS) • Wahrscheinlichkeit herunterladen & verwenden Checkliste zum Studienablauf Pre-Test mit 2 Personen 08.10.2015 Verena Rexeis
- 16. 1616 Auswertung – Benchmark (1) • 5 messbare Kernaufgaben (KA) • 11 Ziele zu KA • 3 Gesamt-Ziele • 80% erfüllte Kernaufgaben (Ziel 6) • User-Performance bei den Zielen 1a-3b, 4a, 5a 55% (Ziel 7) • SUS-Score von 80(%) (Ziel 8) 08.10.2015 Verena Rexeis zB KA 1 Auffinden der eigenen fe-Typenbeschreibung Ziel 1b 75% d. User schaffen KA1 innerhalb von 15 Sek.
- 17. 1717 Auswertung – Benchmark (2) Verwendete Metriken: • Zeiten • Wege zum Ziel • Bugs • richtige/falsche Scans • Antworten-Auswertung • SUS/UEQ-Auswertung Gesamtbeurteilung durch kombinierte Metriken 08.10.2015 Verena Rexeis
- 18. 1818 Auswertung – Aktivitäts-Analyse • Unterteilung von Aufg. 2 in Sieben Stages of Action • ergibt drei verschiedene Ziele • Kamera öffnen • Lebensmittel scannen • Detailinformationen aufrufen/nachlesen • Zuordnung zu Stages • Dauern der Stages • durchschnittliche Blickdauern [ms] • # der Fixationen • Fixationen/Sekunde 08.10.2015 Verena Rexeis
- 19. 1919 Ergebnisse – Benchmark (1) Zielvorgaben 08.10.2015 Verena Rexeis Erfüllungs-Quoten der Benchmark-Zielvorgaben n=15 Aufgabe 1 Aufgabe 2 Ziel 1a Ziel 1b Ziel 2a Ziel 2b Ziel 3a Ziel 3b Ziel 3c Ziel 3d Zielwert 90% 75% 90% 75% 75% 70% 55% 90% erreicht 73% 53% 47% 60% 47% 74% 33% 40% Aufgabe 3 Aufgabe 4 Gesamt-Ziele Ziel 4a Ziel 5a Ziel 5b Ziel 6 Ziel 7 Ziel 8 Zielwert 75% 50% 75% 80% 55% 80% erreicht 53% 13% 47% 73% 55% 80% Kernaufgaben
- 20. 2020 Testperson# DauerKA ErfolgreicheKA (von5) ErfüllteZiele (von8) #Abstürze SUS-Score Dauer KA Ziele Fehlerfreiheit SUS Mittelwert Mittelwertinkl. sechsUEQ-Skalen T01 58 4 4 0 90 50% 80% 50% 100% 90% 74% 77% T04 80 4 2 7 67,5 11% 80% 25% 0% 68% 37% 47% T05 87 4 1 6 85 0% 80% 13% 14% 85% 38% 60% Ergebnisse – Benchmark (3) Gesamt-User-Performance (Auszug) 08.10.2015 Verena Rexeis T09 68 4 4 1 50 32% 80% 50% 86% 50% 60% 57% T10 29 2 4 0 90 100% 40% 50% 100% 90% 76% 76% T12 32 5 8 2 90 94% 100% 100% 71% 90% 91% 89% T13 35 5 5 1 87,5 89% 100% 63% 86% 88% 85% 82% T15 40 3 4 0 67,5 80% 60% 50% 100% 68% 72% 75% Gesamt-Score (n=15) 66% 69% 90% Konfidenzintervall Bereich 7% 5%
- 21. 2121 Ergebnisse – App-Bewertung (1) UEQ (n=16) 08.10.2015 Verena Rexeis
- 22. 2222 Ergebnis – App-Bewertung (2) herunterladen & verwenden • vor der Benützung: • 𝑀𝑣 = 2,88 𝑆𝐷𝑣 = 1,5 • nach der Benützung: • 𝑀 𝑛 = 2,63 𝑆𝐷 𝑛 = 1,7 • männliche Testpersonen • vor: 𝑀 𝑚𝑣 = 2,75 nach: 𝑀 𝑚𝑛 = 1,88 • weibliche Testpersonen • vor: 𝑀 𝑤𝑣 = 3 nach: 𝑀 𝑤𝑛 = 3,38 08.10.2015 Verena Rexeis
- 23. 2323 Ergebnisse – Aktivitäts-Analyse • keine positive Entwicklung in Eye-Tracking-Daten mit fortschreitenden Scan-Versuchen • User-Verhalten durch Stages-Einteilung transparent • Auslöseversuche • innerhalb des Kamerabildes ohne Auswirkung • verlassen der App über Menüleiste 08.10.2015 Verena Rexeis
- 24. 2424 Ausblick Empfehlungen • Implementation Tutorial • Integration Feedback beim Scannen • Überarbeitung Aufbereitung Lebensmittel-Datenbank • Stabilitätsprobleme beheben • vergleichende Usability-Tests bzgl. des Benchmarks und der Gesamt-User-Performance 08.10.2015 Verena Rexeis
- 25. 2525 Quellen Andrews, Keith (2015). „Human–Computer Interaction“ Lecture Notes. URL: http://courses.iicm.tugraz.at/hci/hci.pdf (besucht am 7.10.2015) DIN EN ISO 9241-11 (1999). Ergonomische Anforderungen für Bürotätigkeiten mit Bildschirmgeräten - Teil 11: Anforderungen an die Gebrauchstauglichkeit; Leitsätze (ISO 9241-11:1998); Deutsche Fassung EN ISO 9241-11:1998; Ausgabedatum: 1999-01. Berlin: Beuth-Verlag Norman, Donald A. (2013). The Design of Everyday Things. Revised and Expanded Edition. United States: Basic Books. ISBN: 9780465050659 Santner, Katrin, Gerald Fritz, Lucas Paletta und Heinz Mayer (2013). „Visual recovery of saliency maps from human attention in 3D environments“. In: 2013 IEEE International Conference on Robotics and Automation. ICRA 2013. (Karlsruhe), S. 4297–4303. DOI: 10.1109/ICRA.2013.6631185 Sarodnick, Florian und Henning Brau (2011). Methoden der Usability Evaluation: Wissenschaftliche Grundlagen und praktische Anwendung. 2. Aufl. Huber: Wirtschaftspsychologie in Anwendung. Bern, Schweiz: Verlag Hans Huber. ISBN: 9783456848839 08.10.2015 Verena Rexeis
- 26. 26 W I S S E N T E C H N I K L E I D E N S C H A F T Vielen Dank für Ihre Aufmerksamkeit! Verena Rexeis v.rexeis@tugraz.at
- 27. 2727 Anhang Benchmark mit Ergebnissen (1) Aufg. 1 Lesen der eigenen fe-Typenbeschreibung KA 1 Auffinden der eigenen fe-Typenbeschreibung 100% Ziel 1a 90% d. User in KA1 wählen direkt fe im Hauptmenü aus 73% Ziel 1b 75% d. User schaffen KA1 innerhalb von 15 Sek. 53% Aufg. 2 3x Lebensmittel scannen ausprobieren und App kennenlernen KA 2 Kameramodus öffnen 100% Ziel 2a 90% d. User in KA2 wählen direkt Kamera im Hauptmenü aus 47% Ziel 2b 75% d. User schaffen KA2 innerhalb von 10 Sek. 60% 08.10.2015 Verena Rexeis KA 3 Drei oder mehr Lemi-Scans durchführen 87% Ziel 3a 75% d. User schaffen drei Scans innerhalb 1 Min. 47% Ziel 3b Mittel der richtigen Scan-Anteile/User mind. 70% 74% Ziel 3c 55% d. User haben ausschließlich richtige Scan Ergebnisse 33% Ziel 3d Kameramodus bei 90% d. User ohne Abstürze 40%
- 28. 2828 Anhang Benchmark mit Ergebnissen (2) 08.10.2015 Verena Rexeis Aufg. 3 Bestes Lemi in fe-Typ der aufgebauten Lemis finden KA 4 Bestes Lemi in fe-Typ der aufgebauten Lemis finden 67% Ziel 4a 75% d. User schaffen KA4 innerhalb von 2 Minuten 53% Aufg. 4 Wichtigsten drei Gemüsesorten in fe-Typ finden KA 5 Wichtigsten drei Gemüsesorten in fe-Typ finden 13% Ziel 5a 50% d. User schaffen KA5 innerhalb 1 Minute 13% Ziel 5b 75% d. User schaffen KA5 innerhalb 2 Minuten teilw. Richtig (zwei Lemis unabhängig von Platzierung genannt) 47% Gesamt-Ziele Ziel 6 80% der KA erfolgreich 73% Ziel 7 55% der Ziele 1a, 1b, 2a, 2b, 3a, 3b, 4a, 5b erfüllt 55% Ziel 8 SUS-Score von 80 80%
- 29. 2929 Testperson# DauerKA ErfolgreicheKA (von5) ErfüllteZiele (von8) #Abstürze SUS-Score Dauer KA Ziele Fehlerfreiheit SUS Mittelwert Mittelwertinkl. sechsUEQ-Skalen T01 58 4 4 0 90 50% 80% 50% 100% 90% 74% 77% T02 40 4 6 2 82,5 81% 80% 75% 71% 83% 78% 77% T03 54 4 7 2 90 56% 80% 88% 71% 90% 77% 74% T04 80 4 2 7 67,5 11% 80% 25% 0% 68% 37% 47% T05 87 4 1 6 85 0% 80% 13% 14% 85% 38% 60% T06 80 3 3 3 90 12% 60% 38% 57% 90% 51% 63% T07 49 4 6 1 77,5 65% 80% 75% 86% 78% 77% 68% Anhang Gesamt-User-Performance (1) 08.10.2015 Verena Rexeis
- 30. 3030 T09 68 4 4 1 50 32% 80% 50% 86% 50% 60% 57% T10 29 2 4 0 90 100% 40% 50% 100% 90% 76% 76% T11 85 3 2 4 90 3% 60% 25% 43% 90% 44% 64% T12 32 5 8 2 90 94% 100% 100% 71% 90% 91% 89% T13 35 5 5 1 87,5 89% 100% 63% 86% 88% 85% 82% T14 39 3 6 0 70 81% 60% 75% 100% 70% 77% 60% T15 40 3 4 0 67,5 80% 60% 50% 100% 68% 72% 75% T16 58 3 4 3 70 49% 60% 50% 57% 70% 57% 64% Gesamt-Score 66% 69% 90% Konfidenzintervall Bereich 7% 5% Anhang Gesamt-User-Performance (2) 08.10.2015 Verena Rexeis Testperson# DauerKA ErfolgreicheKA (von5) ErfüllteZiele (von8) #Abstürze SUS-Score Dauer KA Ziele Fehlerfreiheit SUS Mittelwert Mittelwertinkl. sechsUEQ-Skalen
- 32. 3232 Anhang Iterationen der SSA beim Scannen 08.10.2015 Verena Rexeis