Seminar SS / WS 2014 Universität Kassel - Institut für Arbeitswissenschaft und Prozessmanagement FB Arbeits- und Organisationspsychologie

1. Der Ereignishorizont der
Software-Ergonomie
Claus Neugebauer (LA)
Universität Kassel - Institut für Arbeitswissenschaft und
Prozessmanagement
FG Arbeits- und Organisationspsychologie
Titel Veranstaltungsreihe:” Software-ergonomische
Herausforderungen in verteilten und virtuellen
Systemen”
Foliensatz 2

2. Virtual Reality
Die Evolution des UI
Virtuelle Realität
Definitionen
Augemented Reality
Mixed Reality
Immersion Flow
Cognitiv Absoprtion
Technology Adoption
("Acceptance") Model
WoW Gaming CAVE
"Elbe Dom"
Immersion und
Performanz Messung
Immersion Genug
Immersion?
Simulator Sickness
Stress bei
Drohnenpiloten

3. Die Evolution des “User Interface”
HH
D
CC WW
I
HH D CC WW
HH CC WWD CC WWHH
Direkte Manipulation Touchables/ Wearables
VR / AR BCI
AugmentedCognition

4. ●
Immersion
– “Immersion into virtual reality is a metaphoric use of the experience of submersion applied to representation,
fiction or simulation. Immersion can also be defined as the state of consciousness where a "visitor" (Maurice
Benayoun) or "immersant" (Char Davies)’s awareness of physical self is transformed by being surrounded in an
engrossing environment; often artificial, used for describing partial or complete suspension of disbelief enabling
action or reaction to stimulations encountered in a virtual or artistic environment.” (WIKIpedia, aufgerufen 2014)
●
Dimensionen von Immersion
– Tactile, strategic, narrative (E.W. Adams 2004)
– Senso-motoric, cognitive, emotional and spatial (vgl. S. Björk & J. Holopainen 2004)
– AIP Cube (Autonomy, Interaction, Presence) (vgl Zeltzer 1992)
●
Mit Immersion verwandte Begriffe
– Flow (Mihaly C. 1993)
– Cognitive Absorption (vgl. Agarwal 2000)
– Presence (vgl. Slater 1998), Presence ~ Eigenschaft des Benutzers, Immersion ~ Eigenschaft des technischen
Systems
Virtuelle Realität - Definitionen und Konzepte

5. Flow
Exkurs: Arousal is a physiological and psychological state of
being awake or reactive to stimuli. It involves the activation of
the reticular activating system in the brain stem, the
autonomic nervous system and the endocrine system, leading
to increased heart rate and blood pressure and a condition
of sensory alertness, mobility and readiness to respond.
(WIKIpedia 2014)
Dimension of Flow (Mihaly C. 2010f)
– Clear goals and immediate feedback
– Equilibrium between the level of challenge and personal skill
– Merging of action and awareness
– Focussed concentration
– Sense of potential control
– Loss of self-consciousness
– Time distortion
– Autotelic or self-rewarding experience
Vgl Yerkes-Dodson Law (1908)

7. Gaming
●
Empirische Studie zu “game usability heuristics” (H. Desuvire & C. Wiberg 2009)
– Drei verschiedene Game-Genre, Fragebogenaktion, n=54, abhängige T-Tests
●
Drei Kategorien mit jeweils 20 Unterkategorien
– I. Kategorie “Game Play”: a. Enduring play,Challenge, Strategy and Pace,
Consistency in Game World, Goals, Variety of Players and Game Styles, Players
Perception of Control
– II. Kategorie “Coolness/Entertainment/Humor/Emotional Immersion “: a.
Emotional Connection, Coolness/Entertainment, Humor, Immersion
– III. Kategorie: “Usability & Game Mechanics” : Documentation/Tutorial, Status and
Score, Game Provides Feedback, Terminology, Burden On Player, Screen Layout,
Navigation, Error Prevention, Game Story Immersion

8. Gaming
●
Schritte in “Designing a Game” ( T. Fullerton 2008)
– Conceptualization 2. Prototyping 3. Digital Prototyping, 4. Playtesting, 5. Functionality, Completeness, and
Balance, 6. Fun and Accessability
●
“Playtesting is the single most important activity adesigner engages in, and ironically, it is often the one
designers understand the least about.” (p. 267 ebd.)

9. CAVE (Cave Automatic Virtual Environment)
Mehrseiten-Projektionssystem mit folgenden Komponenten:
●
3 Seitenwände und eine Bodenprojektion mit je 2,3 Metern
Kantenlänge
●
Stereoskopische Darstellung
●
Trackingsystem
●
Seitenwände können aufgeklappt werden
Anwendungsgebiete
●
Schnelle Design-Reviews kleinerer Inhalte, wie
Maschinen, Innenarchitektur oder Montageabläufen
●
Individuelles Arbeitsinstrument für kleinere
Personengruppen.

10. Messung von Immersion / Presence
●
Several approaches of measuring Immersion, most of them are questionnaire based in
regards to measuring presence
– The „presence“ questionnaire from Witmer, B.G und Singer M.J. 1998 (Measuring
Presence in Virtual Environments: A Presence Questionnaire) is the most often used or
adapted
– One of the rare methodological studies from Usoh, M. 2000, comparing presence
questionnaires (incl. The Witmer and Singer questionnaire)
●
Typical usage of questionnaire in studies are
●
Measuring and defining the experience of immersion in games (Jennett C. et al.
2008)
●
The effects of immersion on visual attention and detection of signals performance
for virtual reality training systems (Shiau-Feng Lin et at 2011)
●
A study of the effects of virtual reality on the retention of training (Jacquet, C.R.
1993)

11. Wieviel Immersion ist genug? - Research in Progress
●
“A common assumption guiding research in virtual environments is that increased immersion (i.e.
technological affordances) permits improvements in performance or engagement, with this effect
mediated through user experience of 'presence'.” (J.J. Cummings et al. 2012)
●
Prinzipiell sollte gelten “...that a system is more likely to be immersive – or to shut out physical reality –
if it (1) offers high fidelity simulations through multiple sensory modalities,” J.J. Cummings et al ebd.)
●
Meta-Analyse bestehender Literatur
– Studien mit positiver Beziehung zwischen immersion und verschiedneen performance Maßen, z.B. search ability
(Pausch, Proffitt, & Williams, 1997), recall (Lin, Duh,Parker, Abi-Rached, & Furness, 2002), und spatial judgments
(Slater, Linakis, Usoh, & Kooper, 1996).
– Studien mit geringer oder keiner postivien Beziehung zwischen immersion und performance(e.g., Narayan et al.,
2005; McMahan, Gorton, Gresock, McConnell, & Bowman, 2006; Polys, Kim & Bowman, 2006).
●
Bowman and McMahan (2007) - “...multiple “immersion component” technologies independently
influence a variety of potential “immersion elemenis,” including presence, which in turn independently
influence application effectiveness and performance.”
●
Variablen
– Tracking level., Stereoskopic vision, Image quality, Field of View (FOV), sound quality, display type, update rate,
user perspective, overall high/low

12. Stress bei Drohnenpiloten
●
Studie von 2011 klagten 48% von 840 Drohnenpiloten (Global Hawk Drones) über
“High operational stress”
●
Studie des Armed Forces Surviellance Center (zitiert nach NY Times 23,02.2013)
– 1300 Drohnen weltweit m Einsatz. 2015 mehr Drohnenpiloten als Kampfpiloten
– Drohnenpiloten haben die gleiche Häufigkeit von psychischen Problem wie
Kampfpiloten in Irak und Afganistan u.U. Sogar höher (teilweise unklare Befundlage).
Dazu gehören Depressionen, Angsterkrankungen und PTSD
– Gründe gemäß der Studie
●
Traumatisierende Bilder von Gewalt und
Tod über Video
●
Isoliertes Arbeiten in unregelmäßigem
(“flexible”) Schichtsystem
●
Pilotenmangel

13. Augmented
Reality
Definitionen Display
Taxonomie Usability
Engineering in AR HCI
Prinzipien Google
Glass Funktionen
Interaktion und
Usability UI Patterns
Zukünfitige
Entwicklung ARVIKA

14. Augmented Reality - Definition und Konzepte
●
“Unter erweiterter Realität (auch englisch augmented reality, kurz AR) versteht
man die computergestützte Erweiterung der Realitätswahrnehmung.”
(Wikipedia, aufgerufen 2014)
●
R.J. Azuma (1997) “...VAR as systems that have the following three
characteristics
– Combines real and virtual
– Interactive in real time
– Registered in 3-D”
●
Perspektiven auf AR
– AR als Gegenstand der Software-Ergonomie
– Software-ergonomisches Hilfsmittel (“tools”)
– AR im Einsatz in der Psychologie

15. Usability Engineering in Augmented Reality
●
Hauptschritte Usability engineering für VR / AR (Gabbard & Swan 2008)
– User task analysis
– Expert guidelines-based evaluation
– Formative user-centered evaluation
– Summative comparative evaluations
– “While similar methodologies have been applied to
traditional (GUI-based) computer systems, this
methodology is novel because we specifically designed
it for and applied it to VEs, and it leverages a set of heuristic
guidelines specifically designed for Ves.”
M. Billinghurst et
al. 2013

16. Usability Engineering in Augmented Reality
●
HCI Prinzipien für AR (Billingshurst et al. 2007)
– Affordance
●
The concept of affordance [13, 28] suggests that there is an inherent connection between a user interface and
its functional and physical properties.
– Reducing cognitive overhead
– Low physical effort
– Learnability
– User satisfaction
– Flexibility in use
– Responsiveness and feedback
– Error tolerance
●
“....Swan and Gabbard [2008] analysed 266 AR related publications from 1998-2004
and found that only 38 of those (14%) addressed some aspect of HCI, while just 21 had
any formal user-based experiments...” (Billinghurst et al. , ebd, vgl Product life cycle!)

17. Augmented Reality - Google GlASS
Kamera
Touch
Pad
Projektor
Prisma
(Display)
Batterie
CPU
Laut-
sprecher

18. Augmented Reality - Google GlASS Funktionen
●
Funktionen (heute 2013)
– Uhr
– Kamera (sprachgesteuert)
– Video (sprachgesteuert)
– Echtzeit sharing
– Navigation
– Instant messaging
– Augemented reality
– Translation (von Sprache)
– Predictive ssistenance (“context aware”)
●
Design Principles
– Dont get in the way
– Keep it relevant
– Avoid the Unexpected
– Build for people (“Fire and forget”)

19. Augmented Reality - Google GLASS Usability
Interface
– Timeline (“The timeline controls most of the user
experience. ...virtual timeline that is comprised of 640 ×
360 pixel cards”)
– Live Cards
– Static Cards
– Immersions
– Menus
– Input

20. Augmented Reality - Google GLASS Zukunft
●
Google Patente im Zusammengang mit Google Glass
– “In accordance with example embodiments, hand gestures can be used to
provide user input to a wearable computing device, and in particular to
identify, signify, or otherwise indicate what may be considered or classified
as important or worthy of attention or notice. A wearable computing
device, which could include a head-mounted display (HMD) and a video
camera, may recognize known hand gestures and carry out particular
actions in response. Particular hand gestures could be used for selecting
portions of a field of view of the HMD, and generating images from the
selected portions. The HMD could then transmit the generated images to
one or more applications in a network server communicatively connected
with the HMD, including a server or server system hosting a social
networking service.” (Patent Abstract, 15.10 2013)
●
“Pinch to zoom”
●
“Crop”
●
“Heart shaped” gestures
– Like
– Save
– Share

21. Life Logging /
Quantified Self
Quantified Self
Konzepte Beispiele
Übersicht
Anwendungen
Biofeedback
Biofeedback-
Anwendungen

22. Life Logging / QS – Definition und Konzepte
●
“Lifelogging is the process of tracking personal data generated by our own behavioral
activities. ... Lifelogging tracks personal activity data like exercising, sleeping, and
eating. ...The Quantified Self movement takes the aspect of simply tracking the raw data
to try and draw correlations and ways to improve our lives from it.” (
http://lifestreamblog.com/lifelogging/ aufgerufen 2014)
●
“The Quantified Self is an international collaboration of users and makers of self-tracking
tools.” (http://quantifiedself.com/about/ aufgerufen 2014)
●
Beispiele
– Fitbit(Schrittzähler, Entfernung, Kalorienverbrauch, Schlafdauer und- Qualität)
– Withings Pulse (& Herzratenmonitor)
– Strava (Radfahren und Wandern)
– The Trace (skate-, snow- oder sufrboard – Geschwindigkeit, Entfernung, Sprundhöhe,
Kalorienverbrauch und mehr)
– Monthly cycles, MyCycles, iPeriod oder auch Spreadsheets
– http://www.getsaga.com/

23. Verwandte Konzepte - Biofeedback
●
“Mit dem Begriff Biofeedback (altgr. bios „Leben“ und engl. feedback „Rückmeldung“) wird eine Methodeβίος
bezeichnet, bei der Veränderungen von Zustandsgrößen biologischer Vorgänge, die der unmittelbaren
Sinneswahrnehmung nicht zugänglich sind, mit technischen (oft elektronischen) Hilfsmitteln beobachtbar, d. h. dem
eigenen Bewusstsein zugänglich gemacht werden.” (WIKIPEDIA, aufgerufen 2014) (vgl. Auch Neurofeedback)
●
Anwendungsgebiete (N. Birbaumer et al. Edts, 2011)
– Chronische Rückenschmerzen,
– Spannungskopfschmerzen und Migräne,
– essentielle Hypertonie
– Somatoforme Störungen
– Angststörungen
– Tinnitus
– Inkontinenz und Obstipation
– Asthma bronchiale
– Lähmungen
– ADHS
– Epilepsien
– Schlafstörungen
– Lock-in Syndrom

24. Augmented
Cognition
Die Evolution des UI II
Definitionen
Forschungsschwerpun
kte Augmented
Cognition in Training
und Ausbildung
Information
Exoskeleton Maße und
Indikatoren
Meßgenauigkeit

25. HH
Die Evolution des “User Interface”
SS
CC
D CC WWHH
Life Logging
AR +
D CC WWHH
SS
Augmented Cognition (“closed loop system”)

26. Augmented Cognition Forschungsschwerpunkte
●
Hauptschwerpunkte des Augmented Cognition Forschungsgebiets
(vgl. D.D. Schmorrow, Foundations of Augmented Cognition. 2013)
– Augmented Cognition in Training and Education*
– Team Cognition
– Cognitive Load, Stress and Fatigue*
– Brain Activity Measurement
– Understanding and Modeling Cognition
●
Augmented Cognition is stark durch den militärischen Bereich
getrieben, teilweise DARPA finanziert

27. Augmented Cognition in Training und
Ausbildung (2 /2 )
●
Beispiel “Bio-reckoning: Perceptual User Interface Design for Military Training” (T.
Griffith et al. 2013)
●
BRI – Bio-Reckoning Interface
– Brain-computer Interface Techniques
– Eye-Tracking
– Face recognition
●
Beispiel für erste Ansätze “Enhanced Dynamic Geo-Social Environment (EDGE)”
– “EDGE is a government owned architecture designed using AMSAA approved standards
(e.g., OneSAF) to provide highly accurate virtual simulations of military operational
environments utilizing state-of-the-art Multiplayer Online Gaming Bio-reckoning: Perceptual
User Interface Design for Military Training 37 (MOG) technologies.”

28. Augmented Cognition - Information
Exoskeleton (IE)
Beispiel “The Information Exoskeleton: Augmenting Human Interaction with
Information Systems” (J.P. Allen 2013)

29. Differentielle Sensibilität Physilogischer Meßgrößen
D.A. Kobus et al. (2007)

30. Brain Computer
Interface (BCI)
Bio-Computational
Engine II
Ereigniskorrelierte
Potentiale SEP SSEP
"Neurophone"
Definition und Aufbau
BCI "rubber hand"
Digital body "The
Ultimate Interface"
Aufgaben eines BCI
usability engineers
BCI illiteracy
Anwendungsgebiete
BCI

31. Bio-Computational Engine
Annahmen
●
Amplitudenmodulation ~ “Das ereignisskorrelierte
Potential ist also darauf zurückzuführen, dass
elektrische Generatoren in einer zeitlich
festgelegten Reihenfolge an- und ausgeschaltet
werden und somit positive oder negative Gipfel
hervorbringen”
●
Phasenmodulation ~ “Phasensynchronisation
verschiedener Rhythmen zustande kommt, die
durch das Ereignis ausgelöst wird.... lässt sie
(sich” durch Mittelung nicht eliminieren...”

32. Ereigniskorrelierte Potentiale
●
Ereignis vs. Reaktionsbezogene Potentiale
●
Beispiel VEP (SEP) Komponenten
– P1 / N1 (100ms)
●
P1 ~Aufmerksamkeitsreaktion
●
N1 Genauere Erfassung des Stimulus
– PN (“Processing Negativity”)
– MMN (“Mismatch Negativity”) nur bei akustschen Reizen)
●
“.... tritt sie nur auf Reize auf, die in irgendeiner Form vom erwarteten physikalischen Kontext abweichen, und zwar
auch dann, wenn diese Reize nicht beachtet werden”
– P3 – Maß für Dauer für Reizanalyse und Bewertung
●
Die Amplitude der P3 variiert mit der Häufigkeit des seltenen Reizes, je seltener, desto größer. Sie ist unabhängig
von der Modalität
– P3a – Orientierungsreaktion
●
“unbekannter Reiz (der) atomatisch Aufmerksamkeit auf sich zieht...”
– N400 - “...assoziiert mit einer enttäuschten Erwartung, die auf semantischem Priming beruht.”
●
“...Amplitude ist abhängig davon wie gut bzw. schlecht das Wort in den gegebenen Kontext passt, je geringer der
Zusammenhang, desto größer die N400.”

33. Einleitendes Beispiel – Das “Neurophone”
Schritt 1
Schritt 2
Schritt 3
Schritt 4

34. Brain Computer Interface
●
“Ein Brain-Computer-Interface (BCI), ...ist eine spezielle Mensch-Maschine-Schnittstelle,
die ohne Aktivierung des peripheren Nervensystems, wie z. B. die Nutzung der
Extremitäten, eine Verbindung zwischen dem Gehirn und einem Computer ermöglicht.”
(Wikipedia, aufgerufen 2014)
●
Der grundsätzliche Aufbau eines BCI's enthält (M. Slater et al 2010)
1. Preprozessor (artifact reduction electrooculogram (EOG) and electromyogram (EMG)), application
of signal processing methods, i.e., low-pass or high-pass filters, methods to remove the influence
of the line frequency, and, in the case of multi-channel data, the use of spatial filters (bipolar,
Laplacian, common average reference)
2. Musteranalyse (“featue extraction”) (“...find a suitable representation (signal features) of the
electrophysiological data that simplifies the subsequent classification or detection of specific brain
patterns” )
3. Klassifikation
4. Signalnehmer
5. Applikations Interface

35. Brain Computer Interface – The digital body
●
Ausgangspunkt “The Rubber Hand Illusion” (vgl. Botvinick & Cohen, 1999)
– s.a. body-ownership, multi-sensory integration, Neuroplastizität
●
Towards a digital body: the virtual arm illusion (M. Slater et al. 2008)
– “In this study we show that the illusion can be produced within an immersive virtual environment (VE), and provide subjective,
behavioural and physiological evidence for this.”
– Versuchsaufbau
●
(AV=EMG, Fragebogen)
●
Synchron vs asynchron
●
Die “rubber hand illusion” kann in einem VE nachgestellt werden, mit einem virtuellen Ball (!)
– Hoher (loglinearer) korrelativer Zusammenhang zwischen EMG Maßen und Fragenbogen bei Synchronität
– Kein Zusammenhang in der asynchronen Bedingung. Signifikanter Unterschied in den Fragebogenergebnissen ziwschen den
Bedingungen
– Vergleichbare Unterschiede für den “propriocentive drift”

36. Brain Computer Interface – Gegenwärtige und
zukünftige Anwendungsgebiete
●
BCIs for Assistive Technology
– Communication
●
Yes/No Communication
●
Spellers
●
Web Browsers
– Environmental Control
– Mobility
●
Wheelchair Control
●
Robotics
●
BCIs for Recreation
– Games
– Virtual Reality
– Creative Expression
●
Music
●
Visual Art
●
BCIs for Cognitive
Diagnostics and Augmented
Cognition
– Coma Detection
– Meditation Training
– Computational User
Experience
– Visual Image Classification
– Attention Monitoring
●
Rehabilitation and Prosthetics