Natürliche Benutzerschnittstellen (Natural User Interfaces, kurz NUI) stellen für viele Interface Designer nach der Ära der Kommandozeilenbedienung und grafischer Benutzeroberflächen eine neue Generation der Mensch-Computer Interaktion (Human-Computer Interaction, HCI) dar. Ist das nur Marketing-Geschwarfel und wo genau sollen die Unterschiede sein? Eine Konfliktanalyse. Links und Background Infos können gerne bei mir angefragt werden. Die Präsentation beinhaltet interaktive Elemente, die hier nicht abgebildet werden.

2. Don Norman, Cofounder Nielsen Norman group
http://www.jnd.org/dn.mss/natural_user_interfa.html
„Are natural user interfaces natural?
No. But they will be useful.“

3. Und jetzt alle mal lachen
und Matschkuchen backen
„Gestensteuerung liegt Menschen in den Genen“ behauptet der Kunstpädagoge
Prof. Georg Peez. Die Steuerungsgesten sind demnach angeboren und eine
direkte Verbindung zwischen Information und Gehirn.
Zum Leiden vieler Eltern lernen Babies beim Spiel mit Dreck Bewegungen, die
sie später dann exakt gleich bei ersten Zeichnungen einsetzen. Es sind die
selben Bewegungen, die auch bei der Gestensteuerung verwendet werden.
Gestensteuerung ist so gesehen vielleicht die natürlichste Steuerung der Welt.
Quelle: http://www.welt.de/gesundheit/psychologie/article125299880/Gestensteuerung-liegt-Menschen-in-den-Genen.html

4. Wege der Interaktion mit Maschinen

5. Vom Textadventure zum Streicheltelefon
Natürliche Benutzerschnittstellen (Natural User Interfaces, kurz NUI)
stellen für viele Interface Designer nach der Ära der Kommando-
zeilenbedienung und grafischer Benutzeroberflächen eine neue
Generation der Mensch-Computer Interaktion (Human-Computer
Interaction, HCI) dar.

6. Command-Line
Interfaces
Die erste Generation der HCI waren
Command-Line Interfaces (CLI).
› Monochrome Darstellungsfläche
› Benutzer interagiert durch vorgegebene Anzahl
von Textbefehlen an System und Dateien
› Hohes Wissen über Syntax notwendig, da strikte
Einhaltung unabdingbar, keine Fehlertoleranz
› Eingabe ausschließlich über Tastatur
↩

7. Grafische Benutzer-
schnittstellen (GUI)
Die zweite Generation der HCI sind die heute weit
verbreiteten grafischen Benutzerschnittstellen.
Grundprinzip der Interaktion ist WIMP (Windows,
Icons, Menüs und Pointer=Mauspfeil)
› Größeren Farbvielfalt (Farbe transportiert Infos,
Beispiel aktives Fenster, Primary Action)
› Darstellung über Metaphern vereinfacht Bedienung
(Desktopmetapher als Oberfläche, Fenster,
Symbole, Menüs)
› Maus erweitert Eingabemöglichkeiten
› Anwender interagiert über sogenannte Composite
Skills (Fertigkeiten, die sich in keinem anderen
Kontext wiederverwenden lassen und erlernt
werden müssen, bsp. rechter Mausklick)
› Gängige GUIs isolieren den Anwender von seiner
physischen und sozialen Umgebung in hohem Maße

8. Natural User Interfaces
(NUI)
Die dritte Generation der Benutzerschnittstellen,
die erst seit wenigen Jahren unter diesem Begriff
eine eigene Entwicklungsrichtung der Gestaltung
der HCI darstellt, sind Natural User Interfaces.
› Direkte Interaktion des Nutzers z.B. durch
Touchscreen, Sprache oder Gesten.
Interface wird teilweise unsichtbar
› NUI-Grundkonzept OCGM: Akronym für Objects,
Containers, Gestures und Manipulation
› Intuitive und natürliche Interaktion mit dem
Gerät, indem auf Fähigkeiten zurückgegriffen
wird, die der Nutzer bereits erlernt hat
1972:
PLATO IV Touch Screen Terminal
(Computer-based Education Research Laboratory,
University of Illinois, Urbana-Champain)

9. International NUI Group
http://wiki.nuigroup.com/Natural_User_Interface
Natural user interface, or NUI, is an emerging paradigm shift in
man machine interaction of computer interfaces to refer to a
user interface that is effectively invisible, or becomes invisible
with successive learned interactions, to its users. The word
natural is used because most computer interfaces use artificial
control devices whose operation has to be learned. A NUI relies
on a user being able to carry out relatively natural motions,
movements or gestures that they quickly discover control the
computer application or manipulate the on-screen content.
Focuses on traditional human abilities such as touch, vision,
speech, handwriting, motion and more importantly higher level
processes such as cognition, creativity and exploration.
Through its study to replicate real world environments and
thus situations utilizing emerging technological abilities and
sensing solutions which will allow for more accurate and
optimized interaction between physical and digital objects.
Zum jetzigen Zeitpunkt gibt es noch keine einheitliche, allgemein
anerkannte Definition, was unter einem NUI zu verstehen ist.
Definition NUI
„In computing, a natural user interface, or NUI, or Natural
Interface is the common parlance used by designers and
developers of human-machine interfaces to refer to a user
interface that is effectively invisible, and remains invisible
as the user continuously learns increasingly complex
interactions. The word natural is used because most
computer interfaces use artificial control devices whose
operation has to be learned.“
ENG Wikipedia
„NUI is the most powerful and most „natural“ when it
is multi modal.“ Nicole Mihali Microsoft Deutschland
Natural User Interfaces (NUI) oder „Reality Based
User Interfaces" ermöglichen dem Nutzer eine direkte
Interaktion mit der Bedienoberfläche durch Wischen,
Tippen, Berühren, Gesten oder Sprache.
Wikipedia DE, Dieser Artikel wurde wegen inhaltlicher
Mängel auf der Qualitätssicherungsseite der
Redaktion Informatik eingetragen.
“Natural user interfaces or NUIs rely on natural expressions
like touches and gestures to directly and intuitively control the
experience of a software application. The word “natural”
means that the interaction is not controlled through an
artificial device, like a mouse or keyboard. (I take this to imply
that a Nintendo Wii is not an example of a NUI, since there are
still artificial controllers involved. Other opinions and thoughts
on this are welcomed).”
http://blogs.msdn.com/b/enterprisesearch/archive/
2009/05/03/search-and-natural-user-interfaces-part-2.aspx

10. Direkte Manipulation
Anwendung von erlernten
Fähigkeiten des Nutzers
(“reuse of existing skills”, u.a.
Sprache, Schrift) zur
Interaktion
Nutzung der Sinne
(Berührung, sehen, hören)
zur Interaktion mit System
Abbildung des natürlichen
Nutzerverhaltens (Wasser,
Bäume, etc. nicht Umgang
mit Maschinen wie PKWs
oder Toaster) zur Interaktion
Gemeinsamkeiten
Unterschiede
Klaas Wilhelm Bollhoefer Richard Monson-Haefel
Quellen:
Blake, Joshua (2010): The Natural User Interface Revolution. In: Natural User Interfaces in .Net, 1. Auflage, Greenwich, USA: Manning Publications. Bollhoefer, Klaas Wilhelm; Meyer,
Kerstin & Witzsche, Rosina (2009): White Paper Microsoft Surface und das Natural User Interface ( NUI ), Berlin. Monson-Haefel, Richard (2010): NUI Defined. URL: http://
theclevermonkey.blogspot.com/2010/01/nui-defined.html.
Int
se
St
de
EnJoshua Blake

11. ›PROBLEM: Es gibt keine einheitliche
Position, was „natürlich“ bedeutet.
› Der Begriff NATÜRLICH ist im Allgemeinen sehr weitläufig und
unscharf (siehe natürlich vs. selbstverständlich).
› Eine erste Annäherung an die Bedeutung soll über den Begriff
INTUITIV erfolgen, welcher im Zusammenhang mit der MCI
häufig synonym verwendet wird. Es beschreibt „die
unmittelbare Erfassung des Wesens der Dinge“. Eisler 1904

12. › Der Fokus liegt auf dem interagierenden Menschen, nicht auf der
Technologie. “Who is doing what? Where? With whom? How?”
› Seine motorischen, kognitiven und sozialen Kapazitäten müssen
verstanden und einbezogen werden.
› Physische Manipulation, Gesten und Sprache sollen parallel eingesetzt
werden können. Multimodalitäten werden übereinander geschichtet.
› Verschiedene Geräte sollen untereinander kommunizieren und dem
Menschen eine möglichst natürliche Ausgabe liefern.
› Systeme sollen sich adaptiv verhalten und den Absichten des Nutzers
entsprechen. „Dieselbe Größe passt nicht jedem.“
› Eine nahtlose Interaktion soll möglich sein, ohne dass neue Komplexität
hinzugefügt wird.
Grundsätze für Gestaltung natürlicher
Benutzerschnittstellen
Definition nach Bill Buxton,
Forscher im „Xerox PARC“ und
an der Universität in Toronto,
wo er bereits 1985 eine
Publikation zu „Multitouch
Computing“ veröffentlichte.
Erhielt 2008 einen Preis für sein
Lebenswerk. Derzeit ist er
„Chefforscher“ bei Microsoft
Research

14. Gute NUIs…
1. sind intuitiv bedienbar
2. sind dynamisch-adaptiv, passen sich also dem Nutzer und
seinen Interessen an
3. unterstützen Multimedialität und Multimodalität
4. agieren nutzerzentriert
5. sind kooperativ und nicht nur interaktiv
6. geben ihren Nutzern unmittelbares und direktes Feedback
7. verhalten sich situativ-relevant und sind kontextsensitiv
8. erlauben unmittelbare direkte Interaktionen
9. sind intermedial, verknüpfen die reale mit der virtuellen Welt
10. unterstützen Multi-User-Verhalten
Zehn Wesensmerkmale
von guten NUIs nach Henseler
Problem:
Auch gute GUIs
zeichnen sich durch
diese Merkmale aus,
als Differenzierungs-
merkmale taugen
diese Eigenschaften
kaum

15. › Eine Metapher ist ein kognitives Modell, bei der ein Objekt in seiner
Bedeutung genutzt wird und zwar so, dass eine Beziehung der Ähnlichkeit
besteht.
› Sie unterliegt immer einer Limitierung, da sie auf etwas verweist, anstatt
es selbst zu sein. Sie ist also auch eine gedankliche Krücke, die uns zwar
hilft, aber uns auch begrenzt.
Über das angebliche Ende der Metapher
„A metaphor is a device
for seeing something in
terms of something else.
It brings out the thisness
of that or the thatness of
this.“ Burke (1945)
Problem: auch das
fotorealistische Abbild
eines Produktes ist
Metapher, Repräsentant
und Platzhalter für etwas
Greifbares.

16. › Das intuitivste Handlungsmodell von Menschen ist das so genannte OSIT-Modell.
› OSIT leitet sich aus der Physiologie des Menschen ab, es existiert weltweit und
gilt für jedes menschliche Individuum, egal ob jung oder alt und unabhängig vom
jeglichen Bildungs- und Entwicklungsstand.
› Jeder von uns nutzt dieses archaische mentale Modell tausende Male am Tag,
ohne dass die meisten von uns je darüber nachgedacht haben, dass sie es nutzen
– es ist eben intuitiv (Laden, Bushaltestelle, Tankstelle, Wandern).
Das OSIT Modell - natürliches
Handlungsschema aller Menschen

17. Scheiß Beispiel:
Das OSIT Modell in
der Anwendung bei
HD+ (Screenshot)
-Keine Orientierung
-Keine Infos wonach
diese Kisten denn
nun sortiert sind
IST DAS DER
RICHTIGE RECEIVER
FÜR MICH?
http://www.hd-plus.de/#/alles-ueber-hd-plus/produktfinder

18. http://www.patisserie.de
Aufgabe: Finde den gefüllten Bratapfel in 2 Minuten. Los!

19. GUI vs. NUI

20. ›Texteingabe via Touchdisplay
Wer tippt gerne einen längeren Text auf dem iPad?
Das Problem ist das fehlende haptische Feedback
und der Umstand, dass die Tastatur die Hälfte des
Bildschirms füllt.
› Ein elektrostatisches Feld auf dem Display
(Feelscreens mit Tixel) könnte Ersteres immerhin
in absehbarer Zeit beheben.

21. ›OK Google
Sprachbefehle erfassen ist momentan noch recht
unzuverlässig und funktioniert oft nur in ruhiger
Umgebung und mit klarer Aussprache.
› Zudem ist Sprache an vielen Ort eine wenig willkomme
Form der Kommunikation, siehe Bibliothek, öffentliche
Verkehrsmittel oder das Quatschen im Supermarkt.

22. ›Versteckspiel
› Auswahl und Ausführung (bei Finger- und Körper-
gesten): Auch aus Platzgründen werden Elemente, die
nicht unmittelbar benötigt werden, gerne versteckt und
tauchen erst bei direktem Bedarf auf.
› Sichtbarkeit ist aber ein wichtiger Faktor beim
Gestalten von Interfaces, Interaktionsmöglichkeiten
können sonst leicht übersehen werden. Die Wege zu
Funktionen werden zudem deutlich länger.

23. ›Shortcuts und Copy & Paste
Ohne Frage sind Geräte wie das iPad zum
Schreiben ungeeignet. Ein Grund dafür ist die
derzeit noch ungemein umständliche
Fummelei bis sich ein Textblock von einer
Stelle zu einer anderen fügt. Mit Force Touch
ließe sich dieses Problem evtl. beheben.
› Aber auch das Fehlen von Shortcuts
erschweren das Arbeiten mit Touchgeräten:
verfügbare Funktionen ohne Geste müssen
abgebildet werden.
Apples Patentantrag 111164 beschreibt
ein flexibles Display mit taktilen Elementen

24. Nette Geste
› Nicht alle Gesten sind natürlich, komplexere Gesten müssen
gelernt werden und wirken wie das Greifen in die Luft recht
unnatürlich („Geistergestik“, Ralf Kienzler, 2015).
› Gesten werden in verschiedenen Kulturkreisen tlw.
unterschiedlich gedeutet. Nicht alle Menschen verstehen
unter kopfschütteln „nein“ und nicken „ja“.
› Gesten müssen standardisiert werden, damit wir sie auf
vielen Geräten intuitiv verwenden können. Standards sind
manchmal wichtiger als Usability und Optimierung, denkt
hier beispielsweise an Tastaturen.
› Mangelndes Feedback: Da Gesten „vergänglich“ sind, ist oft
unklar, ob ein Befehl richtig erfasst wurde oder warum etwas
nicht funktioniert hat (Trial & Error).

25. ›No gorilla arm
„Humans weren’t meant to do many tasks with hands
up in front of their bodies for long periods of time.
Sorry Minority Report.“
› Dan Saffer, Creative Director Jawbone

26. ›Und hier noch ein paar Kuriositäten
›Beispiel zu realistische Simulation: wii Kegeln. Hier
war die Steuerung zu natürlich. Ein Armband musste
den Nutzer davor schützen, das Spielgerät auf den
eigenen Fernsehen zu werfen.
›Touch-Geräte sind inzwischen so angenommen, dass
Menschen beginnen veraltete Geräte wie noch viele
Fahrkartenautomaten ohne Touch-Displays mit
Gesten bedienen zu wollen.
›Kinder, die versuchen, den Fisch im Aquarium zu
vergrößern, indem sie auf der Scheibe zwei Finger
auseinanderziehen.

27. Einsatzorte: Gute NUI Beispiele

28. ›Programmsteuerung
per Eye Tracking
EyeSeeMed von ESINOMED
ermöglicht hand- und
sprachfreien Zugriff auf
Daten während Operationen

29. ›GoCam
Die Selfie-Kamera "GoCam feat aBubbl"
steuern Sie einfach per Geste. Am iPhone und
iPad gelingen damit verrekungsfreie
Selbstportraits.

30. ›MSN Kochen & Genuss App
Die Anwendung ermöglicht das Aktivieren
des Freihand-Modus, so dass der Nutzer nur
mit einer Handbewegung die Seiten des
Kochbuchs wenden kann und das Display
nicht verschmiert.

31. Kinect for Windows Retail Clothing Scenario Video

32. › Der nächste Schritt: Internet der Dinge (IoT)
› Direkte Vernetzung von Gegenständen. Das
Interface tritt mehr und mehr in den
Hintergrund. Interaktion findet direkt mit dem
Gegenstand direkt statt.

33. › Kissen und Kollegen
› Each person has a wristband they wear to bed
at night and a small speaker which you place
inside your pillow case. The wristband picks up
your realtime heartbeat and transmits it via
smartphone app to the other person's pillow.
Placing your head on your own pillow enables
you to hear the realtime heartbeat of your
loved one. The result is an intimate interaction
between two lovers, regardless of the distance
between them.

34. Vielen Dank
für das Interesse und eure Aufmerksamkeit!
In Basecamp findet sich eine Sammlung mit nützlichen Links zum Thema.

35. ›
One last thing…

36. ›Breaking News zu Enrico Herzog
Herr Herzog wurde aufgrund eines schlechten
Aprilscherz vorläufig festgenommen und
steht momentan für NUI Fragen nicht zur
Verfügung.