Die über Jahrzehnte etablierte Interaktion mit Computern über Tastatur und Maus ist im Umbruch und die Bedienung über Sprache und Gesten ist der neue Trend. Während sich diese natürlicheren Interaktionsformen (die daher auch als Natural User Interface bezeichnet werden) bereits im täglichen Gebrauch auf Smarphones und Tablets, in Infotainmentsystemen im Auto und beim Spielen (Xbox Kinect) bereits weite Verbreitung gefunden haben, wurde das Potential solcher Interaktionsformen für das eLearning bei weitem noch nicht ausgeschöpft. So gibt es zahlreiche Arbeiten, bei denen untersucht wurde, wie sich die Bedienung über Touch (also die zweidimensionale Gesteneingabe mit „unmittelbarer“ Interaktion mit den virtuellen Inhalten) im Vergleich zur Bedienung durch Tastatur und Maus auf den Lernprozess auswirkt. Hierbei wurde aber „nur“ die Interaktion mit der Lernumgebung verändert, aber nicht der Lernprozess selbst. Jedoch ermöglichen sensorbasierte Natural User Interfaces genau dieses: sei es beim Erlernen von Tanzbewegungen oder krankengymnastischen Übungen durch Beobachtung und Analyse der ausgeführten Bewegung; beim Spielenerlernen eines Musikinstrumentes durch die „intelligente“ Auswertung des Audiosignals oder beim Erlernen der richtigen Schreibweise, indem der Schreibstift vibriert, wenn ein Wort falsch geschrieben wurde.

1. Prof. Dr. Matthias Wölfel
Neue Chancen im eLearning
durch Natural User Interfaces
HERBSTIMPULSE 2013

2. Jeden Tag …
 verwenden wir Tools und Geräte, die anhand der technischen
Einschränkungen entworfen wurden.
HEUTIGE INTERFACE
2
Wir haben uns an die Maus-Tastatur Interaktion gewöhnt ...
Wir haben uns an 2D windowsbasierte Schnittstellen gewöhnt ...
Wir haben uns an einen nicht-intuitiven Workflow gewöhnt …

3. Daher …
 haben wir — die Nutzer — über Jahrzehnte unsere Gewohnheiten,
Handlungen und Denkweise an die Technologie angepasst.
HEUTIGE INTERFACE
3
Wir haben uns an immer komplexere Werkzeuge gewöhnt ...
die immer schwerer zu bedienen wurden ...

4. Sensitive Oberflächen Bildverarbeitung Audioverarbeitung
4
Die Lösung …
 sind Interfaces, die für die Belange der Nutzer, bzw. des Lernenden,
entworfen werden und nicht für einen technischen Selbstzweck.
NATURAL USER INTERFACE

5. Sensitive Oberflächen Bildverarbeitung Audioverarbeitung
5
WELCHE CHANCEN ERGEBEN SICH
HIERDURCH FÜR DAS ELEARNING?

6. DIE MÖGLICHKEITEN WERDEN VIELSEITIGER
6

7. Hierdurch entstehen neue Varianten im eLearning:
7
DIE MÖGLICHKEITEN WERDEN VIELSEITIGER
 Mobile Learning
 Ubiquitous Learning
 Pervasive Learning
 Gesture-Based Learning

8. 8
Definition
 Werden Gesten, bzw. Bewegungsabläufe, zum Zweck des Lernens
eingesetzt, spricht man von Gesture-Based Learning, also zu Deutsch
vom gestenbasierten Lernen.
 In Anlehnung an den Begriff Gesture-Based Computing.
GESTURE-BASED LEARNING
Hinweis
 Das volle Potential des Gesture-Based Learning wird heute jedoch bei
weitem noch nicht ausgeschöpft:
 so werden oft die traditionellen Interaktionsparadigmen wie Zeigen
und Auswählen, die auch bei der Maus zum Einsatz kommen, nur auf
die neue Eingabeform übertragen
 die Konzepte bleiben unverändert
 Die Kunst ist es, die Spezifität eines jeden Mediums auszuschöpfen.

9. Gesture-Based-Learning
WISSEN ÜBER DEN LERNENDEN
9
Buch/Video Interaktive Lernsoftware
 keine Wahrnehmung
des Lernfortschritts
 kein Wissen über
den Lernenden
 starre Inhalte
 kaum Wahrnehmung
des Lernfortschritts
 gutes Wissen über
den Lernenden
 teilw. flexible Inhalte
 Bedienung und
Anwendung sind
unterschiedlich
 gute Wahrnehmung
des Lernfortschritts
 gutes Wissen über
den Lernenden
 flexible Inhalte
 nahtlos Integration
der Bedienung in die
Anwendung

10. Buch/Video Gesture-Based-Learning
LERNPROZESS
10
Interaktive Lernsoftware
Start
Ziel
Start
Ziel
Start
Ziel
 explorativ
 ohne Feedback
 hoher Zeitaufwand
 gesteuert
 geringes Feedback
 mittlerer
 geregelt
 direktes Feedback
 geringer

11. 11
BEDEUTUNG DES INTERFACES BEIM LERNEN
Über das Interface ...
 wird der Programablauf gesteuert
 entdeckt der Lernende den Inhalt
 haben die Lernenden Spaß mit den Inhalten
 wird eine höhere Relevanz für den Lernenden gefördert
 bekommt der Lernende relevantes Feedback

12. 12
Hier sollte u.a. beachtet werden:
INTERFACE & BEDIENUNG
Hinweis
 Ohne eine gute User Experience wird eine Anwendung vom Benutzer
nicht akzeptiert.
 Somit ist, neben der Didaktik, das Interface und die Bedienung für den
Erfolg oder Nichterfolg einer Lernanwendung entscheidend.
 Präzision des Eingabegerätes
 Anzahl der parallel erkennbaren Merkmale und separierbaren Ereignisse
 mögliche Zustände (z.B. hover)
 Verdeckung der Information durch Bedienung
 Leichtigkeit des Erlernens des neuen Bedienkonzeptes
 Fähigkeiten des Lernenden
 körperliche Besonderheiten

13. Interfaces sollen ...
13
1. intuitiv bedienbar sein
2. adaptiv sein, sich also dem Nutzer anpassen
3. Multimedialität und Multimodalität unterstützen
4. nutzerzentriert agieren
5. kooperativ, nicht nur interaktiv, sein
6. sich kontextsensitiv verhalten
7. ihren Nutzern unmittelbares und direktes Feedback geben
8. die reale mit der virtuellen Welt verbinden
Anwendung Zutreffende Punkte
Buch/Video 1 3
Interaktive Lernsoftware 2 3 4 5 6 7
Gesture-Based Learning 1 2 3 4 5 6 7 8
INTERFACE & BEDIENUNG

14. GESTURE-BASED LEARNING
Beispiele

15. 15
Zum Gesture-Based Learning
INTEGRATION IN GEGENSTÄNDE
 Durch die Integration von Sensorik und deren intelligenter Weiterverarbeitung
können Gegenstände in die natürliche Lernumgebung eingebunden werden.
 Hierdurch entfällt ein Wechsel zwischen dem Lernprozess und der Interaktion mit
der Anwendung.
Lernstift: Richtig schreiben lernen Tiptoi: interaktives Lernspiel

16. SENSITIVE OBERFLÄCHEN
16
Zum Gesture-Based Learning
 Vorteile von Tabletts gegenüber Büchern (laut Apple):
 Aktualisierung der Inhalte
 Animation und Interaktion
 Anmerkungen können leichter
gemacht und genutzt werden
 Bücher sind zu schwer
 Vorteile von Multi-Touch Tischen:
 Kooperation mehrerer
Lernender

17. AUDIOVERARBEITUNG
17
Zum Gesture-Based Learning
 Beispiel: Lernen von Musikinstrumenten
 Anhand des Audiosignals ist
es möglich,
 die gespielten Töne
zu erkennen und zu
beurteilen
 eine Steuerung über
das Musikinstrument zu
realisieren
 nachgespielte Songs zu
analysieren

18. WAS BEDEUTET DIES FÜR DAS ELEARNING?BILDVERARBEITUNG
18
Intuitives Interface ohne „Controller“
 Die Ablenkung des Lehrenden kann bei der Steuerung der Medientechnik
reduziert werden.
 Eine natürlichere Schnittstelle kann zwischen Lehrsoftware und
Lernendem realisiert werden.
Analyse der Aufmerksamkeit
 Die Aufmerksamkeit und das Interesse der lernenden Person an den
präsentierten Inhalten kann erkannt und protokoliert werden.
 Bei geringer Aufmerksamkeit können entweder die Inhalte oder die
Präsentationsform angepasst werden.
Motorisches Lernen
 Durch die zur Verfügung stehende Sensorinformation des Kinect-Sensors
kann die Bewegung einer Person erkannt, analysiert und korrigiert
werden.

19. WAS BEDEUTET DIES FÜR DAS ELEARNING?MOTORISCHES LERNEN
19
Regelkreis-Modell des motorischen Lernens
Demonstratio
n
Vorstellung Ausführung
Lernender
Nur Eigenwahrnehmung
 Ohne die Beobachtung eines Außenstehenden muss sich der Lernende
auf die Selbst- bzw. Eigenwahrnehmung verlassen.
 Die Eigenwahrnehmung einer Bewegung kann stark von der tatsächlich
ausgeführten Bewegung abweichen.
Wahrnehmung

20. Sensor
WAS BEDEUTET DIES FÜR DAS ELEARNING?MOTORISCHES LERNEN
20
Regelkreis-Modell des motorischen Lernens
Demonstratio
n
Vorstellung Ausführung
Beobachtung
Lernender
Beobachtung
 Erst durch Fremdwahrnehmung und Feedback kann eine Bewegung
richtig und schnell gelernt werden.
Feedback
Fremdwahrnehmung
Wahrnehmung

21. 21
Lernen durch Spielen
GAME-BASED-LEARNING
 Hier gibt es Spiele,
 die gezielt zum Zweck des Lernens entwickelt wurden
 die nur zur Unterhaltung gedacht sind, aber trotzdem bestimmte
Fähigkeiten trainieren.
Fitness Serious GamesTanzspiele

22. 22
Lernen von Bewegungsabläufen in der Krankengymnastik
VIRTUELLE TRAININGSUMGEBUNG

23. 23
Überwinden von Höhenangst und Trainieren des Gleichgewichtssinns
VIRTUELLE TRAININGSUMGEBUNG

24. Toolkit zum Erfassen von Bewegungen
24
 Ermöglicht einfachen und intuitiven Zugang zu
Gestenerkennungstechnologie:
 Bewegungen aufnehmen
 Bewegungen automatisch klassifizieren
 Bewegungen automatisch analysieren
KINETIC SPACE
Klassifikation von Bewegungen Analyse von Bewegungen

25. 25
Gesture-Based Learning
FAZIT
 Werden die Möglichkeiten richtig genutzt, so ist eine wesentlich bessere
Integration in die natürliche Umgebung und Gegenstände möglich.
 Es gibt keine unnötige Ablenkung durch den Wechsel zwischen Übung,
Information und Feedback, sondern es existiert ein einheitliches Konzept.
 Gestenbasierte Technologie ist ein eigenständiges Lernmedium, welches
über die bisherigen Möglichkeiten des interaktiven Lernens hinausgeht.
 Dies erfordert aber, dass
 das didaktische Konzept angepasst wird
 die Möglichkeiten der Gestenerkennung nicht ausschließlich zur
Interaktion mit dem Interface und zum Browsen durch Lerninhalte
genutzt werden.

26. 26
WEITERE INFORMATIONEN
 Publikation im JAHRBUCH
eLearning & Wissens-
management 2014

27. VIELEN DANK!
27
“Any sufficiently
advanced technology is
indisting-uishable from
magic.”
– Arthur C. Clarke