Allan Jäke: Virtual & Augmented Reality: Neue Entertainment Experience mit dem Potenzial unseren Alltag zu verändern. User Expereince Roundtable Hamburg 3/2015 http://uxhh.de/roundtable/archiv/index.html#Mar15

1. Virtual & Augmented Reality - neue
Entertainment Experience
Allan Jäke
Usability / User Experience,
Konzeption, WebDev, Freelancer
UX-HH Management
Christian Graf

2. Vielen Dank an:
VR Brillen
Oliver Rösling
Prof. Dr. Frank Steinicke Rüdiger Höfert
Universität Hamburg Absolute Software
Andrej Pavlov
Cellular
Location

3. 2015
wird das Jahr der
Virtual Reality!

4. 3D Experience

5. AR? VR?
● augmented reality / mixed reality / enhanced
reality = AR
– Cam, Tracking, Software, Displays.
– z.B. Head-Up-Displays, Google Glass
– bisher oft einfache Grafik
● virtual reality = VR
– Software, Displays. (+ Tracking, + Cam)
– aufwändige Grafik

6. AR Anwendungen
● Unabhängige Informationen
– Uhr, Mails, IM
● Zusätzliche Info zu Motiv / Location
– Text (Beschreibung, Beschriftung)
– Bilder (Fotos, Röntgen)
– Karten / Navi, Zeichnungen
– 3D Modelle
– Werbung
● Texterkennung + Übersetzung
Video: 3D Wikitude ab 0:30

7. Ingress
● 'Google' AR Spiel
● Portale erobern
● 2 Parteien

8. VR Beispiele
● MB VR 360°

9. 3D VR früher
● Shutter Brillen (z.B. Nvidia)
– Schlechte Darstellung
● Polfilter Brillen
– Kino, TV
● Prismendisplays
Alle kein „SurroundView“
● Kein Surround Sound relativ zur Position

10. 3D VR Früher
Forte VFX1
● Head Mounted Display, Head Tracking
● 1994, 1800 DM
● 263x230 Pixel
:-((((((

11. 3D VR jetzt
● Bezahlbar! <400€
● hinreichende Technik
● Fantastisches Spieleerlebnis
● Viele andere Anwendungen
● Wenig Übelkeit (gute HW, bessere SW)
● Richtiges Team (s.u.)
● Viele Systeme + Wettbewerber
● Breite Unterstützung durch Entwickler +
Contentanbieter
http://www.heise.de/ct/artikel/Kommentar-Sechs-Gruende-warum-Virtual-Reality-ein-Erfolg-wird-2301190.html

12. Prognosen
● John Carmick: „Das wird größer als Doom“
● Spiegel.de „Digitale Revolution: Fünf Technologien, die
unseren Alltag verändern werden“
● Virtuelle Realität - diesmal wirklich
● „Wer einmal eine solche Brille aufgehabt hat, dessen
Zweifel verfliegen in der Regel im Nu.“
● „Unsere Prognose: Schon in wenigen Jahren wird man
im Zug oder im Flugzeug Menschen mit VR-Gerät am
Kopf statt mit Laptop oder Tablet als Filmabspieler
antreffen. Und es werden Unterhaltungsformate ent-
stehen, die wir uns noch gar nicht vorstellen können.“
Spiegel.de 14.02.15

13. Cyberspace
● Cyberspace bisher nur 2D.
– also 'Cyber-Papier'
● Tron, Matrix, eXistenZ, … 3D Cyberspace
Unreal Engine
für Oculus VR

14. Immersion
● aka 'Telepräsenz'
● Wahnehmung der eigenen Identität in der
virtuellen Welt oder Identifikation mit Avatar
● Story (guter Kinofilm)
● Interaktion
● Gestaltung (Photorealismus)
● Technische / physische Aspekte
● Als angenehmes Erlebnis

15. Optimale VR
Visuell:
● 2x 16.000 x 16.000 Pixel @ 120Hz
● Latenz <20 ms
● Eye Tracking
● Akustisch: (3D Sound) in Arbeit
● Tastsinn (Force Feedback),
Körperhaltung (millimetergenau), ...
● Intuitive / realistische Controller

16. Was haben wir jetzt / demnächst?
● Preisgünstige Komponenten:
● 4K Smartphone Displays
● Präzise Lagesensoren / Gyroskope
● Position-Tracking
● Ambitionierte Unternehmen: Oculus, Sony,
Microsoft, Spielehersteller, ...

17. Bisherige Lösungen
● Cave – Raum mit Beamer-Wänden (CAD, med)
● 3D Shutterbrillen (nVidia, professionell CAD)
● TV / Kino mit Polarisationsfilter Brillen
● 3D Displays, z.B. mit Prismen
● Projektion auf 3D Medium (Rotor)
●

18. Google Glass + Co
Sony Smart Eyeglass (800€ 03/15)
● Unterschied zu VR Displays:
● Einfache Displays
● Simple Apps
● Kein 3D / VR
● Minimales AR
● Sony mit Touch Computer
http://www.golem.de/news/smart-eyeglass-sonys-datenbrille-kommt-fuer-800-
euro-nach-deutschland-1502-112412.html
→ Video

19. Oculus Rift
● 2012 Palmer Luckey, Marc Andreessen
● Kickstarter 250k? → 2,5 Mio
● 2013 CTO John Carmack (Wolfenstein, Doom
Serie, private Raumfahrt, ...)
● DevKit 1 (1280x800 Pixelraster)
● DevKit 2 (1920x1080 OLED Samsung, 380€)
● Crecent Bay (75Hz, nearly final)
● Ca 20.000 DK1/2 + CB verkauft
● Final Ende 2015? (mind. 2560X1440)

20. Kommentare zur Oculus
● „Sieht sau gut aus.“
● „is Wahnsinn“ … „krass“ … „geil“
● „wow, ok! Is heiß“
● „Effekt ist phantastisch. Wie physikalisch.“
● Einigen Leuten wird schwindelig / übel.
● Bei Bewegungen fehlt physische
Beschleunigung.
● Steuerung per Joystick nicht optimal.

21. Oculus Rift Technik
● Gyrometer, Beschleunigungssensoren, Head-
Tracking (IR LED & Cam), 1000Hz Sampling
● 110°, gesamtes Gesichtsfeld (+ Linsen)
● Hohe Immersion → 'Holodeck!'
● High-End PC
● < Latenz
● Linsenverzerrung

22. Oculus Rift → Facebook
● 2 MILLIARDEN $ → Facebook
● Know-How, SDK, Spielehersteller
● Fotos&Videos auf FB nur 'ein Stück Erfahrung'
Mit VR ein 'vollständiges Bild' vermitteln.
Avatare? Second Life 2?
● Vorherrschaft über nächste digitale Plattform
● Langfristig, da sehr realistisch
(Zuckerberg geht über Loch, Planke)

23. Oculus Entwicklung
● Nimble VR übernommen
● Hand Tracking via IR Cams
● 3D Surround Sound auf
Kopfhörern
● 13 Lab 3D Scanner
● Präzise 3D Modelle der Welt
● Motion Capture Experten
Bild: Nimble VR

24. Virtuix Omni
● Mulde + Schuhe mit Gleitern
● Tracking
● Ca 500€, 2015
Bild: c´t / heise.de
Quelle / Galerie:
http://www.heise.de/newsticker/meldung/Virtual-Realit
y-Laufstall-Virtuix-Omni-sieht-daemlich-aus-funktioni
ert-aber-2515362.html
http://www.heise.de/ct/artikel/Ausprobiert-Virtual-Rea
lity-Laufstall-Virtuix-Omni-2526642.html

25. Sony Project Morpheus
● Seit 2009 (Playstation 3)
● Großes Potenzial, größter Oculus Konkurrent
● Playstation 4 als Basis
● LCD Full-HD (960x1080 / Auge)
● Positionstracking IR-LED
● Großes Spieleangebot
& Entwickler
● NDA, News im März, Game
Developer Conference

26. FOVE Brille
● Pupillen-Tracking via IR-Cams
● Lag <30ms, Hirn langsamer
● Könnte GPU Performance-Problem lösen
Bild: c´t / heise.de
Quelle / Galerie:
http://www.heise.de/newsticker/
meldung/CES-FOVE-die-Eye-
Tracking-VR-Brille-aus-dem-
Akihabara-Hackerspace-
2512531.html

27. Cardboard
● Google Open Source, PDF Bauplan
● Ca 4,7 – 5,5 Zoll Smartphones
● Full HD, schneller Prozessor + GPU
● Linsen
● Magnet-Trigger
● Cardboard VR SDK
● 100+ Apps
●

28. Cardboard Apps
● App-Shop: 'Cardboard' und 'VR' suchen.
● Demo: Roller Coster VR (Fibrum), G-Earth Cardboard
● 360° Bilder: Orbulus, Tokyo VR,
● Spiele: Vanguard V, Debris Defrag (Magnet Trigger),
● Mercedes f. Cardboard, VR Cinema, Stereogram 3D Fotos
● Thriller: Chair in a room
● Konzerte: Jack White, Paul McCartney (Kayne West Prakti)
● Youtube Videos: 'side by side' 'side-by-side'
● Für iPhone 6 und 6+: Third Party von PINĆ

29. Folgende Geräte sollten sich (Display +
Performance) gut für Google Cardboard eignen
● Nexus 5 (Nexus 6 dürfte zu groß sein)
● Samsung Galaxy S4 / S5 / J, Note 2 / 3 / 4, Alpha / A7
● HTC One / M8 / E8 / X, Butterfly, Desire 820 / Eye
– Beim One M8 scheint das Gyro nicht zu funktionieren
● LG G / G2 / G3 / GX / Flex / mini, Optimus G pro / Vu 3 / L3
● Motorola MotoX, Droid Turbo, Devour, Defy / XT
● Sony Xperia Z / Z2 / Z3 / Z3v / C
● ZTE Grand S2, Nubia S5S, Z7 / Butterfly2
● Lenovo One / Plus, Vibe Z2
● Huawei Ascend G7 / G620S
Alles Oberklasse / High-End Modelle, die ich recherchiert habe. Keine weiteren Quellen oder Berichte berücksichtigt.
Auflösung: 1920 x 1080 oder 2560 x 1440? (2560 = 2x full HD → braucht starken GPU Grafikprozessor)
Einige Geräte sind unempfindlich für Magnetismus, so dass man einige Spiele / Apps nicht nutzen kann.
Einige Apps benötigen auch ein per Bluetooth angebundenes Gamepad. Dafür ggf eigene App oder Rooting notwendig.
Ob ältere / leistungsschwächere Geräte ausreichen, ist mir unklar. Für gute Immersion muss die Latenz gering sein.
Weitere: https://www.durovis.com/product.html?id=1

30. Cardboard geringer Viewport
Durch die Linsen meines Cardboards ist nur ein kleiner Teil des Displays sichtbar.
(Samsung Galaxy Note3, das das Cardboard vollständig ausfüllt.)

31. Samsung Gear VR
● Kunststoff Gehäuse für Galaxy Note 4 oder S6
● Kopfhörer, zusätzliche Sensoren, Touchpad
● Teilweise besser als Oculus DK2
● Beeindruckende erste Apps / Demos
● 199€ (Note4)
Bild: c´t / heise.de
Video:
http://www.heise.de/newsticker/m
eldung/Samsung-Gear-VR-ab-
sofort-erhaeltlich-Virtual-Reality-
Brille-im-Dauertest-2533885.html

32. LG VR for G3
● Kunststoff Gehäuse für LG G3
(2560x1440, 5,5Zoll, 2,45ghz)
● Keine zusätzliche Hardware / Funktionen
● Demnächst kostenlos mit G3 (ca.350€)
Bild: LG
http://www.heise.de/newsticker/m
eldung/LG-verschenkt-Virtual-
Reality-Gehaeuse-fuers-G3-
2545174.html

33. DUROVIS dive
● Universal-Halter für Smartphones
● 4,x – 5,5 Zoll
● verstellbare Linsen
● Android + iPhone (4, 5)
● 60€

34. 3D für iPhones
● Third Party von PINĆ
● Für iPhone 6 und 6+
● Optisches Finger-Tracking
● Patentantrag von
Apple Februar 2015
● Neue Jobs
(Bilder: Patentschrift)
hellopinc.com

35. Einige weitere Anbieter
● Razer / Sensics Open Source Brille, 3D Print
5,5Zoll, 1920x1080, diverse Sensoren
● HTC + Valve
● Zeiss VR1 (Galaxy S4, iPhone 6,...) 100€
● Vrvana Totem, eingebaute Tracking Cams
IR & RGB (see Through), HDMI IN → VIDEO
● ANTVR aus China, extra Controller
● Homido
● Immersion (Smartphone Headmount)
● 3DHead (Tablet in Träger)

36. Meine Erkenntnisse zu den Geräten
●
Oculus ist spitze. Die Immersion ist hoch, auf einem nicht aktuellen Gaming-PC lief das Ding ordentlich, die Software ist aber ...
beta. Viele Demos liefen nicht, obwohl der Rechner frisch eingerichtet war. Ein weiteres Oculus Team hatte mehr Glück, aber auch
mehr Erfahrung damit. Ein Mac scheint nicht die optimale Plattform für die Rift zu sein, da die meisten anspruchsvollen Spiele für
Windows erscheinen. Möglicherweise Wird die Rift gut an Spielkonsolen laufen?
Das Headtracking ist derzeit aber unerreicht. Es kommt auf die Software an, die die Plattform optimal nutzen kann. Wir hatten leider
keine Spiele mit Hi-Def Grafik.
Oculus läuft nur an einem Computer und produziert Kabelsalat. Nicht wirklich mobil.
●
Galaxy Note4 in Samsung VR ist fast noch besser!
Das Handling ist einfacher, da Touchpad an Brille (!) und kein Computer mit halbgarer Software.
Immersion auch sehr hoch. Sehr überzeugende Demos + Filme von Samsung. z.B. ein Flug über Island mit einer 360° Cam unter
einem Heli. WOW!!! Brilliante Bilder, faszinierender Heli über einem und eine spektakuläre Landschaft! Erst fegt man über eine
Schaafherde, später über Canyions mit Wasserfällen usw. Das hat mich vollständig überzeugt! Freue mich sehr auf zukünftige Filme
mit der Technik.
●
Die Samsung Displays in VR und Oculus sind brilliant und haben bestes Schwarz, leiden aber unter dem Fliegengitter-Effekt der
PenTile Matrix der OLED Displaytechnologie.
Das LG G3 hat ein klassisches LCD mit 2560x1440 ohne Fliegengitter. Trotz schlechterer Farben + Schwarzpunkt ist das auf den
ersten Blick besser. Leider gibt es dafür nicht die Samsung VR Apps und Touchpad-Steuerung. Kommt eventuell noch.
●
Die Bewegungssteuerung ist schwierig. Egal ob mit Tastatur oder Gamepad ist die Bewegung nicht immer gut kontrollierbar, oft
unerwartet und kann Übelkeit auslösen. Das Latenz arme Nachziehen der Blickrichtung bei Kopfbewegungen klappt überall besser.
●
Cardboard mit gutem Telefon ist nicht soo viel schlechter. Mein Note3 hat sich als gutes Gerät dafür herausgestellt. (Note4 oder LG
G3 wäre vermutlich noch besser, aber nicht ausprobiert.) Viele andere Telefone liefen nicht. Zu kleine Displays, keine Reaktion auf
Magnet-Trigger, kein Gyro oder Grafikfehler. (Samsung Galaxy S4 und S5 funktionieren auch, S3 und S2 nicht. S4 Mini ist eher S3
als S4.)
Wäre toll, wenn es fürs Cardboard Linsen gäbe, die das Display vollflächiger erfassen. Wenn man das Telefon und Apps noch per
wireless Gamepad steuern könnte, wäre das den Spezialgeräten wirklich sehr nahe auf den Versen.
Update nach den Tests

37. Kaufempfehlung??
Also was kaufen?
- Zum Spielen die Oculus, wenn man sowohl starken PC als auch Nerven hat. Auf
Consumer Version warten. Nicht mobil!
- Für einfache, komfortable Erfahrungen mit VR und 3D Filme das Samsung VR mit
Note4 oder Galaxy S6. (700 – 1000€ inkl Telefon) Oder wenn man schon eines dieser
Telefone hat / möchte.
- Für günstigeren Einstieg LG G3 mit dazu passender Trägerbrille (von LG)
Für unter 400€ bekommt man ein tolles Telefon und überzeugende 3D Darstellung.
- Cardboard wenn man ein anderes brauchbares Smartphone hat. Extra dafür ein
passendes kaufen lohnt wohl eher nicht.
Andererseits kann man ein Cardboard einfach mal ohne Risiko bestellen.
Im Internet bekommt man den Bausatz für <3€. Ein Kopfgurt kostet ca 1,50 extra. Ggf
plus Versand. Wenn man Linsen einzeln bestellt, kosten die oft schon mehr. Der
Bausatz enthält auch zwei Magnete, 2 Stücke Klettband und (in meinem Fall) ein NFC
Tag den man selbst beschreiben kann und über den das Telefon (sofern NFC fähig)
automatisch die Cardboard App starten kann.
Update nach den Tests

38. Microsoft Hololens (Vision?)
● http://www.microsoft.com/microsoft-hololens/en-us
→ Video

39. Microsoft Hololens
● VR-Brille, die nicht nur holografische Objekte
dreidimensional im Raum erscheinen lässt, sondern
diese sogar bearbeiten zu können.
● Privat- sowie auch professionelle Nutzer
● transparente Gläser, ohne Smartphone / PC
● Die VR-Brille Hololens sowie die App Holo Studio
sollen noch in diesem Jahr im Zuge der
Updatepolitik von Windows 10 verfügbar sein.
● → ich zweifle daran, da der Schritt sehr groß wäre
→ Video

40. AR Anwendungsgebiete / Beispiele
● Reparaturanleitungen (KFZ, ...)
● Wikitude (AR Infos, Video)
● Tagwhat (Location Tags: Infos, Stories,...)
● Ingress (AR Spiel, 'Google', Bilder)
● Cardboard Orienteering (Cam, Pfeile,
Kompass)
● www.augmedia.de VR Rockalbum Cover

41. VR AnwendungsbeiSPIELE
● „für die Computerspielbranche dürfte Oculus
Rift ein Game Changer sein“
● „Die Aussichten für den Computerspielmarkt
alleine rechtfertigen schon das Zwei-Milliarden-
Investment.“
● Laufen im Ego-Shooter mit Laufkäfig gut, sonst
schwierig → Controller = Übelkeit
● Rennspiele, Flugspiele, Weltraum usw. optimal.

42. VR Demos / Anwendungen
● Earth Flyover – In Google Earth durch 3D fliegen!
● Street View Tour - Be guided through a historical
site
● YouTube 'side by side' Videos
● Photo Sphere Viewer - View your own personal
photo spheres
● 360 Video Viewer - Experience an immersive 360
degree video
● 3D Object Viewer - Interact with 3D objects

43. Anwendungsgebiete Filme
(feste Position des Betrachters, keine freie Bewegung)
● Actionfilme
● Horror / Thriller
– Entertainment (Chair in Room)
● Abenteuer / Reise (Wild ...)
● Erotik
● Komödien :´-)
● Romanzen :´-|

44. Film 'Wild – The Experience'
● Reese Witherspoon / Beeinflussung der Szene

45. Zarkana
● Cirque du soleil / Felix & Paul Studios
http://www.felixandpaul.com/projects/cirque-du-soleil-zarkana/
● Eigene 360° Kameras und 3D Audiotracking

46. Anwendungsgebiete
● Entertainment (Passagiere, Zug, Quantas 1st class)
● Einrichtungsplaner (z.B. für Luxusyacht)
● Vorschau auf Reiseziele
● Unmögliche Orte besuchen: Vulkan, Mond,...
● Eigene 3D Fotos + Videos (Urlaub)
● Therapien, z.B. Höhenangst
● StarTrek 'Visor', überzeichnen, 3D Upgrade
● Neue Erlebnisse für Behinderte

47. Sport
● Runtastic Fitness App
● Gymnastik in virtueller Welt
● Bewegungstracking mit Kameras
● Schulungszwecke
● Force Feedback
fehlt
Bild: Runtastic

48. OS / Software GUI
Leap Motion Controller
(Dev Bundle <100€)
Ähnlich Minority
Report

49. Uncanny VR-alley
● 'Gruseliges Tal' für künstliche Menschen
● Künstliche Welt anbieten, da 'realistische'
derzeit nicht möglich und Fehler stören
● Phobien: Höhenangst, Claustrophobie, …
● Intensität der Szenen/Aktionen ggf reduzieren

50. Probleme + Gefahren
● Datenvolumen / Bandbreite
● Sehschärfe leidet (Südkorea)
● Übelkeit
● Gefährdung durch Ablenkung (Cam Realbild)
● Realitätsflucht
● Konsum nicht nur virtuell
● Manipulation --->

51. Gefahr: Manipulation
● 50m Raum, Kreisstrecke als Gerade
● Psychologische Effekte wirksam wie Realität
z.B. nonverbale Kommunikation
● Ähnliche / bekannte Personen sympatischer
(Gesichter morphen, eigenes, Politiker)
● Mimikri (4+ sek) sympatischer, vertrauenswürdiger,
intelligenter
● Blickverhalten simuliert, viele Blickkontakte
Jeremy Bailenson (Standford) / Technology Review 09/2014

52. Fear the Future?
● Werden Menschen ausgeschlossen, die nicht
3D sehen können?
● 'Glasshole'
● Spracherkennung
● Gesichtserkennung
● Metadaten
● Verhaltenstracking
Quelle: Uni Oldenburg

53. What´s next?
● Besserer virtual surround Sound
● Geruch mehrfach probiert und gescheitert. Jetzt
wieder möglich?
● Temperatur
● Feuchtigkeit / Trockenheit
● Haptische Gefühle schwierig zu vermitteln
– etwas Force Feedback per Controller
– Elektroschocks?
● Geschmack wohl erst per neuro-Interface

54. Quellen / mehr Infos
● Heise Verlag (c´t, telepolis, ...)
● http://www.heise.de/thema/Oculus-Rift
● Spiegel.de, Golem.de
● http://imve.informatik.uni-hamburg.de/
● http://vhil.stanford.edu/
● Seiten der Hersteller

55. Weiteres
● Weiterer Event?
● Bei Interesse bitte (per Xing) bei Allan Jäke
melden.