Das Whitepaper „Head Mounted Displays & Datenbrillen - Einsatz und Systeme“ zeigt Verwendungskontexte, Produkte und Ankündigungen aus diesem sich stark bewegenden Markt.
Das Handelsblatt titelte bereits im März 2012, das Jahr 2012 sei „Das Jahr der Datenbrillen“. In der Tat war bemerkenswert, dass gleich mehrere große Unternehmen - unter ihnen Google, Olympus und Canon - Projekte für Infotainment- und Augmented-Reality-Umsetzung auf der Basis von Datenbrillen ankündigten. Auch Apple erhielt ein Patent für Videobrillen-Technik. Interessant ist nun zu sehen, was den großen Ankündigungen folgt: Augmented Reality ist zum Beispiel eine hochinteressante Technologie, die von diesem Trend profitieren könnte. Einige der heute verfügbaren Lösungen haben einen Reifegrad erreicht, der einen unmittelbaren Einsatz in der Praxis erlaubt. Gleichwohl gibt es eine Reihe ungelöster Herausforderungen.
Der Markt der Head Mounted Displays (HMDs) ist insgesamt in starker Bewegung. Knapp 20 Hersteller wollen in absehbarer Zeit neue Systeme auf den Markt bringen, die sowohl preislich als auch technisch sehr interessant sein dürften: Prototypen dieser HMDs zeigen bereits heute die Integration einer ganze Reihe von Sensoren wie Tracking, Kameras und Tiefenbildkameras.
Das nun vom Virtual Dimension Center (VDC) Fellbach erstellte Whitepaper zeigt den grundsätzlichen Einsatz von Head Mounted Displays und Datenbrillen auf. Gleichzeitig gibt das VDC einen Überblick über aktuelle Produkte und Produktankündigungen. Verfügbare Spezifikationen sind dazu nebeneinander gestellt worden.
Das Whitepaper kann kostenfrei unter http://www.vdc-fellbach.de/downloads/whitepaper heruntergeladen werden.
3. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Head Mounted Displays (HMDs) – kurzer Abriss
1961: erstes HMD auf dem Markt
1965: 3D-getracktes HMD durch Ivan Sutherland
HMDs seit 1970er Jahren in signifikanter Anzahl im militärischen Bereich im Einsatz (Training, Zusatzanzeige)
Tabelle: Bedeutende HMD-
Projekte seit den 1970er
Jahren [Quelle: Li, Hua et.
al.: Review and analysis of
avionic helmet-mounted
displays. In : Op-tical
Engineering 52(11),
110901, November 2013]
3
Systemklassen
4. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Head Mounted Display Videobrille Datenbrille
Charakteristik Integration des Benutzers in eine
interaktive 3D-Umgebung
tragbarer Bildschirm tragbare Zusatzanzeige
Zielstellung,
Einsatzzweck
Virtual Reality, optional Augmented
Reality (AR) per Video-See-Through
Filmbetrachtung, Bildanzeige Zusatzinformationen bei Arbeit, Freizeit;
optional AR per Optical-See-Through
Isolation Isolation des Benutzers von der
realen Umgebung
Isolation des Benutzers von der realen
Umgebung
keine Isolation des Benutzers;
Anzeige zusätzlich zur Realität
Field-of-View großes Field-of-View,
damit bewegtes Auge
geringes Field-of-View,
damit tendenziell ruhendes Auge
sehr geringes Field-of-View; Auge
betrachtet bei Bedarf aktiv die
Zusatzanzeige; geringe Beschränkung der
natürlichen Sicht
Tracking sehr schnelles, sehr exaktes Head
Tracking notwendig
nicht notwendig zumeist grob; bei Einsatz für Augmented
Reality sehr exaktes Head Tracking
notwendig
Typischer Vertreter Oculus Rift Carl Zeiss Cinemizer Vuzix M100
Klassifizierung Head Mounted Display – Videobrille - Datenbrille
4
Systemklassen
5. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Vorteile von HMDs gegenüber Projektionen
Systemische Vorteile von HMDs
Kompaktheit: umschließendes VR-System
auf kleinstem physischen Raum
Preis: preisgünstig im Vergleich zu
Mehrkanalprojektionen
Isolation und Immersion:
Benutzer konzentriert sich voll auf
Inhalt und Aufgabe, blendet Realität aus
Orientierungssinn muss zwangsläufig immer
mit bedient werden (wg. Simulatorkrankheit)
kein Akkommodationskonflikt:
bei der haptischen Interaktion vor einer
Projektionswand kann der Benutzer entweder
nur auf die Projektion oder nur auf seine Hände
fokussieren. HMDs haben dieses Problem nicht.
5
Bild: Fh-IPA
Einsatz eines HMDs und
eines Datenhandschuhs zur
Roboterprogrammierung
Anfang der 1990er Jahre
Systemklassen
6. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Nachteile von HMDs gegenüber Projektionen
Systemische Nachteile
Isolation:
o fehlende Wahrnehmung der Umgebung
führt zu Unsicherheit
o fehlende Eigenwahrnehmung verwirrt
Isolation:
kooperatives Arbeiten ist nur
eingeschränkt möglich
Akzeptanz:
Ablehnung von HMDs als technische
Spielerei
6
Bild: Fh-IAO
Einsatz eines HMDs und eines
Datenhandschuhs für
Ergonomie-Untersuchungen
Mitte der 1990er Jahre
Systemklassen
7. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Nachteile von HMDs gegenüber Projektionen
Produktimmanente Nachteile
unzureichende Ergonomie:
Gewicht, Gewichtsverteilung, umständlich
anzulegen, Passkomfort, Fixierung, Hygiene
fehlende geeignete Eingabesysteme:
Verzicht auf Maus, Tastatur
mäßige Auflösung: lediglich
oberstes Preissegment > 1280 x 1024
Akzeptanz: Fixierung Beeinträchtigung
von Frisur, Kosmetik
feststehender Bildabstand
Wahrscheinlichkeit für Cyber Sickness /
Simulatorkrankheit hoch,
da stark isolierendes System
7
Systemklassen
Bild: British Aerospace
Bild: :British Aerospace
VECTA Flugsimulator
(British Aerospace), 1987,
von außen
VECTA Flugsimulator
(British Aerospace), 1987,
Sicht im HMD
8. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Cyber Sickness
Einige Menschen empfinden Übelkeit oder
Kopfschmerzen in immersiven Umgebungen:
warum?
Grund 1: okulomotorische Tiefenkriterien
widersprechen sich:
o Akkomodation des Auges:
Fokus immer auf das Display, damit wir
das Bild scharf sehen
o Konvergenz (Eindrehen) der Augen
auf das virtuelle Objekt vor oder hinter der
Projektionsscheibe [Gehirn legt damit die
Bilder der Augen übereinander]
-> Widerspruch
8
Fernblick Nahblick
Fernblick Nahblick
Systemklassen
Bild: Tridelity
9. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Cyber Sickness
Grund 2:
vestibuläre Wahrnehmung (Lagesinn)
und visuelle Wahrnehmung widersprechen sich
o Beispiel Projektionssystem:
- mehrere Betrachter
- nur 1 Betrachter getrackt
- getrackter Nutzer bewegt sich
o Beispiel HMD:
- schon geringfügige Latenzen zwischen
Kopfbewegung und Bildreaktion
-> widersprüchliche Bewegungsinformationen
9
Systemklassen
Bild: Fh-IAO
Vestibulärorgan
10. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder HMDs: Innenraumbegehungen
Motivation
virtuelle Absicherung von Umgebungen, in
denen das Raumgefühl und dessen subjektive
Bewertung relevant sind
Sichtverhältnisse (Orientierung und Sicht)
Anwendungsbeispiele:
o im PKW
o im Cockpit
o in Kabine
o im Gebäude
Bild: CNH
Bild: Daimler
xxx
xxx
xxx
10
Einsatzfelder
11. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder HMDs: Innenraumbegehungen
Beispiele Inneneinrichtung
Innenarchitektur
Badplanung
ähnlich: Flugzeugkabine
Bild: Immersight
Bild: Inreal
Virtuelle Badbegehung
mit 6D-getracktem HMD
Virtuelle Hausbegehung
11
Hardware-Aufbau für die virtuelle
Hausbegehung mit Inreal: weitere
Personen (etwa Ehepartner) können
die Szene auf dem Monitor verfolgen.
Einsatzfelder
12. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder HMDs: Innenraumbegehungen
12
Bild: Bauhaus-Universität Weimar
Sitzkiste und verteilte 3D-Umgebung für 2 Personen.
Links: physischer Aufbau; Rechts: korrespondierende 3D-Szene
Einsatzfelder
13. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder HMDs: virtuelle Absicherung Engineering / Ergonomie
Bearbeiten von 3D-Szenen aus der Ego-Perspektive
Überprüfung von technischen Einrichtungen,
Installationen, Arbeitsplätzen,
Bedienschnittstellen bezüglich
o Bedienbarkeit
o Benutzbarkeit
o Verständlichkeit
o Einsehbarkeit
o Erreichbarkeit
o Bewegungsfreiräume
o …
allgemeine Gültigkeit u.U. eingeschränkt,
da Ergebnisse Nutzer-spezifisch
Bild: ESI
Bild: Fh-IAO
Bild: ESI
Baubarkeitsuntersuchung
mit 3D-Menschmodell
Ergonomieuntersuchung
mit 3D-Menschmodell
Ergonomieuntersuchung
mit 3D-Menschmodell
13
Einsatzfelder
14. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder HMDs: Training
Motivation
360°-Simulation erforderlich
detaillierte haptische Interaktion mit Blick
auf die eigenen Hände relevant
(wg. Akkomodationskonflikt vor der
Powerwall schwierig) simulierte 360°-
Umgebung
für das
militärische
Training
14
Bild: NASA
Training für
Wartungsarbeiten in
der Raumfahrt mit
einem HMD
Bild: NPSNET
Bild: NIAR
Training von
Wartungs- und
Inspektionstätig
keiten in der
Raumfahrt
Einsatzfelder
15. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder Datenbrillen
Datenbrillen: Großteil der natürlichen Sicht unbehindert
im Allgemeinen kleinere Displayfläche (als HMDs)
im Allgemeinen geringere Auflösung des Displays (als HMDs)
zumeist andere Verwendung als Head Mounted Displays:
Zusatzanzeige von Computer-generiertem Content beim
Aufenthalt in natürlichen Umgebungen (z. B. Arbeit, Freizeit, Reise)
Content häufig symbolisch, Piktogramm, alphanumerisch wg.
Auflösung und Größe des Displays
bei High-End-Produkten im Marktsegment Augmented-Reality-
Anwendungen möglich
Vorteil gegenüber Tablet Computern: hands-free
15
Einsatzfelder
16. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder Datenbrillen: Prozess-Unterstützung
Zusatzinformationen während des Arbeitsprozesses.
Ansätze:
aktiver Abruf von Content;
Zusammenspiel mit Hand Held, etwa Logistikpad
location-based (z.B. RFID-Bezug)
ortssensitive Annotationen
Anzeige Messdaten
Anzeige Prozessparameter
„Röntgenblick“: Anzeige verborgener Objekte
Bild: Boeing
Bild: Fh-IGD
Bild: Nee
Versuche zur AR-gestützten
Kabelkonfektionierung
Anfang der 1990er Jahre
AR-Röntgenblick auf in
der Wand verborgene
Infrastruktur wie z.B.
elektrische Leitungen
Überblenden
Online-Prozessdaten
auf Werkstück
16
Bild: NASA
Blick des Raumfahrers
auf vor ihm liegende
Wartungsarbeit.
AR-Unterstützung per
ortsrichtiger Annotationen
Einsatzfelder
17. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder Datenbrillen: Teleservice / Tele-Operations
Verbindung von Servicekraft und zentraler Technik
Servicekraft teilt ihre Perspektive (Kamera) mit
zentraler Technik
zentrale Technik bringt Hinweise und kann diese
verorten (Anzeige im Display mit AR)
Bild: Re‘flekt
Bild: Fh-IPA
frühe Idee der
Fernsteuerung eines
Roboters mittels seines
virtuellen Pendants, der
seinerseits über VR
manipuliert wird.
(Anfang der 1990er Jahre)
17
Einsatzfelder
18. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder Datenbrillen: Konsistenz-Checks Modell vs. Realität
Überprüfung digitales Modell
Simulation korrekt?
Konstruktion korrekt?
Bild: Volkswagen
Bild: metaio
Bild: HLRS
Überlagerung digitales
Crashmodell über
Versuch: wie gut ist das
Modell?
Überlagerung
Leitungskonstruktion
über physisches Bauteil:
gut konstruiert?
Überlagerung digitales
Strömungsmodell über
Versuch: wie gut ist das
Modell?
18
Einsatzfelder
19. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder Datenbrillen: Konsistenz-Checks Modell vs. Realität
Überprüfung reale Umwelt
umgesetzt wie geplant?
dokumentiert wie umgesetzt?
Qualitätssicherung
Prototyping
Bild: metaio
Bild: Volkswagen
Bild: Volkswagen
Überprüfung der
gesetzten
Schweißbolzen:
realisiert wie geplant?
Überprüfung von
Anordnung und
Fördertechnik:
kollisionsfrei für neue
Einbringungen?
Überprüfung eines
Industriearbeitplatzes:
alles im Greifraum(rot)?
19
Bild: VolkswagenBild: Volkswagen
Einsatzfelder
Einplanung neuer Fertigungseinrichtungen
(konstruiert, farbig) in Bestandsfabrik
20. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Einsatzfelder Datenbrillen: kollaborative Arbeitsräume
über gemeinsames Tracking kann
übergreifender AR-Arbeitsraum
hergestellt werden
individuelle Perspektive
Unterstützung lokaler
Zusammenarbeit
natürliche Sicht auf die
jeweils anderen Personen
(Gestik, Mimik, Diskussion, …)
Bild: TU Wien
Gemeinsamer AR-Arbeitsraum
mittels Head Mounted Displays
20
Einsatzfelder
21. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Entwicklungsrichtungen: eingesetzte Displaytypen
in bisherigen HMDs (bis 2012) ab
SXGA-Auflösung fast nur Einsatz von
Microdisplays zweier Hersteller
Virtual Retinal Displays
(Projektion auf Netzhaut)
seit 2012: Smartphone-Displays
als zusätzliche Bildquelle
21
Hersteller Microdisplays:
Hersteller Technologie
eMagin Corp. OLED
Epson LCD
Forth Dimension Displays fLCOS, ForthDD
Hitachi LCD
Micro Display Corp [Geschäftstätigkeit eingestellt]
Olightek Amoled
Planar Systems [Geschäftsbereich abgegeben]
Reflection Technology [Geschäftstätigkeit eingestellt]
Entwicklungsrichtungen
22. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
22
Technische Spezifikationen bisheriger „alter“ HMDs
Hersteller Modellname Auflösung
horizontal
Auflösung
vertikal
Winkel-
auflösung
Sichtfeld
horizontal
Sichtfeld
vertikal
Preis
grob
aktualisiert Gewicht Tracking Technologie
Carl Zeiss Cinemizer
870 500 1,8 26 15
€ 650,- mit
Tracker
2014 200g
Orientierung
3DOF
OLED
CyberMind Visette45 SXGA 1280 1024 1,7 36 27 kA 2014 kA nein FLCoS
HiRes800 800 600 1,7 22 14 $ 3.800,- 2014 700g nein LCD
eMagin X800 3D Visor 800 600 2,4 32 24 kA 2006 nein
Z800 3D Visor 800 600 2,4 32 24 $ 1.700,- 2014 230g nein OLED
Epson Moverio 960 540 1,4 23 17 € 500,- 2014 244g nein LCD
Fifth Dimension
Technologies
5DT HMD 800-40 3D 800 600 2,4 32 24 $ 2.900,- 2014 600 g nein OLED
5DT HMD 800-26 3D 800 600 1,6 21 16 $ 2.900,- 2014 600 g nein LCoS
iO Display Systems i-glasses PC/SVGA-3D Pro 800 600 1,6 21 16 kA 2006 nein kA
Kaiser Electro-Optics Inc. ProView SR80 1280 1024 3,0 63 53 kA 2005 nein kA
nVision / NVIS nVisor ST50 1280 1024 1,9 40 30 kA 2014 1050g nein OLED
nVisor SX 1280 1024 3,6 76 64 kA 2014 1300g nein LCoS
Rockwell Collins ProView VO35 800 600 2,1 28 21 kA 2006 kA nein kA
Proview XL50 1024 768 2,3 40 30 kA 2006 kA nein kA
ProView XL50 STm 1024 768 2,0 34 26 kA 2006 kA nein kA
Sim Eye SR100 1280 1024 4,7 100 50 kA 2006 kA nein kA
SaabTech Saab AddVisor 150 1280 1024 1,7 37 28 kA 2004 kA nein kA
Sensics piSight 2600 1200 4,2 180 60 kA 2014 1000g nein OLED
xSight 1680 1050 3,7 104 65 kA 2014 400g nein OLED
SEOS SEOS HMD 120/40 1280 1024 5,6 120 67 kA 2006 kA nein kA
Silicon Micro Display ST1080 1920 1080 1,4 45 17 kA kA kA nein LCoS
Sony HMZ-T1 1280 720 2,1 45 34 $ 799,- 2014 330g nein OLED
HMZ-T2 1280 720 2,1 45 34 $ 894,- 2014 320g nein OLED
Trivisio VRvision HMD 800 600 2,5 33 25 kA 2014 300g nein AMLCD
Virtual Realities VR2200 1024 768 2,2 38 24 $ 1.300,- 2014 200g nein kA
HMD Pro 3D SVGA-42 800 600 2,7 36 23 $ 4.000,- 2014 kA nein OLED
HMD Pro 3D SXGA-50 1280 1024 2,0 43 27 $ 8.500,- 2014 kA nein OLED
HMD Pro 3D WUXGA-60 1920 1080 1,6 51 32 $ 10.500,- 2014 kA nein OLED
Virtual Research Systems V8 640 480 4,7 50 38 kA 2004 kA nein kA
VR4 480 240 6,0 48 36 kA 2005 kA nein kA
VR1280 1280 1024 2,3 48 36 kA 2014 kA nein FLCoS
Entwicklungsrichtungen
23. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Technische Spezifikationen bisheriger „alter“ HMDs
Gängige Eigenschaften
durchschnittliches Sichtfeld: 60°
Auflösung: SXGA (1280x1024)
durchschnittliches Gewicht: 1kg
nur bedingt in Form einer Brille erhältlich
(wäre Kundenwunsch)
durchschnittlicher Preis: € 15.000,-
(rangiert von € 500,- bis € 160.000,-.)
23
Stark abweichende HMD-Systeme :
Auflösung
Sensics piSight: 2600 x 1200 Pixel
Sensics xSight: 1680 x 1050 Pixel
Virtual Realities HMD
pro 3D WUXGA-60 : 1920 x 1080 Pixel
Sichtfeld
Rockwell Collins
Sim Eye SR 100: 100°
Sensics piSight: 180°
Sensics xSight: 104°
SEOS HMD 120/40: 120°
Entwicklungsrichtungen
24. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Neue und angekündigte HMDs(April 2015)
24
AntVR Avegant Glyph
Durovis Dive GameFace InfinitEye
Altergaze
Oculus Rift 2 Sulon CortexSony Morpheus Technical Illusions CastAR
VRVANA TotemValve HMD vrAse
Samsung GearVR
Carl Zeiss VR OneArchos VR Glasses
Google CardboardFOVE VR Headset
Entwicklungsrichtungen
25. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
25
Neue und angekündigte HMDs(April 2015)
Hersteller Modellname Auflösung
horizontal
Auflösung
vertikal
Winkel-
auflösung
Sichtfeld
horizontal
Sichtfeld
vertikal
Preis grob Gewicht Tracking Kommentar
AntVR AntVR 960 1080 6,3 100 75 $ 300,- integriert
Archos VR Glasses Smartphone-Halterung mit Optik € 25,- Smartphone Smartphones bis 6 Zoll
Avegant Glyph 1280 800 2,1 45 29 $ 500,- 450 integriert
Befestigung Art Kopfhörer,
pixelfreies Bild durch Retinaldisplay
Carl Zeiss VROne Smartphone-Halterung mit Optik € 100,- Smartphone
nur für iPhone 6, Samsung Galaxy
S5
Durovis Dive Smartphone-Halterung mit Optik € 60,- Smartphone
FOVE VR Headset kA kA kA 45 kA kA kA kA integriertes Eye Tracking
GameFaceLabs GameFace 1280 1440 kA kA kA $ 500,- integriert
LCD, kabellos, Low-Persistence-
Technologie
Google Cardboard Smartphone-Halterung mit Optik $ 10,- Smartphone Gehäuse aus Pappe
InfinitEye
Gründerteam
InfinitEye 1280 800 9,8 210 150
$ 450,-
(Bausatz)
490 nein Fresnel-Linse
Liviu Berechet
Antoni
Altergaze Smartphone-Halterung mit Optik € 60,- Smartphone
Oculus / Facebook Rift 2 960 1080 6,9 110 90 $ 350,- 400 integriert
OLED, sattere Farben,
Low-Persistence-Technologie
Samsung GearVR Smartphone-Halterung mit Optik $ 200,- Smartphone
Sony Morpheus 960 1080 5,6 90 68 $ 300,- integriert LCD
Sulon Cortex 140 105 integriert Augmented-Reality-fähig
Technical Ilusions Cast AR 1280 720 4,2 90 68 $ 200,- integriert Augmented-Reality-fähig
VRVANA Totem 960 1080 5,6 90 68 kA integriert
OLED, Augmented-Reality-fähig,
Low-Persistence-Technologie
Valve HMD Prototyp kA kA kA 110 83 angekündigt
vrAse vrAse Smartphone-Halterung mit Optik € 60,- Smartphone Augmented-Reality-fähig
Entwicklungsrichtungen
26. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Neue und angekündigte HMDs : Firmen
angekündigte
HMD-Hersteller:
Kickstarter:
Oculus: 2,4 Mio$
Avegant: 1,5 Mio$
Technical Illusions: 1,0 Mio$
Meta: 0,2 Mio$
Oculus wurde im März 2014 für 2 Milliarden $ von der Fa. Facebook aufgekauft
26
Nr.Firmenname Ort Land Webseitenadresse
1AntVR Technology Peking China http://www.antvr.com
2Avegant Ann Arbor USA http://www.avegant.com
3Durovis Münster Deutschland http://www.durovis.com
4FOVE Japan http://fove-inc.com
5GameFace Labs San Francisco USA http://gamefacelabs.com
6InfinitEye-Gründerteam Toulouse Frankreich https://www.facebook.com/InfinitEyeVR
7Liviu Berechet Antoni London Großbritannien https://www.facebook.com/altergaze
8Meta Los Altos USA https://www.spaceglasses.com/
9Oculus / Facebook Irvine USA http://www.oculusvr.com
10Sulon Markham Kanada http://sulontechnologies.com
11Technical Illusions Woodinville USA http://technicalillusions.com
12True Player Gear Outremont Kanada http://www.trueplayergear.com
13Valve Bellevue USA http://www.valvesoftware.com
14vrAse Edinburgh Großbritannien http://www.vrase.com/
Entwicklungsrichtungen
27. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Datenbrillen – Produkte(April 2015)
27
Epson Moverio BT100 Google Glass ION Glass
Meta One
Recon Jet
Atheer One
Samsung Galaxy Glass Vuzix m2000ARVuzix m100 SafetyVuzix M100
Epson Moverio BT200
Meta Pro Microsoft HoloLens OptInvent ORA-1Lumus OE-32
Entwicklungsrichtungen
29. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Low-Persistence-Technologie
Technologie der Fa. Valve
für OLED-Displays
Reduktion Nachzieh-Effekte des Displays
(Verwischen) bei Bewegungen
Kopfbewegungen schnell: auch bei
Bildwiederholfrequenz von 60 Hertz
kann Display nicht rechtzeitig
aktualisiert werden
Nutzer sieht für kurze Zeit
(60 Hertz: 16 Millisekunden)
Objekt an falscher Stelle.
statt Frame so lange anzuzeigen, bis nächstes Frame geladen ist und es ersetzt, leuchten die
Pixel bei "Low Persistence" nur für einen kurzen Augenblick auf und bleiben für die restliche
Zeit dunkel
damit dieser Strobing-Effekt dem Nutzer nicht auffällt, ist eine höhere Frequenz notwendig
Tests bestätigten gestiegene Bildqualität
Bild: Oculus
Vergleich Low Persistence – Full Persistence
29
Entwicklungsrichtungen
30. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Nvidia GameWorks VR
Sammlung von Hardware- und Software-
Technologien für das stereoskopische Echtzeit-
Rendering
VR SLI: Aufteilung GPUs nach Augen (nicht Frames)
Multi Resolution Shading: geringere Auflösung in
verzerrten (& geschrumpften) Randbereichen
Timewarp: Kopfposition auslesen; auf dieser Basis
gerade gerendertes Bild warpen
=> starke Reduktion Latenz
Bild: Nvidia
Bild: Nvidia
Warping
Multi
Resolution
Shading
30
Bild: Nvidia Timewarp
Entwicklungsrichtungen
31. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Integriertes Tracking: 9-DOF-IMUs
Miniaturisierung, Präzisionssteigerung und Preisverfall:
Bedeutungssteigerung der Inertialsensoren (engl. inertial
measurement unit - IMU) für das Tracking
IMU-Messeinheiten beinhalten folgende Sensorarten:
3 orthogonal angeordnete Beschleunigungssensoren
(Translationssensoren): lineare Beschleunigung in x-, y-
z-Achse. Translation durch zweimaliger Integration.
3 orthogonal angeordnete Drehratensensoren
(gyroskopische Sensoren) : Winkelgeschwindigkeit um
x-, y-, z-Achse. Rotation mit einfacher Integration.
Zur Bestimmung der Integrationskonstanten, zur
Verbesserung der Genauigkeit und Korrektion der Drift
der o.g. Sensoren: zusätzliche Sensoren, z.B.
Magnetfeldsensoren (Kompasssensoren) und
GNSS-Sensoren.
Bild: SEIKO Epson
Bild: Sparkfun
IMU V340 der
Fa. SEIKO Epson
IMU Razor der
Fa. Sparkfun
31
Entwicklungsrichtungen
32. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Integriertes Tracking
Mehrere Mess-Prinzipien und -Systeme im Einsatz:
9DOF-IMUs
externe Kameras, die IR-Lichtquellen
am HMD tracken
Kameras am HMD, die externe
IR-Lichtquellen in der Umgebung tracken
Tiefenbildkameras zum Scannen der
Realumgebung, fortwährende Referenzierung
hybrider Ansätze: zumeist 9DOF-IMU in
Kombination mit optischen Verfahren für
schnelles wie auch absolutes 6-DOF-Tracking
Bild: Oculus
Bild: True Player Gear
Bild: Sony
IR-LEDs und
externe Kamera
2 Kameras an der
Frontseite des HMDs
IR-LEDs an Rückseite
des HMDs für
360°-Drehung
32
Entwicklungsrichtungen
33. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
33
Integriertes Tracking: HMDs und Spielekonsolen
Firmenname Webseitenadresse Produktname Prinzip DOF Arbeitsraum Abtastrate
AntVR http://www.antvr.com AntVR 2 x 9DOF-IMUs 6 nur Relativtracking 1000 Hz
Avegant http://www.avegant.com Glyph 9DOF-IMU 3 nur Relativtracking 1000 Hz
Carl Zeiss http://www.zeiss.com Cinemizer 9DOF-IMU 3 nur Relativtracking 1000 Hz
GameFaceLabs http://gamefacelabs.com GameFace 9DOF-IMU 3 nur Relativtracking 1000 Hz
Immersight http://www.immersight.de/ Immersight externe Kamera mit Mustererkennung
des passiven Tracking-Targets
6 3m 60 Hz, bei anderer
Kamera bis 330 Hz
Meta https://www.spaceglasses.com/ SpaceGlasses 9DOF-IMU 3 nur Relativtracking 1000 Hz
Microsoft www.microsoft.de
Kinect
externe Kamera und
Tiefenbildkamera
Auflösung Kameras 640x480
Motion
Capturing
3,5 m 30Hz
Nintendo http://www.nintendo.de
wii
optisch (Infrarot-Kamera in
Controller) und
Beschleunigungssensoren
Auflösung Kamera
1024 x 768 bei 45°
Öffnungswinkel
6 1-3 m
Sensor 100Hz,
Bluetooth-Abfrage
aber nur 50 Hz
Oculus http://www.oculusvr.com Rift 2 9DOF-IMU und externe Kamera;
IR-LEDs vorne auf dem HMD, 360°-Tracking
6 Zimmer 1000 Hz
Sony http://www.sony.de Morpheus 9DOF-IMU und externe Kamera, IR-LEDs
vorne und hinten auf dem HMD, 360°-Tracking
6 Zimmer 1000 Hz
Sony http://www.sony.de
Playstation Move
optisch (externe Kamera),
Gyroskop, Neigungs-
winkelmesser
640 x 480 @ 60 Hz
320 x 240 @ 120 Hz bei
56° - 75° Öffn.-Winkel
6 5 m
60 Hz oder 120 Hz
je nach Auflösung
Sulon http://sulontechnologies.com Cortex 9DOF-IMU und Tiefensensor auf HMD
scant Umgebung und referenziert in ihr
6 Zimmer optisch: 50 Hz
Technical Ilusions http://technicalillusions.com CastAR Trackingkamera in Brille, die IR-LEDs
in Umgebung trackt
6 Zimmer kA
True Player Gear http://www.trueplayergear.com Totem 2 Kameras an der Frontseite des HMDs,
die Umgebung referenzieren
6 Zimmer kA
Valve http://www.valvesoftware.com Valve HMD 2 Kameras vorne und hinten auf HMD
zur Umgebungs-/ Mustererkennung
6 Zimmer kA
Entwicklungsrichtungen
34. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Integriertes Tracking: Eye Tracking
Nutzen für:
Usability-Untersuchungen
Design-Entscheidungen
Aufmerksamkeitsanalysen
HMD-integrierte Eye-Tracking-Lösungen:
2011: Google-Patent für Eye Tracking
in Google Glass
Lösungen:
- FOVE VR Headset
- SensoMotoric Instruments (SMI) für Oculus
- Arrington Research für HMDs von Sony,
Oculus, Sensics, CyberMind, Virtual Realities
Bild: Arrington Research
Bild: Arrington Research
Bild: Arrington Research
Getracktes Auge
Heat Map, erzeugt
über Eye Tracking
Hardware-technischer
Aufbau
34
Entwicklungsrichtungen
35. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Virtual Retinal Displays (VRDs)
direkte Projektion auf die Netzhaut
Weiterentwicklung der VRD-Technologie, v.a.
Leuchtdioden in den RGB-Grundfarben erhältlich
gestiegene Lichtleistung der LEDs
Vorteile:
Platzbedarf
Helligkeit (See-Through auch bei Tageslicht)
Energieverbrauch
keine Fokussierung des Auges notwendig
geeignet auch für Leute mit Sehschäden
Beispiel: HMD Avegant Glyph
Bild: Fiambolis,
Bild: Avegant
Bild: Fh-IFF
Funktionsschema
eines Retinaldisplays
HMD „Glyph“
Blick in die Anzeige
eines Retinaldisplays
35
Entwicklungsrichtungen
36. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Lichtfeldkameras (plenoptische Kameras)
Funktionsweise
konventionelle Kamera erfasst 2D-Bild
plenoptische Kamera erfasst dazu Richtung
für Lichtfeldmessung: Gitter aus mehreren
Mikrolinsen vor dem Bildsensor
Vorteil
maximale Schärfentiefe sehr hoch
kein Fokussiervorgang
Fokusebene nachträglich anpassbar
Tiefeninformationen ermittelbar
Nachteile
Kosten
2D-Auflösung 4MP eher gering
Bild: Adobe
Bild: Lytro
Bild: Raytrix
Adobe-Prototyp einer
Lichtfeldkamera
Lytro M01,
Lytro Illum
Lichfeldkamera
der Fa. Raytrix
36
Bild: Lytro
Entwicklungsrichtungen
38. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Integration Tiefenbildsensoren
Produkte und Ankündigungen
Microsoft Kinect
Google Projekt Tango
Leap Motion
Intel Real Sense 3D
Primesense Carmine
ASUS Xtion Pro Live
Meta Space Glasses
PMD
Sony Playstation 4 Camera
Softkinetics
Mantis Vision
Entwicklungsrichtungen
Primesense
Meta
PMD
Google Tango
Leap
Asus
Softkinetics
Sony
38
39. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Integration Tiefenbildsensoren
Ermöglichung Selbstwahrnehmung
Erfassung des eigenen Körpers
(Rumpf, Hände,…) mit
Tiefenbildsensoren anstatt mit
Datenhandschuhen und/oder Motion
Capturing
Aufhebung Isolation von der Umwelt
Benutzer sieht die dynamische
Umwelt und kann mit dieser
interagieren
Misch-Szenen real-virtuell möglich
Bild: Dassault Systèmes
dynamische 3D-Szene
aus dem 3D-Scan
einer Kinect und
modellierten 3D-Objekten
(hier: Fahrrad)
Sicht eines HMD-Trägers
auf die 3D-Scan-
Punktewolke seiner
eigenen Hände und
weiteren
Umgebungsdaten
39
Bild: Dassault Systèmes
Entwicklungsrichtungen
40. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Integration Tiefenbildsensoren
Erfassung der Bewegungen, Gestik des Benutzers
Interaktion: Laufen, Greifen, Dinge bewegen, ..
Extraktion von Objekten aus Szene (Nahes, Weites)
Aufbau Misch-Szenen zur Präsentation
im Head Mounted Display
Verdeckungsberechnung für Augmented Reality
graphische Objekte, die eigentlich von realen
(partiell) verdeckt sein müssten, dürfen nicht
gezeichnet werden. Die dafür erforderliche
Verdeckungsberechnung benötigt ein aktuelles
3D-Abbild der Realität
Bild: David Nahon/DS
Bild: Quaternion Software
Person mit HMD wird mit
der Kinect gescannt und
kann so interagieren. Hier:
Bedienung eines Stellrads
mit den Händen, Laufen
reale Person in kurzer
Distanz in Echtzeit aus
3D-Scan extrahiert
40
Bild: Fh-IGD
gezeichnetes Einbauteil
(violett) verschwindet
teilweise hinter Blech
(schwarz). Dazu muss der
Rechner Blech und Einbau-
teil gegeneinander auf
Verdeckung prüfen
Entwicklungsrichtungen
41. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Abschlussbemerkungen: Einschätzungen
der Markt für HMDs und für Trackingsysteme
wird sich in den kommenden 5 Jahren (weiter)
sehr stark verändern
Markets and Markets:
- globaler HMD-Markt bei $12,28 Milliarden
im Jahr 2020
- jährliche Wachstumsrate 2014-2020: 57%
Einsatzmöglichkeiten guter HMDs und
Datenbrillen enorm (v.a. Support, Service,
Innenraum-Begehungen, Training)
Einschränkungen der Fähigkeit zur Kooperation
sind reduzierbar
41
Zusammenfassung
42. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Literatur
Bayer, Michael M.: Introduction to Helmet
Mounted Displays. In: Rash, Clarence E. (Ed.):
Helmet-mounted displays : sensation, perception,
and cognition issues, S. 47-108, U.S. Army
Aeromedical Research Laboratory, 2009
Bundesanstalt für Arbeitsschutz und
Arbeitsmedizin: Datenbrillen - Aktueller Stand von
Forschung und Umsetzung sowie zukünftiger
Entwicklungsrichtungen. Workshop vom 20. Juni
2011, Dortmund, 2011
Gross, Frank: Head Mounted Displays für den
professionellen Einsatz: Stand der aktuellen
Produkte am Markt. In: Displaytrends 2013 - Head
Mounted Displays, Datenbrillen & Co, Workshop
am Virtual Dimension Center Fellbach, Fellbach,
14.03.2013
Li, Hua et. al.: Review and analysis of avionic
helmet-mounted displays. In : Optical Engineering
52(11), 110901, November 2013
42
N.N.: Head Mounted Display (HMD) Market by
Products (Helmet Mounted, Wearable Glass),
Components (Micro display, Camera, control unit,
Tracker, Accessories), Applications (Defense,
industrial, Video Gaming) & Geography - Global
Analysis and Forecast to 2020, Markets and
Markets, Mai 2014
N.N.: Global Head-mounted Display Market,
TechNavio, Januar 2013
N.N.: Head Mounted Display (HMD) Market
Analysis By Product (Helmet Mounted Display,
Wearable Glass), By End-Use (Defense, Consumer),
By Application (Imaging, Security, Tracking, Training
& Simulation) And Segment Forecasts To 2020,
Grand View Research, Oktober 2014
Zusammenfassung
43. ZusammenfassungEinsatzfelderSystemklassen
VDC-Whitepaper
Head Mounted Displays und Datenbrillen
Entwicklungsrichtungen
Links
http://www.stereo3d.com/hmd.htm
Bungert, Christoph: HMD/headset/VR-helmet Comparison Chart, abgerufen am 20.6.2014
http://www.vrbrillen.net
Kovshenin, Konstantin: VR Brillen. Head Mounted Display – Der nächste Quantensprung in
Gaming und Film, abgerufen am 20.6.2014
http://www.roadtovr.com/head-mounted-display-hmd-vr-headset-comparison/
Road to VR: HMD Comparison. Head Mounted Display (HMD) / VR Headset Comparison
Chart, abgerufen am 20.6.2014
http://www.vdc-fellbach.de/wissen/vr-hardware/head-mounted-displays
Runde, Christoph: Head Mounted Displays & Datenbrillen, abgerufen am 20.6.2014
http://www.vrnerds.de/hardvr/96-2/
Uthe, Nico, et al.: VR-Nerds a Virtual Reality Showcase: Head Mounted Displays, abgerufen
am 20.6.2014
43
Zusammenfassung