My talk about mixed reality at #PFGK18 in Munich (in German).

1. Mixed Reality Anwendungen mit 3D-
Stadtmodellen
Prof. Martin Christen, Urs Clement, Adrian Meyer
FHNW – Fachhochschule Nordwestschweiz
Hochschule für Architektur, Bau und Geomatik
Institut Geomatik
martin.christen@fhnw.ch

2. 8 March 2018Institut Geomatik 2
Milgram’s Reality-Virtuality Continuum (I)
P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual DisplaysIEICE Transactions on Information and
Systems, E77-D(12), pp. 1321-1329, 1994.

3. 9 March 2018Institut Geomatik 3
Milgram’s Reality-Virtuality Continuum (II)
Reality (Realität)
Reale Darstellung in Echtzeit (z.B. Video,
Webcam, ...)
Augmented Reality
(AR)
Reale Darstellung in Echtzeit mit Zusatzinfo.
z.B. Head-up-Display, Smartphone mit
eingeblendeten 3D-Objekten
Augmented Virtuality
(AV)
Virtuelle Szene mit eingeblendeten realen
Objeken (z.B. Personen). Interaktion zwischgen
realer und virtueller Welt
Virtual Reality
(VR)
Komplett virtuelle Szene in Echtzeit.
MixedReality(MR)
P. Milgram and A. F. Kishino, Taxonomy of Mixed Reality Visual DisplaysIEICE Transactions on Information and
Systems, E77-D(12), pp. 1321-1329, 1994.

4. 9 March 2018Institut Geomatik 4
1994
Quelle: https://www.webdesignerdepot.com/2008/12/video-game-design-between-1990-2008/
Heretic
Warcraft
Tekken

5. 9 March 2018Institut Geomatik 5
Einige Meilensteine Augmented Reality in den 90er Jahren
1992: T. Caudell von Boing prägt den Term “AR”.
1996: Erste Kollaborative AR Systeme
1997: Augmented Reality Definition von Azuma (siehe nächste Folie)
1999: ARToolkit erscheint (Tracking-Software) https://www.artoolkit.org/
Google Suche nach AR/VR

6. 9 March 2018Institut Geomatik 6
• Reelles und virtuelles Bild sind zur selben Zeit
sichtbar
• Interaktiv und Echtzeit – Interaktion mit der
virtuellen Umgebung
• Virtuelle Objekte erscheinen ortsgebunden
Azuma, R. T. (1997). A survey of augmented reality. Presence, 6(4), 355-385.
Augmented Reality Definition nach Azuma (1997)

7. 9 March 2018Institut Geomatik 7
Augmented Reality: Marker-based und Markerless
Quelle: letzgro.net
https://blog.instabug.com/2017/09/augmented-reality-tools/

8. 9 March 2018Institut Geomatik 8
Hololens: Mixed Reality Brille von Microsoft
Quelle: PCMag
Realität und Virtualität werden Markerlos

9. 9 March 2018Institut Geomatik 9
Micrsoft Hololens: time of flight

10. 9 March 2018Institut Geomatik 10
Apple ARKit und Google ARCore – Trend: Gerätehersteller liefern AR SDKs
https://developer.apple.com/arkit/
https://developers.google.com/ar/discover/
TrueDepth Camera
iPhone X and ARKit enable a revolutionary
capability for robust face tracking in
augmented reality apps. Using the
TrueDepth camera, your app can detect
the position, topology, and expression of
the user’s face, all with high accuracy and
in real time, making it easy to apply live
selfie effects or use facial expressions to
drive a 3D character.
Scene Understanding and Lighting Estimation
With ARKit, iPhone and iPad can analyze the scene
presented by the camera view and find horizontal
and vertical planes in the room, and can track and
place objects on smaller feature points as well.
ARKit also makes use of the camera sensor to
estimate the total amount of light available in a
scene and applies the correct amount of lighting to
virtual objects.
Quelle: Apple Inc.

11. 9 March 2018Institut Geomatik 11
Mixed Reality Anwendungen mit 3D-Stadtmodellen
Ausgangslage: Es soll eine App für die Stadt Basel entwickelt werden, bei der
–Das physische Stadtmodell soll augmentiert werden.
–Augmentierung des offiziellen Stadtplans Basel-Stadt
–Das 3D-Stadtmodell als “Hologram” in der realen Welt platzieren und
betrachten (z.Z in Entwicklung)
Dabei sollen verschiedene Layer des Geoportals eingeblendet werden können.

12. 9 March 2018Institut Geomatik 12
Physisches Stadtmodell (Lindenholz) 1:1000

13. 9 March 2018Institut Geomatik 13
Geoviewer Basel-Stadt

14. 9 March 2018Institut Geomatik 14
Verfügbare Daten zur Einblendung (Auswahl)
Objekte / Features Geodatenssatz Datenquelle
Points of Interest (z.B. Restaurants,
Museen, Schulen, Sehenswürdigkeiten)
Kategorisierte und
einzelne Punkte
GVA, OSM
Baumkataster & Grünflächen Einzelpunkte und
Polygone
GVA
Strassennamen Einzellinien GVA, OSM
Leitungskataster Strom/Gas/Wasser Kategorisierte Linien GVA, IWB
Verkehrswege Auto Kategorisierte Linien GVA, OSM
Verkehrswege Velo Kategorisierte Linien GVA, OSM
Verkehrswege Fussgänger und Treppen Kategorisierte Linien GVA, OSM
Liniennetz Öffentlicher Verkehr Kategorisierte und
einzelne Linien
GVA, BVB/BLT/SBB
Kartierung invasiver Neophyten Polygone GVA
Gewässer und Gewässerzustand Polygone GVA
Versorgungszonen (z.B. Schulen,
Kindergärten, Polizei, Feuerwehr und
Entsorgung)
Polygone GVA
Verkehrsberuhigte Zonen Polygone GVA
Politische Grenzen und Wahlbezirke Polygone GVA

15. 9 March 2018Institut Geomatik 15
Auswahl der SDK / API
Vuforia Wikitude ARToolkit ARKit
Unity3D Support Yes Yes Yes Yes
iOS Support Yes Yes Yes Yes
Android Support Yes Yes Yes No
Microsoft Hololens Support Yes Future Yes No
Cloud Recognition Aufpreis
1200 $/yr
Aufpreis
1500 €/yr
No Yes
3D Marker Erkennung Yes Aufpreis
500 €/yr
No No
SLAM Capability Partially Full No Full
Rated Recognition Stability of immovable 2D Marker 10/10 6/10 8/10 N/A
Minimum Angle for Detection of Example 2D Marker 30° 40° 10° N/A
Minimum Visibility of 2D Marker for Detection 20% 30% 100% N/A
Maximum Distance for Example 2D Marker Detection
(m)
1.2 0.8 3.0 N/A
Maximum Distance for Holding Example Marker 3.7 3.0 3.0 > 5.0
Lizenzkosten im Rahmen der Stadtmodell-Nutzung Einmalig
500 $
2500 €/yr Open Source Kostenlos,
Xcode
300 $/yr
Quelle: Masterprojekt A. Meyer

16. 9 March 2018Institut Geomatik 16
Verwenden der Vuforia Object Scanner App
Prinzip: Model Based Tracking (Amin and Govilkar, 2015)
Quelle: Masterprojekt A. Meyer

17. 8 March 2018Institut Geomatik 17
Resultat
Quelle: Masterprojekt A. Meyer

18. 9 March 2018Institut Geomatik 18
Stadtplan (aus Papier) augmentieren (1:12500)

19. 9 March 2018Institut Geomatik 19
2. Stadtplan augmentieren

20. 8 March 2018Institut Geomatik 20
Der Stadtplan wird aufgeteilt und als Marker verwendet

21. 9 March 2018Institut Geomatik 21
Einblenden verschiedener Layer

22. 9 March 2018Institut Geomatik 22
• Es wurden einige Anwendungsmöglichkeiten im Bereich Mixed Reality mit 3D-
Stadtmodellen präsentiert.
• Überlagerung Stadtplan / phsyisches Modell funktioniert relativ gut
• Zukünftig sollen noch mehr Daten überlagert werden.
• Erste Tests mit Untergrunddaten sowie Animation von Verkehrsmitteln sind
erfolgt.
• Platzieren des Modells auf physischen Oberflächen wird im Moment
implementiert.
• Release der App: ca. Mai/Juni 2018 (Android, iOS)
Fazit & Ausblick

23. 8 March 2018Institut Geomatik 23

24. 8 March 2018Institut Geomatik 24
Fragen