Keynote auf der 1. Fachkongress Digitale Transformation im Lebenszyklus der Verkehrsinfrastruktur an der TAE, Technische Akademie Esslingen, am 30.06.2021

1. © Fraunhofer-Institut für Angewandte Informationstechnik FIT

2. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Dr. Leif Oppermann, Leiter Mixed and Augmented Reality Solutions
VOM BÜRO INS BAUWERK
KOOPERATIONSMÖGLICHKEITEN MIT MIXED REALITY

3. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Ein kurzer Blick zurück
?

4. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Zur Person
◼ Leif Oppermann
◼ Seit 1990 Grafikprogrammierung (Commodore)
◼ Studium Bauingenieurwesen 1997-1998 (alte Baugewerkeschule in Nienburg, R.I.P.)
◼ Studium der Medieninformatik 1998-2003
◼ Abschluss in 2003, Thema: “Interaktionsflächen in Augmented Reality”
◼ 2004 – 2009, Mixed Reality Lab, Uni Nottingham, England
◼ Thesis: “Facilitating the Development of Location-Based Experiences” (mit 2.5 & 3G, WiFi)
◼ 2009 – heute, Fraunhofer FIT, Sankt Augustin
◼ Leitung Mixed and Augmented Reality Solutions
in der Abteilung Kooperationssysteme (Prof. Prinz)
◼ Ko-Autor des VR/AR Lehrbuchs von Springer (3 Auflagen)
◼ Aktuell Projekte zu 5G, im Baubereich und VR/AR in der Brückenprüfung

5. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Was ist Mixed Reality?
(Milgram und Kishino, 1994)
Mixed Reality – MR
Reality
Virtual Reality
Augmented Reality Augmented Virtuality
◼ AR ist Variation von
Virtual Reality (VR)
◼ VR ersetzt die
Wahrnehmung
◼ AR erweitert sie

6. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Willkommen in der Zukunft
◼ Seit März 2020 Homeoffice, d.h. online arbeiten
◼ Laptop, Webcam, Headset essentiell
◼ Neue Kanäle, Chats, Teams, Kalender, etc.
◼ Herkömmliche Veranstaltungen eingeschränkt
◼ Video-Konferenzen werden Standard
◼ Vertrauen auch
◼ Diese kollektive Erfahrung wird ein enormer Boost
für die Digitalisierung sein
◼ Es gibt aber noch weitere technische Möglichkeiten,
die in Zukunft an Bedeutung gewinnen werden.

7. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Fraunhofer FIT am
Institutszentrum Schloss
Birlinghoven
◼ Standort Birlinghoven bei Bonn
◼ Gegründet 1968 als GMD
◼ Forschungsminister Dr. Stoltenberg
◼ Software-Krise
◼ Theorie: Informatik-Studiengänge
◼ Praxis: GMD
(Erste und einzige Großforschungs-
einrichtung auf dem Gebiet der
Datenverarbeitung)
◼ Digitalisierung der Verwaltung
◼ Erste CAVE Europas am Standort (1996)
◼ Projekte:
◼ Juris, Bürgeramt Unna, Bafög-Bewertung,
PoliTeam (Bonn-Berlin Umzug digital
unterstützt), IPerG, IPCity, EnArgus,
Cloud-Computing
◼ Seit 2000: u.a. Fraunhofer-Institut für
Angewandte Informationstechnik FIT
◼ 1 von 75 Fraunhofer Instituten
◼ Anwendungsorientierte IT
◼ Kooperatives Design
◼ Fraunhofer FIT ist exzellenter Partner für
die menschzentrierte Gestaltung unserer
digitalen Zukunft.

8. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
◼ Partner der TOP 3 „Beste Kooperationsprojekte 2020“ beim eGovernment
Wettbewerb der Bundes- und Landesministerien
◼ https://www.egovernment-wettbewerb.de/gewinner/gewinner-2020.html
◼ 2x Blockchain, 1x Digital Strategie für Hamburg

9. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
50 Jahre auf einen Blick
◼ 1. Büro-Automatisierung
◼ 2. Groupware
◼ 3. Social Computing
Quelle: Beyond CSCW and HCI: Challenges and Useful Practices Towards a Human-Centred Vision of AI and IA , Oppermann et al., HTTF 2019, Nottingham, UK.
◼ Von EDV zum WWW
◼ From Human Factors to Human Actors
◼ CSCW – Computer Supported Collaborative Work
◼ HCI – Human Computer Interaction
◼ Zunehmend mobil

10. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Kooperationssysteme / CSCW
◼ Über 30 Jahre Groupware-Forschung
◼ Office und Kollaboration über das Internet
◼ Unterstützung des Bonn-Berlin Umzugs
◼ Laufmappe -> digitale Laufmappe
◼ Shared Workspace Konzept -> BSCW
◼ 25 Jahre BSCW Kompetenz (cloud-basierte Groupware)
◼ Kollaboration über Organisationsgrenzen hinweg
◼ u.a. in Betrieb bei ITZ Bund, BASt
◼ Ihre Daten in Deutschland
◼ Vertikale Integration erlaubt beliebige Anpassungen
◼ Daher oft Projektpartner in Forschungsprojekten

11. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Warum?
◼ Technik soll Arbeit erleichtern
◼ Intelligence Amplification (Fred Brooks, 1996):
◼ „using the computer as a tool that makes
a task easier for a human to perform“
◼ “IA > AI”
◼ Intelligence Amplification, also Computer + Mensch,
wird künstliche Intelligenz (KI/AI) zu jeder Zeit schlagen
◼ Drei Wellen (nach Susanne Bødker):
◼ 1. Programme für Menschen benutzbar gestalten
◼ 2. der Arbeitskontext / das Büro, die Menschen
◼ 3. Alltagsdurchdringende Geräte
◼ Damit einhergehend:
◼ neue Interaktionsformen erforschen
◼ Jenseits des Schreibtisches

12. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Kommunikation bei der Arbeit und in der Freizeit
Vision von 1929
(Credit: Museum für Kommunikation, Bern)
Patent von 1960

13. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
„Neue Mobilgeräte“ inspirieren uns – wie können wir damit umgehen?

14. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Eigentlich schon eine alte Technik …
Ivan Sutherland, The Ultimate Display / Sword of Damocles, 1968

15. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Eigentlich schon eine alte Technik …
(Quelle: http://wearcam.org/steve5.jpg)

16. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Vision und Wirklichkeit der Virtual Reality in den 1990ern
Massive VR Teleconferencing
Dactyl Nightmare
◼ Sog. „VR Crash“
◼ Erwartungen konnten
nicht erfüllt werden

17. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Grafikleistung 1998 vs. 2008, Trend zu Mobile zeichnet sich ab
(Quelle: Mark Billinghurst)

18. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Thema: Virtual Reality (VR) und Augmented Reality (AR)
◼ Immer bessere Immer bessere Mobiltechnik
◼ Was kann man damit machen?
◼ Annäherung durch Erstellung und Evaluation
repräsentativer Prototypen im Bereich
Mixed und Augmented Reality
◼ Viel Smart Glasses und andere Devices
◼ Viel Ortsbezug
◼ Kooperatives Prototyping mit Domänen-
Experte / Designern / Künstlern
◼ Seit ca. 10 Jahren kombinieren wir CSCW und MR
Virtual Reality (The Lawnmower Man)
Augmented Reality (TimeWarp, Fraunhofer FIT)

19. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Mixed Reality für die Arbeit von morgen
CSCW
• Büro-Automatisierung
• Kooperationsunterstützung
• Social Media
Mixed
Reality
• Mobile, Games und Apps
• Smart Devices, Wearables, Internet of Things
• Neue Interaktionsformen
Kombiniert
• Digitalisierung interaktiver Workflows
potentiell überall (5G)
• Für Lernen, Smart*, Arbeit, Sport und Spiel.

20. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
◼ Innovative Benutzerschnittstellen → “Post-Desktop”
◼ Smart Phones, Glasses, Watches, etc.
◼ In drahtlosen Netzwerkumgebungen
◼ Techniken zur Positionierung
◼ Kooperationsunterstützung mit CSCW und Mixed Reality bei der Arbeit
◼ Study: Head Mounted Displays in German Companies
(Deloitte, Fraunhofer FIT, bitkom)
◼ Study #180: VR/AR („Büro für Technikfolgen-Abschätzung
beim Deutschen Bundestag“)
◼ i-com journal „Smart Glasses“
Worum geht es mir?

21. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Virtuelle und Erweiterte Realität verlassen das Gebäude seit 20 Jahren
(Modelle oft speziell erstellt)
ARTHUR CoSpaces IPCity
Video Video Video

22. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Vorarbeiten Mobile AR in 2010er Jahren
◼ IPCity Time Warp 2010
◼ Mobile Mixed Reality Visualisations mit ETRI, 2010
◼ Bauhaus summaery 2011

23. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
AutoAR Google Tango Tablet
Anwendungen seit Bau 2015
Mobile AR Visualisierung BIMiD-Referenzobjekt
Verwaltungsgebäude B11 für Volkswagen Financial Services (VWFS)
Gebäude C5, Fraunhofer FIT
Artikel: „Seht Euch das mal an!“ Video

24. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Einmalige Gelegenheit: Umbau des eigenen Gebäudes C5
◼ Liegenschaften am Campus
◼ Forschungstradition CSCW & MR
◼ Digitales Gebäude-Modell
◼ Räume
◼ TGA
◼ Verschiedene Studien
◼ Anwendungen
◼ Geräte - Brille oder Tablet?
◼ Indoor Tracking HUB conference, Berlin 2016
Das Gebäude C5 in VR
auf Standard-PC mitgenommen
Schweizer TV-Magazin „Einstein“ auf Hausbesuch, Mobile AR-Ansicht auf TGA
http://m.srf.ch/sendungen/einstein/einstein/arbeitswelt-4-0-ein-hausbesuch

25. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Also wieder rein in die Gebäude mit 3D Gebäudemodellen
Models courtesy of IZB.LD

26. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Pläne begehen und verstehen
SRF1 - Einstein
◼ Technik:
◼ Tablett
◼ 3D Orientierungssensorik
und Raumerkennung
◼ Anwendung:
◼ Ortsgenaue 3D
Visualisierung
◼ Visualisierung von
Innenansichten
(Räume, Technik, Möbel)
◼ Interaktion mit Plänen

27. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Umfassende Prozessunterstüzung mit Mixed Reality
Arbeitsanweisung Augmentierung
von Plänen
3D Visualisierung
von Entwürfen
Ortsgenaue Darstellung
und Interaktion
Visualisierung
vor Ort
Video

28. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
5G Troisdorf
IndustrieStadtpark
(BMVi)
5G Campus
Birlinghoven
(Eigenmittel)
FIT: Partner für 5G-basierte Innovationsprojekte der KMUs in der Region Bonn
Expertise auf Netzwerk- und Anwendungsebene
Source: industry-analytics.de

29. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Projekt: 5G-SA Campus Birlinghoven
Fact Sheet Partner
5G-SA Campus Netz
▪ Startdatum: 2021, im Aufbau
▪ Infos: https://www.fit.fraunhofer.de/5g
Möglichkeiten
• Fokus auf 5G-SA-spezifische Merkmale wie präzise Lokalisierung oder Kommunikation mit geringer Latenz
• Test-Campus für 5G Indoor- und Outdoor-Anwendungen mit KMU-Fokus
• Durchführung experimenteller 5G-Projekte mit Ihnen
• Kostenaspekte ggf. im Vergleich zu WiFi6E
• Beratung zu Anwendungszenarien in verschiedenen Bereichen, u.a.: Produktion und Fernwartung,
BIM-Prozesse im Bauwesen, Internet der Dinge, Mixed Reality
• Eingezäunt mit Wegenetz
• Unterstützung bei: Anforderungsanalyse, Equipment-Auswahl, Aufbau und Evaluation von Prototypen
• Kombiniertes Know-How auf Anwender-Ebene und Netzwerk-Ebene

30. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
5G CAMPUS-NETZ IM KMU KONTEXT
Entwicklungs-, Demonstrations- und Testumgebung für mobile
Kooperationsunterstützung im Büro- und Industrieumfeld (KMUs)
CT 2
CT 1
Demo-Loop
Car/Walking
FhG 5G-SA Campus Network (NPN)
n78 100HMz (3.7...3.8 GHz)
Accurate Positioning Use Cases
-- non-commercial use only --

31. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Video

32. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Reflektionen
◼ Mobile Konsumerprodukte sind die Vorreiter für den Arbeitsplatz
◼ Die Geräte, auf die wie vor 10 Jahren gewartet haben, sind heute da!
◼ Corona-Homeoffice hat unsere Arbeitswelt nachhaltig verändert
◼ Der Büro-Arbeitsplatz wird nicht abgelöst, aber situativ ergänzt
◼ Abläufe müssen im Kontext situativen Interaktionsmöglichkeiten neu gedacht werden
◼ Trend nach draußen und wieder zurück: Raum -> Gebäude -> Campus -> Stadt -> Bauwerk
◼ Man kann auch großes Equipment (z.B. Ingenieurstechnik) verwenden, kleiner wird es sowieso
◼ Granularität der Genauigkeit durchdenken
◼ Welt, Land, Bauwerk, m/dm/cm/mm-Genauigkeit?
◼ Orientierung, auf was schaue ich?

33. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Reflektionen
◼ Reiche Forschungstradition in CSCW und HCI verschmilzt seit 10 Jahren mit mobiler Mixed Reality
◼ Anwendungen in vielen Domänen, auch im Bau
◼ Mensch-zentriertes Design: iteratives, partizipatives Vorgehen ein Muss!
◼ IA>AI: Mensch und Computer stärker als nur Computer (auch KI)
◼ Offline ist kein Fehler, sondern Teil des Materials Netzwerk
◼ Muss entsprechend berücksichtigt werden
◼ Sicher auch in Brücken, Tunneln und bei 5G

34. © Fraunhofer-Institut für Angewandte Informationstechnik FIT
Kontakt
◼ leif.oppermann@fit.fraunhofer.de
◼ 02241– 14 37 99
◼ Fraunhofer FIT
Schloss Birlinghoven
53757 Sankt Augustin
◼ www.fit.fraunhofer.de/mars
◼ https://twitter.com/Fraunhofer_FIT
◼ https://www.youtube.com/user/FraunhoferFIT/playlists
Dr. Leif Oppermann
Team-Leiter MARS am FIT