SlideShare une entreprise Scribd logo
1  sur  29
Télécharger pour lire hors ligne
Whitepaper
Virtual Reality in der Medizin und Medizintechnik
Techniken, Anwendungen, Ergebnisse
Von:

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Herausforderungen
Umfeld:
 Notwendig im Training:
- realistisch
- seltene Pathologien
- objektive Bewertung der Leistung
- einfacher Zugang
- Szenarien-Simulation
 Training nach wie vor auch am Patienten

 permanente Weiterentwicklung
von Behandlungsmethoden
 Koordinationsaufgabe Team
 eingeschränkte Sicht,
indirektes Arbeiten

 komplexe 3D-Daten,
schwierige Bildinterpretation
 multimodale Interaktion

 Assessment des Chirurgen/Studenten

 Planung komplexer Operationen

 Beherrschung vieler Wissensdomänen

 komplexe Gerätetechnik
 Anwendung für Geräteentwicklung
 Szenarien-Simulation für Therapie

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

2
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Anwendungsfelder
 VR-gestützte Diagnostik
- Analyse 3D-Daten aus
volumengebenden Verfahren
 Analyse Simulationsdaten
- Festigkeits-/Spannungsberechnung
- Kinematiken, Mehrkörpersysteme
- Strömung, Fluidik
 Planung Eingriff
- Abläufe, Wege
- Bestrahlung
 Intraoperative Unterstützung
- Navigationsunterstützung
- erweitertes chirurgisches Blickfeld
 Tele-Medizin
- Telepräsenz mit VR

 Rehabilitation
- Motorik
- psychiatrische Therapie
 Digitale Atlanten
 Training
- endoskopische Verfahren
- chirurgische Tätigkeiten
- Abläufe und Prozesse,
Gerätetechnik
 Workflow- und
Anordnungsplanung
 Illustration Medizintechnik
für die Marketing-Kommunikation

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

3
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

VR-gestützte Diagnostik
 immersive Analyse von
Ergebnissen volumengebender Verfahren:
CT, MRT, Ultraschall
 Nutzung von Stereoskopie
und Bewegungsparallaxe
(über Head Tracking):
Verbesserung räumliche
Tiefenwahrnehmung

DigiHom

Bild: ZGDV Darmstadt

3D-Darstellung
Gehirntumor mit
Blutgefäßen

Bild: VPH/ZGDV

 räumliche 6DOF-Interaktion

Bild: Fh-IPA

3D-Szene aus Inhalten
volumengebender
Verfahren

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

4
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

VR-gestützte Diagnostik – einsetzbare Techniken
 Fehlfarbendarstellung: eine  Zeitraffer, Zeitlupe:

physikalische Größe (wie z. B. Animation: für das Erkennen
Temperatur) wird über eine
zeitlicher Zusammenhänge
Farbcodierung sichtbar
 Überhöhen: physikalische
gemacht
Größe wird verstärkt, so

 Proben: der Betrachter kann
dass sie sichtbar wird
mit einem Messfühler das
 komparative Darstellung:
Modell abfahren und
alternative Prozesse werden
Messwerte anzeigen lassen.
Der Messfühler kann bezüglich simultan gezeigt, um
Unterschiede zu erkennen
der gemessenen Größe
variabel sein.
 subtraktive Darstellung: nur
 Schnitte: das 3D-Modell wird Unterschied zwischen zwei 
so angeschnitten, dass die für Prozessalternativen wird
angezeigt. Damit lassen sich
den Betrachter wichtigen
Prozessunterschiede noch
Bereiche gut zu sehen sind
leichter ausmachen

selektive Darstellung nach
Werten: nur Modellbereiche mit
bestimmten Messwerte
angezeigt: Problemzonen

Superposition:
2 Simulationsergebnisse oder
ein Versuchsteil und ein
Simulationsergebnis werden
graphisch überlagert:
Optimierungspotenzial des
Simulationsmodells oder
Schwankungen des Verfahrens
Inline-Unterstützung mit AR:
Überlagerung Messwerte /
Prozessparameter auf Situs
(-> intraoperative Unterstützung)

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

5
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Analyse Simulationsdaten
Festigkeits- und Spannungsberechnung:
Überprüfung
 Geometrie Implantat
Bild: Fh-IGD

 Einbringungsort

Analyse der Statik
Knieimplantat

Bild: CADFEM

Anpassen Implantat
auf individuelle
Wirbel-Geometrie;
Spannungsberechnung
Implantat

Bild: Visenso

Spannungsberechnung
Oberschenkelknochen
mit Implantat;
Dekubitus-Simulation:
Spannungen an Knochen

 Funktionsweise
 Belastungen, Spannungen
am digitalen Modell.

Bilde CADFEM

Bild: Visenso

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

6
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Analyse Simulationsdaten
Kinematik und Mehrkörpersysteme:
Überprüfung
 Bewegungen, Bewegungsgrenzen,
Geschwindigkeit, Passgenauigkeit

Bild: Blundell

Hüftgelenk:
Analyse Kräfte

 Kräfte, Drehmomente

Bild: Fh-IGD

Kiefer:
Analyse von
Bewegungspathologien,
Validierung von
Implantationen

Bild: AnyBody

Bein:
digitales Modell der
Muskeln und Knochen

 Spannungen

am digitalen Modell.

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

7
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Analyse Simulationsdaten
Strömung und Fluidik:
Überprüfung
3D-Modellierung,
Simulationsmodell
Strömung
Naseninnenraum

 Flussgeschwindigkeiten

 Verwirbelungen

Bild: Fh-IGD

 umströmte Bereiche,
unumströmte Bereiche

am digitalen Modell.

Bild: Fh-IGD

Bild: Visenso

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

Strömungssimulation
Nasenströmung

Simulationsmodell
Strömung Aneurisma

8
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Prä-operative Planung - Simulation des Eingriffs
 Ablaufplanung
 Wegeplanung
 Fügen
Bild: HS Bern

virtuelle
Ostheosynthese

Bild: HS Bern

3D-Interaktion mit
3D-Daten zur
Ostheosynthese

Bild: BMBF

Operationsplanung
Metastasen (gelb),
die Pfortader
(orange) und die
Lebervenen (blau)

Anwendungsbeispiele:
 Ostheosynthese-Planung
 diverse Anwendungen Chirurgie
 Bestrahlungsplanung

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

9
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Planung – Beispiel Leber-Resektion

Verschiedene
Aufteilungswerkzeuge
zur Simulation einer
atypischen Resektion:
a) Ebene
b) Kugel
c) formbare Fläche

3D-Messwerkzeuge
für die räumliche
Analyse:
a) Distanzmessung
b) Volumenmessung
einzelner Objekte
c) Volumen-Summe
über virtuellen
Messbecher
Bilder: TU Graz

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

10
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Exkurs: Erweiterte Realität (Augmented Reality – AR)


Grundgedanke: Überlagerung natürlicher Sicht mit
Computer-generierten Informationen



Kontext-Sensitivität, Alpha-numerischer oder
3D-Content



Abgleich Realität vs. Modell einfach:
Konsistenz-Checks digitales Modell – phys. Welt



Digitalisierung nicht immer / so umfangreich
erforderlich



hohe Verständlichkeit durch Andocken der
Computergrafik an reales Objekt

Datenbrille

Einplanen Ausrüstung
in Fabrikhalle

Einsatz in Fällen, bei denen Handbuch schwierig



CAD-Model über
physischem Prototyp

Bild: Volkswagen



Bild: metaio

Anleitung, Anweisung, Verdeutlichung,
Unterstützung im Arbeitsprozess

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

11
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Intraoperative Unterstützung
 Bereitstellung 3D-Daten aus
volumengebenden Verfahren
 technische Daten, Messdaten

 unterschiedliche Systemkonfigurationen
denkbar (prototypisch getestet)
- Display zwischen Chirurg und Situs
(video-see-through oder
optical-see-through)
- Projektion auf Situs
- nebeneinander auf separaten
Displays (nächste Seite)

Bild: ZGDV

Möglicher HardwareAufbau: Display über
dem Patienten

Bild: ZGDV

Blick durch das Display:
Zusatzinformationen in
der normalen Sicht

Bild: Surgical Planning
Laboratory, Harvard

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

Aufprojektion
3D-Daten

12
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Intraoperative Unterstützung
9. Oktober 2012: Am Berner ARTORG
Center for Biomedical Engineering wird
chirurgische Navigationstechnologie mit
Darstellungen von Erweiterter Realität (oder
Augmented Reality) verbunden. Diese
Technologie ermöglicht es, während einer
Operation auch die innere Struktur eines
Organs abzubilden. Das neue Verfahren
wurde nun erstmals bei einer komplexen
Leber-Operation eingesetzt.

Bild: Universität Bern

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

Die Leber wird dreifach dargestellt: Ein
Bildschirm im Operationssaal zeigt 3DComputertomographie (CT)- und
Magnetresonanz (MRT)-Aufnahmen,
welche die innere Anatomie der Leber des
Patienten zeigen. Auf einem weiteren sind
Endoskop-Bilder der Miniaturkamera zu
sehen, und ein dritter Bildschirm
schließlich zeigt eine Kombination von
beiden, also ein überlagertes,
«realitätserweitertes» Bild. Sämtliche
relevanten Informationen werden so in
einem «chirurgischen Cockpit» auf
mehreren Bildschirmen zusammengeführt –
und dies verhilft zu einer einfacheren
Orientierung und zu besseren
Entscheidungen.

13
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Tele-Medizin
 Tele-Chirurgie: Telepräsenz-Anwendungen,
bei der sich Chirurg und Patient an
verschiedenen Orten befinden
Anwendungsszenarien:

Schema Tele-Chirurgie.:
Als ein Paradebeispiel
für die „long-distance“Anwendung wird eine
im Jahre 2001
durchgeführte
Gallenblasenentfernung
gesehen. Hier wurde
eine Patientin in
Straßburg von
Roboterarmen operiert,
die von einem Chirurgen
in New York bedient
wurden.

 vor-Ort-Behandlung Unfallopfer,
Soldaten, Transportunfähige
 Fern-Diagnose
 long-distance vs. short-distance
 Einbezug entfernter Spezialisten:
Telekonsultation
Bilder: Internet-Blog „Geste, image, sens“

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

14
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Rehabilitation
Motorik:
 Unterstützung Bewegung
 bewusste Einschränkung
ungewollter Bewegungsrichtungen

Bild: Gupta, O’Malley

Das MAHI Exoskelett

Bild: Blundell

Haptic Workstation
für Training nach
Schlaganfall

Bild: O‘Malley, Ambrose

6DOF JPL arm master

 Durchführung von Übungen
 objektive Erfolgsmessung

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

15
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Rehabilitation







Behandlung Phobien und Süchte durch
individuelles Training im Simulator
Behandlung der Posttraumatischen
Belastungsstörung (PTSD)
Schmerzkontrolle für Verbrennungspatienten
Untersuchung des Patientenverhaltens
und -empfindens
kognitiv-verhaltenstherapeutische Methoden
Begleitet durch Analyse problematischer
Denkmuster, konkrete
VR-Tunnelfahrt
Verhaltensübungen
und die Beeinflussung
körperlicher Prozesse
(z. B. durch gezielte
Bild: Uni Würzburg
Entspannungstechniken)

Bild: Uni Würzburg

VR-Flugszene

Bild: VT+

VR-Höhenszene

Bild: Uni Würzburg

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

VR-Spinnenszene

16
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Rehabilitation

Bild: VT+

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

VR-Höhenszene

17
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Exkurs: Virtual Reality im Wissensmanagement
Wissensarten in Virtuellen Umgebungen:
 Positionswissen: was ist wo?
 Strukturwissen: wie hängt was zusammen?
 Verhaltenswissen: wie verhält sich das System?
Wie verhalte ich mich?
 Prozedurwissen: welche Abläufe bewirken was?
Lernmöglichkeiten in Virtuellen Umgebungen:
 räumliches Explorieren
 konzeptuelles Lernen
 Erlernen motorischer Fähigkeiten
 prozedurales Lernen

Bild: VRMMP

Bild: VRMMP

Bild: The Medical News (2010): http://www.thaimedicalnews.com

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

Motorik

VR-Szene zum Einsatz
des Stethoskops

virtuelle Operation mit
der dazugehörigen
haptischen Schnittstelle

18
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Digitale Atlanten
 Vermittlung Positionswissen
 Vermittlung Strukturwissen
 Anatomie, Physiologie, Biomechanik
DigiHom

Bild: Fh-IPA

 Clipping (Wegschneiden von
graphischen Bereichen für eine
freie Sicht auf Relevantes)
 Transparenz (Durchsicht)

Google Body Browser

Bild: Google

 Animation

Bild: Bratz

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

Bild: BMBF

3D-Darstellungen
von Gehirn und Herz

19
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Training
 Trainingsszenarien mit visuellen
und haptischen Modalitäten
 Lernstufen: Vorführen,
Begleiten, Prüfen
 virtuelle Endoskopie,
Laparoskopie

Bild: VRmagic

 virtuelle Palpation
Bild: BioSkill

Simulationsumgebung eyesi:
Ophtalmo-Chirurgie

BioSkill-Simulator
für Endsokopie
und Laparoskopie

Bilder: Projekt HASASEM

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

Elektrorheologische
Flüssigkeit zur
haptischen Darstellung
von Elastogrammen.
Anwendung: Palpation
zur Identifikation
pathologischer
Veränderungen
des Gewebes

20
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Training
Diagnostik:
 Bereitstellung von Trainingsszenarien
Bild: Fh-IGD

Anwendungsbeispiele:

virtuelle
Rhinoskopie

 Rhinoskopie
 Ophtalmoskopie
 Arthroskopie

virtuelle
Ophtalmoskopie

Bilder: VR Magic

 Hysteroskopie
virtuelle
Arthroskopie

Bild: Fh-IGD

Bild: Fh-IGD

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

virtuelle
Hysteroskopie

21
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Training
Eingriff
 Bereitstellung von Trainingsszenarien

Anwendungsbeispiele:

Bild: Uni Heidelberg

Ophtalmochirurgie

 Ophtalmochirurgie
 Vitro-retinale Eingriffe,
Katarakt

Bilder: Uni Heidelberg

Ophtalmochirurgie

 Koloskopie

Bilder: Uni Heidelberg

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

EndoSim,
Schema Koloskopie,
3D-Szene aus der
virtuellen Koloskopie

22
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Training
Abläufe und Prozesse:
Bereitstellung von Trainingsszenarien für
 Prozeduren

Bild: Texas A&M University

virtuelle Palpation
der Wirbelsäule

Bild: Texas A&M University

 Reihenfolgen

Bild: Texas A&M University

virtuelle Überprüfung
Adaption des Auges
(Pupillenreflex)

Umgang mit
Gerätetechnik

 Einbindung Personal
 Hilfsmittel
 Bereitstellungsorte
 Verwendung Gerätetechnik

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

23
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Training
Abläufe und Prozesse - Noteinsatz-Simulatoren:
 Gewinnung Übersicht,
Sicherung

 Selbst-Organisation,
Team-Organisation

Bild: ETC Simulation

Simulationsumgebung
ADMS

 Koordinierung Personal
Bild: Texas A&M University

Bild: E-Semble

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

Mitarbeiter-Steuerung:
Simulationsumgebung
Pulse!!

Simulationsumgebung
XVR

24
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Workflow- und Anordnungsplanung
 Layout-Optimierung nach
Erreichbarkeit, Minimierung Wege,
Übersicht, Flussprinzip
Bild: FH Bern

Bild: FH Bern

Arbeitsgruppe am
Planungstisch
(Projekt Hovisse)

Bild: FH Bern

 hohe Auslastung Gerätetechnik bei
geringen Wartezeiten der Patienten
(Ressourcen-orientierte Eintaktung)

virtuelle
OP-Szene
(Projekt Hovisse)

Draufsicht und
4 Perspektiven
(Projekt Hovisse)

 u.a. Verwendung von MaterialflussSimulationen
 Ablaufbeschleunigung

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

25
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Illustration in der Marketing-Kommunikation






realistische Darstellung auf Basis 3D-Daten
Verständnis erzeugen
Prospektmaterial, Web, (Stereo-)Filme
Interaktion möglich
2D-Zeichnungserstellung auf Basis der
Konfiguration
Produktvarianz vermitteln
Individualisierung:
Konfiguration modularer Designs
durchgängige Vertriebs- und Angebotsprozesse
verlässliche und korrekte Angebote selbst für
komplexe Produkte
innovativer Außenauftritt





Bild: Visenso

virtueller OP-Saal:
Ausschnitt aus
3D-Stereo-Film
für KLSmartin

Bild: Visenso




Bild: LumoGraphics

Computergraphik
Operationssaal für
die Fa. Berchtold

chirurgische
Instrumente:
Ausschnitt aus
3D-Stereo-Film
für KLSmartin

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

26
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

Fazit








sehr breites bestehendes Einsatzspektrum von Virtual Reality
in der Medizin und Medizintechnik
Medizin ist das am stärksten spezialisierte Anwendungsgebiet der VR
auch mit sehr spezifischer Gerätetechnik
Herausforderung:
- Registrierung
- Generierung 3D-Daten in Echtzeit
komplexe Modelle, die alle Facetten der Realität widerspiegeln
Deutschland, Schweiz, USA sehr weit vorne dabei – Spezialisten in der Nähe

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

27
VDC-Whitepaper
VR in der Medizin
und Medizintechnik
Übersicht

VR-gestützte
Analyse
Diagnostik Simulationsdaten

Planung
Eingriff

Intraoperative
Unterstützung

Tele-Medizin

Rehabilitation

Digitale
Atlanten

Ausbildung
und Training

Workflow und
Anordnung

Illustration

VDC-Mitglieder und -Partner im Thema VR-Medizin-Medizintechnik

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

28
Das Thema interessiert Sie
und Sie suchen nach Umsetzungspartnern?
Sprechen Sie mit uns.

VDC.
Netzwerk für Virtual Engineering.
Virtual Dimension Center (VDC)
Auberlenstr. 13
70736 Fellbach
Tel.: 0711 / 58 53 09-0
info@vdc-fellbach.de
www.vdc-fellbach.de

© Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC

29

Contenu connexe

Similaire à Virtual Reality in der Medizin und Medizintechnik: VDC-Whitepaper

PM VDC veröffentlicht Whitepaper „Virtuelle Techniken in textilen Anwendungen“
PM VDC veröffentlicht Whitepaper „Virtuelle Techniken in textilen  Anwendungen“PM VDC veröffentlicht Whitepaper „Virtuelle Techniken in textilen  Anwendungen“
PM VDC veröffentlicht Whitepaper „Virtuelle Techniken in textilen Anwendungen“Virtual Dimension Center (VDC) Fellbach
 
Business Intelligence zur Prozessoptimierung im Krankenhausmanagement - Volke...
Business Intelligence zur Prozessoptimierung im Krankenhausmanagement - Volke...Business Intelligence zur Prozessoptimierung im Krankenhausmanagement - Volke...
Business Intelligence zur Prozessoptimierung im Krankenhausmanagement - Volke...Business Intelligence Research
 
PM Displaytrends 2012 - Hochauflösende Kameras und Displays für technische un...
PM Displaytrends 2012 - Hochauflösende Kameras und Displays für technische un...PM Displaytrends 2012 - Hochauflösende Kameras und Displays für technische un...
PM Displaytrends 2012 - Hochauflösende Kameras und Displays für technische un...Virtual Dimension Center (VDC) Fellbach
 
Mehrwert mit 3D-CAD-Daten
Mehrwert mit 3D-CAD-DatenMehrwert mit 3D-CAD-Daten
Mehrwert mit 3D-CAD-DatenIntelliact AG
 
Contech analyser fuer_robust_design_v1.6_dt
Contech analyser fuer_robust_design_v1.6_dtContech analyser fuer_robust_design_v1.6_dt
Contech analyser fuer_robust_design_v1.6_dtClaudia Herrmann
 

Similaire à Virtual Reality in der Medizin und Medizintechnik: VDC-Whitepaper (20)

Virtuelle Techniken in textilen Anwendungen: VDC-Whitepaper
Virtuelle Techniken in textilen Anwendungen: VDC-WhitepaperVirtuelle Techniken in textilen Anwendungen: VDC-Whitepaper
Virtuelle Techniken in textilen Anwendungen: VDC-Whitepaper
 
Einsatzgebiete von VR-Professionals in der Wirtschaft
Einsatzgebiete von VR-Professionals in der WirtschaftEinsatzgebiete von VR-Professionals in der Wirtschaft
Einsatzgebiete von VR-Professionals in der Wirtschaft
 
Whitepaper Virtuelle Techniken im Sondermaschinenbau
Whitepaper Virtuelle Techniken im SondermaschinenbauWhitepaper Virtuelle Techniken im Sondermaschinenbau
Whitepaper Virtuelle Techniken im Sondermaschinenbau
 
VDC Newsletter 2015-03
VDC Newsletter 2015-03VDC Newsletter 2015-03
VDC Newsletter 2015-03
 
VR / AR / MR in MRO & Service: VDC-Whitepaper
VR / AR / MR in MRO & Service: VDC-WhitepaperVR / AR / MR in MRO & Service: VDC-Whitepaper
VR / AR / MR in MRO & Service: VDC-Whitepaper
 
PM VDC veröffentlicht Whitepaper „Virtuelle Techniken in textilen Anwendungen“
PM VDC veröffentlicht Whitepaper „Virtuelle Techniken in textilen  Anwendungen“PM VDC veröffentlicht Whitepaper „Virtuelle Techniken in textilen  Anwendungen“
PM VDC veröffentlicht Whitepaper „Virtuelle Techniken in textilen Anwendungen“
 
Virtuelle Techniken im Marketingprozess: VDC-Whitepaper
Virtuelle Techniken im Marketingprozess: VDC-WhitepaperVirtuelle Techniken im Marketingprozess: VDC-Whitepaper
Virtuelle Techniken im Marketingprozess: VDC-Whitepaper
 
Virtuelle Techniken in der Luftfahrt: VDC-Whitepaper
Virtuelle Techniken in der Luftfahrt: VDC-WhitepaperVirtuelle Techniken in der Luftfahrt: VDC-Whitepaper
Virtuelle Techniken in der Luftfahrt: VDC-Whitepaper
 
Virtuelles Nutzfahrzeug: VDC-Whitepaper
Virtuelles Nutzfahrzeug: VDC-WhitepaperVirtuelles Nutzfahrzeug: VDC-Whitepaper
Virtuelles Nutzfahrzeug: VDC-Whitepaper
 
Whitepaper Virtuelle Abnahme im Maschinenbau Juli 2017
Whitepaper Virtuelle Abnahme im Maschinenbau Juli 2017Whitepaper Virtuelle Abnahme im Maschinenbau Juli 2017
Whitepaper Virtuelle Abnahme im Maschinenbau Juli 2017
 
Projektblatt 3D-Fitness-Check
Projektblatt 3D-Fitness-CheckProjektblatt 3D-Fitness-Check
Projektblatt 3D-Fitness-Check
 
Virtual Reality in Fertigungsverfahren: VDC-Whitepaper
Virtual Reality in Fertigungsverfahren: VDC-WhitepaperVirtual Reality in Fertigungsverfahren: VDC-Whitepaper
Virtual Reality in Fertigungsverfahren: VDC-Whitepaper
 
VDC Newsletter 2006-01
VDC Newsletter 2006-01VDC Newsletter 2006-01
VDC Newsletter 2006-01
 
Flyer 3D-Fitness-Check
Flyer 3D-Fitness-CheckFlyer 3D-Fitness-Check
Flyer 3D-Fitness-Check
 
Business Intelligence zur Prozessoptimierung im Krankenhausmanagement - Volke...
Business Intelligence zur Prozessoptimierung im Krankenhausmanagement - Volke...Business Intelligence zur Prozessoptimierung im Krankenhausmanagement - Volke...
Business Intelligence zur Prozessoptimierung im Krankenhausmanagement - Volke...
 
PM Displaytrends 2012 - Hochauflösende Kameras und Displays für technische un...
PM Displaytrends 2012 - Hochauflösende Kameras und Displays für technische un...PM Displaytrends 2012 - Hochauflösende Kameras und Displays für technische un...
PM Displaytrends 2012 - Hochauflösende Kameras und Displays für technische un...
 
Whitepaper Virtuelle Techniken in der Fabrikplanung
Whitepaper Virtuelle Techniken in der FabrikplanungWhitepaper Virtuelle Techniken in der Fabrikplanung
Whitepaper Virtuelle Techniken in der Fabrikplanung
 
Mehrwert mit 3D-CAD-Daten
Mehrwert mit 3D-CAD-DatenMehrwert mit 3D-CAD-Daten
Mehrwert mit 3D-CAD-Daten
 
OSG Volume Rendering
OSG Volume RenderingOSG Volume Rendering
OSG Volume Rendering
 
Contech analyser fuer_robust_design_v1.6_dt
Contech analyser fuer_robust_design_v1.6_dtContech analyser fuer_robust_design_v1.6_dt
Contech analyser fuer_robust_design_v1.6_dt
 

Plus de Virtual Dimension Center (VDC) Fellbach

XR Week 2022 gemeinsam mit Euro XR und VR/AR-Workshop der Gesellschaft für In...
XR Week 2022 gemeinsam mit Euro XR und VR/AR-Workshop der Gesellschaft für In...XR Week 2022 gemeinsam mit Euro XR und VR/AR-Workshop der Gesellschaft für In...
XR Week 2022 gemeinsam mit Euro XR und VR/AR-Workshop der Gesellschaft für In...Virtual Dimension Center (VDC) Fellbach
 
PM: 2018-11 3D-Usability als Wettbewerbsfaktor: Projekt 3D-GUIde endet erfolg...
PM: 2018-11 3D-Usability als Wettbewerbsfaktor: Projekt 3D-GUIde endet erfolg...PM: 2018-11 3D-Usability als Wettbewerbsfaktor: Projekt 3D-GUIde endet erfolg...
PM: 2018-11 3D-Usability als Wettbewerbsfaktor: Projekt 3D-GUIde endet erfolg...Virtual Dimension Center (VDC) Fellbach
 

Plus de Virtual Dimension Center (VDC) Fellbach (20)

VDC Newsletter November 2022.pdf
VDC Newsletter November 2022.pdfVDC Newsletter November 2022.pdf
VDC Newsletter November 2022.pdf
 
2022-11 PM VDC-Mitgliederversammlung.pdf
2022-11 PM VDC-Mitgliederversammlung.pdf2022-11 PM VDC-Mitgliederversammlung.pdf
2022-11 PM VDC-Mitgliederversammlung.pdf
 
2022-11 PM 20 Jahre VDC.pdf
2022-11 PM 20 Jahre VDC.pdf2022-11 PM 20 Jahre VDC.pdf
2022-11 PM 20 Jahre VDC.pdf
 
VDC-Newsletter September 2022
VDC-Newsletter September 2022VDC-Newsletter September 2022
VDC-Newsletter September 2022
 
VDC-Newsletter August 2022
VDC-Newsletter August 2022VDC-Newsletter August 2022
VDC-Newsletter August 2022
 
VDC-Newsletter Juli 2022
VDC-Newsletter Juli 2022VDC-Newsletter Juli 2022
VDC-Newsletter Juli 2022
 
VDC-Newsletter Juni 2022
VDC-Newsletter Juni 2022VDC-Newsletter Juni 2022
VDC-Newsletter Juni 2022
 
VDC-Newsletter Mai 2022
VDC-Newsletter Mai 2022VDC-Newsletter Mai 2022
VDC-Newsletter Mai 2022
 
VDC-Newsletter April 2022
VDC-Newsletter April 2022VDC-Newsletter April 2022
VDC-Newsletter April 2022
 
VDC-Newsletter März 2022
VDC-Newsletter März 2022VDC-Newsletter März 2022
VDC-Newsletter März 2022
 
VDC-Newsletter Februar 2022
VDC-Newsletter Februar 2022VDC-Newsletter Februar 2022
VDC-Newsletter Februar 2022
 
Whitepaper zur standardisierten Indoor-Ortung mit omlox
Whitepaper zur standardisierten Indoor-Ortung mit omloxWhitepaper zur standardisierten Indoor-Ortung mit omlox
Whitepaper zur standardisierten Indoor-Ortung mit omlox
 
XR Week 2022 gemeinsam mit Euro XR und VR/AR-Workshop der Gesellschaft für In...
XR Week 2022 gemeinsam mit Euro XR und VR/AR-Workshop der Gesellschaft für In...XR Week 2022 gemeinsam mit Euro XR und VR/AR-Workshop der Gesellschaft für In...
XR Week 2022 gemeinsam mit Euro XR und VR/AR-Workshop der Gesellschaft für In...
 
VDC Newsletter Januar 2022
VDC Newsletter Januar 2022VDC Newsletter Januar 2022
VDC Newsletter Januar 2022
 
VDC- Newsletter Dezember 2021
VDC- Newsletter Dezember 2021VDC- Newsletter Dezember 2021
VDC- Newsletter Dezember 2021
 
VDC Newsletter November 2021
VDC Newsletter November 2021VDC Newsletter November 2021
VDC Newsletter November 2021
 
VDC-Newsletter April 2021
VDC-Newsletter April 2021 VDC-Newsletter April 2021
VDC-Newsletter April 2021
 
VDC Newsletter Juli 2020
VDC Newsletter Juli 2020VDC Newsletter Juli 2020
VDC Newsletter Juli 2020
 
2019-07 PM VDC und VR/AR Association besiegeln Partnerschaft
2019-07 PM VDC und VR/AR Association besiegeln Partnerschaft2019-07 PM VDC und VR/AR Association besiegeln Partnerschaft
2019-07 PM VDC und VR/AR Association besiegeln Partnerschaft
 
PM: 2018-11 3D-Usability als Wettbewerbsfaktor: Projekt 3D-GUIde endet erfolg...
PM: 2018-11 3D-Usability als Wettbewerbsfaktor: Projekt 3D-GUIde endet erfolg...PM: 2018-11 3D-Usability als Wettbewerbsfaktor: Projekt 3D-GUIde endet erfolg...
PM: 2018-11 3D-Usability als Wettbewerbsfaktor: Projekt 3D-GUIde endet erfolg...
 

Virtual Reality in der Medizin und Medizintechnik: VDC-Whitepaper

  • 1. Whitepaper Virtual Reality in der Medizin und Medizintechnik Techniken, Anwendungen, Ergebnisse Von: © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC
  • 2. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Herausforderungen Umfeld:  Notwendig im Training: - realistisch - seltene Pathologien - objektive Bewertung der Leistung - einfacher Zugang - Szenarien-Simulation  Training nach wie vor auch am Patienten  permanente Weiterentwicklung von Behandlungsmethoden  Koordinationsaufgabe Team  eingeschränkte Sicht, indirektes Arbeiten  komplexe 3D-Daten, schwierige Bildinterpretation  multimodale Interaktion  Assessment des Chirurgen/Studenten  Planung komplexer Operationen  Beherrschung vieler Wissensdomänen  komplexe Gerätetechnik  Anwendung für Geräteentwicklung  Szenarien-Simulation für Therapie © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 2
  • 3. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Anwendungsfelder  VR-gestützte Diagnostik - Analyse 3D-Daten aus volumengebenden Verfahren  Analyse Simulationsdaten - Festigkeits-/Spannungsberechnung - Kinematiken, Mehrkörpersysteme - Strömung, Fluidik  Planung Eingriff - Abläufe, Wege - Bestrahlung  Intraoperative Unterstützung - Navigationsunterstützung - erweitertes chirurgisches Blickfeld  Tele-Medizin - Telepräsenz mit VR  Rehabilitation - Motorik - psychiatrische Therapie  Digitale Atlanten  Training - endoskopische Verfahren - chirurgische Tätigkeiten - Abläufe und Prozesse, Gerätetechnik  Workflow- und Anordnungsplanung  Illustration Medizintechnik für die Marketing-Kommunikation © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 3
  • 4. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration VR-gestützte Diagnostik  immersive Analyse von Ergebnissen volumengebender Verfahren: CT, MRT, Ultraschall  Nutzung von Stereoskopie und Bewegungsparallaxe (über Head Tracking): Verbesserung räumliche Tiefenwahrnehmung DigiHom Bild: ZGDV Darmstadt 3D-Darstellung Gehirntumor mit Blutgefäßen Bild: VPH/ZGDV  räumliche 6DOF-Interaktion Bild: Fh-IPA 3D-Szene aus Inhalten volumengebender Verfahren © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 4
  • 5. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration VR-gestützte Diagnostik – einsetzbare Techniken  Fehlfarbendarstellung: eine  Zeitraffer, Zeitlupe:  physikalische Größe (wie z. B. Animation: für das Erkennen Temperatur) wird über eine zeitlicher Zusammenhänge Farbcodierung sichtbar  Überhöhen: physikalische gemacht Größe wird verstärkt, so   Proben: der Betrachter kann dass sie sichtbar wird mit einem Messfühler das  komparative Darstellung: Modell abfahren und alternative Prozesse werden Messwerte anzeigen lassen. Der Messfühler kann bezüglich simultan gezeigt, um Unterschiede zu erkennen der gemessenen Größe variabel sein.  subtraktive Darstellung: nur  Schnitte: das 3D-Modell wird Unterschied zwischen zwei  so angeschnitten, dass die für Prozessalternativen wird angezeigt. Damit lassen sich den Betrachter wichtigen Prozessunterschiede noch Bereiche gut zu sehen sind leichter ausmachen selektive Darstellung nach Werten: nur Modellbereiche mit bestimmten Messwerte angezeigt: Problemzonen Superposition: 2 Simulationsergebnisse oder ein Versuchsteil und ein Simulationsergebnis werden graphisch überlagert: Optimierungspotenzial des Simulationsmodells oder Schwankungen des Verfahrens Inline-Unterstützung mit AR: Überlagerung Messwerte / Prozessparameter auf Situs (-> intraoperative Unterstützung) © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 5
  • 6. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Analyse Simulationsdaten Festigkeits- und Spannungsberechnung: Überprüfung  Geometrie Implantat Bild: Fh-IGD  Einbringungsort Analyse der Statik Knieimplantat Bild: CADFEM Anpassen Implantat auf individuelle Wirbel-Geometrie; Spannungsberechnung Implantat Bild: Visenso Spannungsberechnung Oberschenkelknochen mit Implantat; Dekubitus-Simulation: Spannungen an Knochen  Funktionsweise  Belastungen, Spannungen am digitalen Modell. Bilde CADFEM Bild: Visenso © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 6
  • 7. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Analyse Simulationsdaten Kinematik und Mehrkörpersysteme: Überprüfung  Bewegungen, Bewegungsgrenzen, Geschwindigkeit, Passgenauigkeit Bild: Blundell Hüftgelenk: Analyse Kräfte  Kräfte, Drehmomente Bild: Fh-IGD Kiefer: Analyse von Bewegungspathologien, Validierung von Implantationen Bild: AnyBody Bein: digitales Modell der Muskeln und Knochen  Spannungen am digitalen Modell. © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 7
  • 8. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Analyse Simulationsdaten Strömung und Fluidik: Überprüfung 3D-Modellierung, Simulationsmodell Strömung Naseninnenraum  Flussgeschwindigkeiten  Verwirbelungen Bild: Fh-IGD  umströmte Bereiche, unumströmte Bereiche am digitalen Modell. Bild: Fh-IGD Bild: Visenso © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC Strömungssimulation Nasenströmung Simulationsmodell Strömung Aneurisma 8
  • 9. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Prä-operative Planung - Simulation des Eingriffs  Ablaufplanung  Wegeplanung  Fügen Bild: HS Bern virtuelle Ostheosynthese Bild: HS Bern 3D-Interaktion mit 3D-Daten zur Ostheosynthese Bild: BMBF Operationsplanung Metastasen (gelb), die Pfortader (orange) und die Lebervenen (blau) Anwendungsbeispiele:  Ostheosynthese-Planung  diverse Anwendungen Chirurgie  Bestrahlungsplanung © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 9
  • 10. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Planung – Beispiel Leber-Resektion Verschiedene Aufteilungswerkzeuge zur Simulation einer atypischen Resektion: a) Ebene b) Kugel c) formbare Fläche 3D-Messwerkzeuge für die räumliche Analyse: a) Distanzmessung b) Volumenmessung einzelner Objekte c) Volumen-Summe über virtuellen Messbecher Bilder: TU Graz © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 10
  • 11. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Exkurs: Erweiterte Realität (Augmented Reality – AR)  Grundgedanke: Überlagerung natürlicher Sicht mit Computer-generierten Informationen  Kontext-Sensitivität, Alpha-numerischer oder 3D-Content  Abgleich Realität vs. Modell einfach: Konsistenz-Checks digitales Modell – phys. Welt  Digitalisierung nicht immer / so umfangreich erforderlich  hohe Verständlichkeit durch Andocken der Computergrafik an reales Objekt Datenbrille Einplanen Ausrüstung in Fabrikhalle Einsatz in Fällen, bei denen Handbuch schwierig  CAD-Model über physischem Prototyp Bild: Volkswagen  Bild: metaio Anleitung, Anweisung, Verdeutlichung, Unterstützung im Arbeitsprozess © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 11
  • 12. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Intraoperative Unterstützung  Bereitstellung 3D-Daten aus volumengebenden Verfahren  technische Daten, Messdaten  unterschiedliche Systemkonfigurationen denkbar (prototypisch getestet) - Display zwischen Chirurg und Situs (video-see-through oder optical-see-through) - Projektion auf Situs - nebeneinander auf separaten Displays (nächste Seite) Bild: ZGDV Möglicher HardwareAufbau: Display über dem Patienten Bild: ZGDV Blick durch das Display: Zusatzinformationen in der normalen Sicht Bild: Surgical Planning Laboratory, Harvard © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC Aufprojektion 3D-Daten 12
  • 13. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Intraoperative Unterstützung 9. Oktober 2012: Am Berner ARTORG Center for Biomedical Engineering wird chirurgische Navigationstechnologie mit Darstellungen von Erweiterter Realität (oder Augmented Reality) verbunden. Diese Technologie ermöglicht es, während einer Operation auch die innere Struktur eines Organs abzubilden. Das neue Verfahren wurde nun erstmals bei einer komplexen Leber-Operation eingesetzt. Bild: Universität Bern © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC Die Leber wird dreifach dargestellt: Ein Bildschirm im Operationssaal zeigt 3DComputertomographie (CT)- und Magnetresonanz (MRT)-Aufnahmen, welche die innere Anatomie der Leber des Patienten zeigen. Auf einem weiteren sind Endoskop-Bilder der Miniaturkamera zu sehen, und ein dritter Bildschirm schließlich zeigt eine Kombination von beiden, also ein überlagertes, «realitätserweitertes» Bild. Sämtliche relevanten Informationen werden so in einem «chirurgischen Cockpit» auf mehreren Bildschirmen zusammengeführt – und dies verhilft zu einer einfacheren Orientierung und zu besseren Entscheidungen. 13
  • 14. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Tele-Medizin  Tele-Chirurgie: Telepräsenz-Anwendungen, bei der sich Chirurg und Patient an verschiedenen Orten befinden Anwendungsszenarien: Schema Tele-Chirurgie.: Als ein Paradebeispiel für die „long-distance“Anwendung wird eine im Jahre 2001 durchgeführte Gallenblasenentfernung gesehen. Hier wurde eine Patientin in Straßburg von Roboterarmen operiert, die von einem Chirurgen in New York bedient wurden.  vor-Ort-Behandlung Unfallopfer, Soldaten, Transportunfähige  Fern-Diagnose  long-distance vs. short-distance  Einbezug entfernter Spezialisten: Telekonsultation Bilder: Internet-Blog „Geste, image, sens“ © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 14
  • 15. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Rehabilitation Motorik:  Unterstützung Bewegung  bewusste Einschränkung ungewollter Bewegungsrichtungen Bild: Gupta, O’Malley Das MAHI Exoskelett Bild: Blundell Haptic Workstation für Training nach Schlaganfall Bild: O‘Malley, Ambrose 6DOF JPL arm master  Durchführung von Übungen  objektive Erfolgsmessung © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 15
  • 16. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Rehabilitation       Behandlung Phobien und Süchte durch individuelles Training im Simulator Behandlung der Posttraumatischen Belastungsstörung (PTSD) Schmerzkontrolle für Verbrennungspatienten Untersuchung des Patientenverhaltens und -empfindens kognitiv-verhaltenstherapeutische Methoden Begleitet durch Analyse problematischer Denkmuster, konkrete VR-Tunnelfahrt Verhaltensübungen und die Beeinflussung körperlicher Prozesse (z. B. durch gezielte Bild: Uni Würzburg Entspannungstechniken) Bild: Uni Würzburg VR-Flugszene Bild: VT+ VR-Höhenszene Bild: Uni Würzburg © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC VR-Spinnenszene 16
  • 17. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Rehabilitation Bild: VT+ © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC VR-Höhenszene 17
  • 18. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Exkurs: Virtual Reality im Wissensmanagement Wissensarten in Virtuellen Umgebungen:  Positionswissen: was ist wo?  Strukturwissen: wie hängt was zusammen?  Verhaltenswissen: wie verhält sich das System? Wie verhalte ich mich?  Prozedurwissen: welche Abläufe bewirken was? Lernmöglichkeiten in Virtuellen Umgebungen:  räumliches Explorieren  konzeptuelles Lernen  Erlernen motorischer Fähigkeiten  prozedurales Lernen Bild: VRMMP Bild: VRMMP Bild: The Medical News (2010): http://www.thaimedicalnews.com © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC Motorik VR-Szene zum Einsatz des Stethoskops virtuelle Operation mit der dazugehörigen haptischen Schnittstelle 18
  • 19. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Digitale Atlanten  Vermittlung Positionswissen  Vermittlung Strukturwissen  Anatomie, Physiologie, Biomechanik DigiHom Bild: Fh-IPA  Clipping (Wegschneiden von graphischen Bereichen für eine freie Sicht auf Relevantes)  Transparenz (Durchsicht) Google Body Browser Bild: Google  Animation Bild: Bratz © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC Bild: BMBF 3D-Darstellungen von Gehirn und Herz 19
  • 20. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Training  Trainingsszenarien mit visuellen und haptischen Modalitäten  Lernstufen: Vorführen, Begleiten, Prüfen  virtuelle Endoskopie, Laparoskopie Bild: VRmagic  virtuelle Palpation Bild: BioSkill Simulationsumgebung eyesi: Ophtalmo-Chirurgie BioSkill-Simulator für Endsokopie und Laparoskopie Bilder: Projekt HASASEM © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC Elektrorheologische Flüssigkeit zur haptischen Darstellung von Elastogrammen. Anwendung: Palpation zur Identifikation pathologischer Veränderungen des Gewebes 20
  • 21. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Training Diagnostik:  Bereitstellung von Trainingsszenarien Bild: Fh-IGD Anwendungsbeispiele: virtuelle Rhinoskopie  Rhinoskopie  Ophtalmoskopie  Arthroskopie virtuelle Ophtalmoskopie Bilder: VR Magic  Hysteroskopie virtuelle Arthroskopie Bild: Fh-IGD Bild: Fh-IGD © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC virtuelle Hysteroskopie 21
  • 22. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Training Eingriff  Bereitstellung von Trainingsszenarien Anwendungsbeispiele: Bild: Uni Heidelberg Ophtalmochirurgie  Ophtalmochirurgie  Vitro-retinale Eingriffe, Katarakt Bilder: Uni Heidelberg Ophtalmochirurgie  Koloskopie Bilder: Uni Heidelberg © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC EndoSim, Schema Koloskopie, 3D-Szene aus der virtuellen Koloskopie 22
  • 23. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Training Abläufe und Prozesse: Bereitstellung von Trainingsszenarien für  Prozeduren Bild: Texas A&M University virtuelle Palpation der Wirbelsäule Bild: Texas A&M University  Reihenfolgen Bild: Texas A&M University virtuelle Überprüfung Adaption des Auges (Pupillenreflex) Umgang mit Gerätetechnik  Einbindung Personal  Hilfsmittel  Bereitstellungsorte  Verwendung Gerätetechnik © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 23
  • 24. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Training Abläufe und Prozesse - Noteinsatz-Simulatoren:  Gewinnung Übersicht, Sicherung  Selbst-Organisation, Team-Organisation Bild: ETC Simulation Simulationsumgebung ADMS  Koordinierung Personal Bild: Texas A&M University Bild: E-Semble © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC Mitarbeiter-Steuerung: Simulationsumgebung Pulse!! Simulationsumgebung XVR 24
  • 25. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Workflow- und Anordnungsplanung  Layout-Optimierung nach Erreichbarkeit, Minimierung Wege, Übersicht, Flussprinzip Bild: FH Bern Bild: FH Bern Arbeitsgruppe am Planungstisch (Projekt Hovisse) Bild: FH Bern  hohe Auslastung Gerätetechnik bei geringen Wartezeiten der Patienten (Ressourcen-orientierte Eintaktung) virtuelle OP-Szene (Projekt Hovisse) Draufsicht und 4 Perspektiven (Projekt Hovisse)  u.a. Verwendung von MaterialflussSimulationen  Ablaufbeschleunigung © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 25
  • 26. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Illustration in der Marketing-Kommunikation      realistische Darstellung auf Basis 3D-Daten Verständnis erzeugen Prospektmaterial, Web, (Stereo-)Filme Interaktion möglich 2D-Zeichnungserstellung auf Basis der Konfiguration Produktvarianz vermitteln Individualisierung: Konfiguration modularer Designs durchgängige Vertriebs- und Angebotsprozesse verlässliche und korrekte Angebote selbst für komplexe Produkte innovativer Außenauftritt    Bild: Visenso virtueller OP-Saal: Ausschnitt aus 3D-Stereo-Film für KLSmartin Bild: Visenso   Bild: LumoGraphics Computergraphik Operationssaal für die Fa. Berchtold chirurgische Instrumente: Ausschnitt aus 3D-Stereo-Film für KLSmartin © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 26
  • 27. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration Fazit       sehr breites bestehendes Einsatzspektrum von Virtual Reality in der Medizin und Medizintechnik Medizin ist das am stärksten spezialisierte Anwendungsgebiet der VR auch mit sehr spezifischer Gerätetechnik Herausforderung: - Registrierung - Generierung 3D-Daten in Echtzeit komplexe Modelle, die alle Facetten der Realität widerspiegeln Deutschland, Schweiz, USA sehr weit vorne dabei – Spezialisten in der Nähe © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 27
  • 28. VDC-Whitepaper VR in der Medizin und Medizintechnik Übersicht VR-gestützte Analyse Diagnostik Simulationsdaten Planung Eingriff Intraoperative Unterstützung Tele-Medizin Rehabilitation Digitale Atlanten Ausbildung und Training Workflow und Anordnung Illustration VDC-Mitglieder und -Partner im Thema VR-Medizin-Medizintechnik © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 28
  • 29. Das Thema interessiert Sie und Sie suchen nach Umsetzungspartnern? Sprechen Sie mit uns. VDC. Netzwerk für Virtual Engineering. Virtual Dimension Center (VDC) Auberlenstr. 13 70736 Fellbach Tel.: 0711 / 58 53 09-0 info@vdc-fellbach.de www.vdc-fellbach.de © Kompetenzzentrum Virtuelle Realität und Kooperatives Engineering w. V. – Virtual Dimension Center VDC 29