Journée Hépatologie 2022

1. Quand l’intelligence artificielle
s’invite au bloc opératoire
Eric Vibert

2. 1999 : Report from Institute of Medecine – IOM
44 000 to 98 000 Décès Annuels ds les Hôpitaux US
8ème Cause de Décès aux US mais…
?
BMJ 2016

3. Mortalité Hospitalière dans les 2 mois… Impact des Erreurs ?
4 Avril au 11 Avril 2011 / > 16 ans / 28 Hôpitaux / 46539 pts Opérés (Sauf Chir Cardiaque)
52 Semaines : 58 000 morts par an après une chirurgie élective …

4. « L’illusion qui réconforte est-elle préférable à
la vérité qui dérange ? Un Philosophe »
Un « événement indésirable » due à
un « aléa thérapeutique »…
Ou
Une complication post-opératoire due
à une ou plusieurs erreurs…

5. 1. En Consultation
2. En fin de chirurgie
47% 23%
30%
Bonne Corrélation Entre Difficulté Prédite en
PréOp et Ressentie en Fin Chir (ρ =0.97) mais
pas de corrélation avec le morbidité et de la
durée hospitalisation…
946 Patients entre 2012-2013
sur 9 Centres HPB Francais 2015

6. La chirurgie est une activité COMPLEXE

7. La Réalité Per-Opératoire : Le CRO

8. 5300 pts opérés, 182 complications et 14 décès

9. Constat : Des expériences personnelles
Questions : Comprendre pourquoi
Innovation : Apporter des Solutions
1.Humaine 2. Technologique

10. Quel Sol
Solution Humaine : Résilience + Surgery Solution Technologique : IA + Surgery

11. Présentation de la Chaire innovation BOpA

12. La Genèse de BOpA
L’Histoire de la Chaire innovation BOpA
Depuis 2016 Mars 2019
Création
BOpA
Dec 2019
Idée
BOpA
Mai 2020
Janv 2020
COPIL #1
BOpA
+
« FabLab »
BOpA
Juin 2020
COPIL#2
BOpA
Recrutement
Dir Op.
Inge / Etud
Think Tank
Do Tank
Confiance des Mécènes
900 Keuros (4 ans)
De l’idée à l’action
12

13. Un contexte favorable
L’Histoire de la Chaire innovation BOpA
39 hôpitaux
100 000 professionnels
Connecté à 5 universités de médecine et 17 IFSI
1er centre de recherche biomédicale en Europe
69 centres de référence maladie rare
Un budget de fonctionnement de 7,5 milliards d’euros
L’AP-HP en chiffres :
! 10 millions de patients
! 200 000 opérations chirurgicales / an
! 1250 transplantations / an
Le plus grand centre hospitalier universitaire d’Europe
13
Etablissements travaillant au sein de BOpA

14. Une équipe pluridisciplinaire
La Chaire innovation BOpA
14
E. Vibert
Equipe chirurgicale et médicale
D. Pietrasz O. Ciacio N. Golse
MA. Allard G. Pittau J. Duranteau A. Joosten
S. Dahmani YL. Nguyen R. Vialle B. Acidi – M2
I. Vignon Clémentel S. Cotin A. Maourid A. Oukelmoun
Equipe Tech’ (maths, numérique & ingénierie)
C. Fleury G. Dubey N. El Haïk-Wagner C. Cormi
Equipe SHS (philosophie, anthropologie & sociologie)
Equipe Support (P. Duvaut & E. Habran)
+ DSI, DRCI, DirCom, Juridique de l’APHP et de l’IMT
De l’expression du besoin au développement de la solution innovante
N. Yahia

15. Un lieu dédié au 200 m du Bloc Opératoire de Paul Brousse
La Chaire innovation BOpA
15

16. L’écosystème actuel de la Chaire
La Chaire innovation BOpA
Partenaires & Startups
Réseau Universitaire & Recherche
Mécènes
16
Recherche et Innovation, Académiques, Grands Groupes et Startups

17. Une vision sur le futur du bloc opératoire
Les objectifs de la Chaire innovation BOpA
Marier intelligemment l’Humain et la Technologie
17
Améliorer La Qualité des Soins au Bloc Opératoire
Par une Approche Humaine et Technologique
Recherche en Sciences Humaine Sociale au Bloc Opératoire
Innovation Numérique au Bloc Opératoire
De l’Intelligence Augmentée plus qu’Artificielle
Augmentation Chirurgiens et des Anesthesistes
Par la Vue, Par la Voix, Par le Toucher, Par la Lumière…
Bloc Opératoire Hyper-Connecté
Ordinateur Co-pilote et Intégrateur de Données Massives
“Les Gens du Bloc Op”

18. Les 7 objectifs de la Chaire
Les objectifs de la Chaire innovation BOpA
18
2
3
4
5
6
“Métric” pour
Définir et Redéfinir la
Norme
Optimisation des
polices d’assurance
Revue de Mortalité et de
Morbidité augmentée
Amélioration de la
préparation du
chirurgien
Indice de Qualité
composite des blocs
Télé-expertise et
formation des
jeunes chirurgiens
1 7
Expérience
patient
Recherche inversée

19. La Roadmap de la Chaire innovation BOpA
19
Blok-Safety
Data security /
cybersecurity /
Blok-Tracks
Surgical
notarization
Blok - BlackBox
Blok-Legal
IP / Compliance
with the law
Blok-Viz
Computer assisted
vision
Blok-Bot
OR virtual assistant
Blok - IoT
Blok-Avatar
Augmented reality with
digital twin technology
Blok-Wave
Light Absorption for
Cancer & tissue analysis
Blok - Human Factor
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok - Human Factor
Blok-Mindset
Anthropologic Operating
Room
Blok-Organization
OR performance / Efficiency
Blok-Skillset
Augmented surgeon /
relation to medical errors
AI / Deep learning Edge Computing / 5G
High performance computing
& connection
Blok - Data
Data Science
Analysis of large volumes of
data
Blok-Anesthesie
Decision support

20. Les lunettes de téléexpertise et d’assistance chirurgicale
La Roadmap de la Chaire innovation BOpA
20
Vidéo à venir
Test Prototype Casque Bloc le 10/12/2021
Réalisé par le Dr Daniel Pietrasz - Bloc Paul Brousse

21. Le chatbot peropératoire
La Roadmap de la Chaire innovation BOpA
21
En amont
Avant-veille
& veille
Entrée salle
induction
Opération
Sortie salle
Réveil
En aval
BLOC
Hello Henri ?
Is Mr X has a gallblader
lithiasis ?
Yes Mister
So don’t forget to check the bile
duct at the end …
Ask it some queries in
natural langage… A super
resident who know all the
details of the patient
It asks you some questions according to
the phase of surgery you do
" The context of the previous response
" Computer Vision using Bloc viz
Natural Language
Understanding
Speech-to-Text

22. Complément : Recherche sur l’analyse de textes en chirurgie
La Roadmap de la Chaire innovation BOpA
22
COMPTE-RENDU DE
CONSULTATION
M…. âgé de 67 ans,
82 Kg, pris en charge
pour carcinome
hépatocellulaire du
foie droit avec
thrombose porte…
Variables
Âge (en année) 67
Sexe M
Poids (en kg) 82
Taille (en cm) 174
Diagnostic
carcinome
hépatocellu…
… …
PhD Student : Achir OUKELMOUN
Direction : Eric VIBERT, Nasredine SEMMAR (CEA)
Co-direction : Marc Antoine ALLARD (UnivParis Saclay)
Extraction et
structuration de
données

23. Jumeau numérique de foie
anatomique et fonctionnel
23
Stephane Cotin Irène Vignon Clementel
Depuis 2012, ANR TECsan
Golse N… Vibert E, Vignon Clementel I. J Hep 2021
Golse N… Vibert E, Cottin S. J Gastro Surgery 2021
Technologie Lidar à 20cm

24. Le jumeau numérique anatomique et fonctionnel
La Roadmap de la Chaire innovation BOpA
La même chose sous coelioscopie…
24
Chercheuse INRIA en résidence

25. Overall pipeline (open surgery 1/2)
1
Depth sensor
Color image
Depth map
Labels
3D liver model

26. 3D liver model
(Real time
patient images
processing )
3D Liver model
(preoperative CT
scan)
Computing
shape
deformation &
Matching
Augmented
view

27. Utilisation du Deep Learning pour s’emanciper du LIDAR en
Coelio
1
Endocam Color image
Depth map
Labels
3D liver model
Technologie Lidar à 20cm
Impossible en coeliscopie

28. Depth map prediction – Dataset
● 20,000 synthetic (input) images in a 3D environment, roughly resembling laparoscopic liver surgery scenes
● Translations to Random style (Each input image was translated five times, each time with a new randomly sampled style)
● Translations to Cholec80 style (each input image was translated five times, each time with a new style extracted from a
random Cholec80 image)
● Depth map for every image + segmentation labels (7 classes)
● 13,979 images for training / 3,992 for validation and 2,000 for test.

29. Depth map prediction – Dataset

30. Liver segmentation– Results on acquired dataset in CHB paul brousse ( 04/10/21)

31. Pipeline (part 1) – Results on real data

32. Labélisation d’images per-operatoires
Avec des jeunes autistes à BOPA
Expérimentation dépuis Fev 2022
Stage de 3 mois puis Salariés ?

33. La Roadmap de la Chaire innovation BOpA
33
Financement Innov’up – Région Ile-de-France
La cobotique

34. La Roadmap de la Chaire innovation BOpA
34
Blok-Safety
Data security /
cybersecurity /
Blok-Tracks
Surgical
notarization
Blok - BlackBox
Blok-Legal
IP / Compliance
with the law
Blok-Viz
Computer assisted
vision
Blok-Bot
OR virtual assistant
Blok - IoT
Blok-Avatar
Augmented reality with
digital twin technology
Blok-Wave
Light Absorption for
Cancer & tissue analysis
Blok - Human Factor
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok-XXX
Etude d’acceptabilité
Blok - Human Factor
Blok-Mindset
Anthropologic Operating
Room
Blok-Organization
OR performance / Efficiency
Blok-Skillset
Augmented surgeon /
relation to medical errors
AI / Deep learning Edge Computing / 5G
High performance computing
& connection
Blok - Data
Data Science
Analysis of large volumes of
data
Blok-Anesthesie
Decision support

35. Le nouveau hub de données du bloc opératoire
La Roadmap de la Chaire innovation BOpA
Libérer le potentiel des données pour rendre la chirurgie plus intelligente et plus sûre
35

36. De BOpA au Bloc du CHB
La Roadmap de la Chaire innovation BOpA
L’innovation agile
36
Installation du Système au Bloc du CHB (Avril 2022)

37. PIEEC Edge Computing
Projet E2CO – CapGemini
Verticale Santé : ADOOR
50 Millions Euros R&D
@DOOR
AUGMENTED DEVICES OF THE OPERATING ROOM

38. 38
Company Restricted © Capgemini Invent 2021. All rights reserved |
ARCHITECTURE FOR @DOOR SOLUTION

39. 39
Company Restricted © Capgemini Invent 2021. All rights reserved |
USE CASES : THE @DOOR JOURNEY FOR A NEW TYPE OF SURGERY
PRE OPERATIVE SCHEDULE PER OPERATIVE GUIDANCE POST OPERATIVE LEARNINGS
Procedure validation
(steps, instruments…)
1
Simulation of comparative
surgical cases / prediction
of the case complexity
Digital simulation of the
procedure . Body part Digital
Twin (organ, spine/bones, etc…)
Per operative control
Real-time monitoring /
Surgical biomarkers - KPIs
5
Recalibration of the
procedure
Intraoperative guidance with
virtual / augmented reality
3
4
2
6
7 8
Remote support
Tele-expertise
Tele-surgery
Post-op debriefing
Continuous improvement
Tagging / Annotation of videos
Initial and ongoing training (surgeons
and surgical team) Enrichment of the
case library
MULTIMODAL RECORDING SYSTEM (AUDIO, VIDEO,
HEMODYNAMICS, INSTRUMENTATION...)
SURGICAL COCKPIT
LOW LAYER
TOP LAYER
END-TO-END PROCEDURE
DIGITAL TWIN

40. 40
Company Restricted © Capgemini Invent 2021. All rights reserved |
ADOOR WILL BE POSITIONNED AT THE EDGE OF MEDICAL INNOVATION
2
Data Layer
3
Connectivity &
Orchestration Layer
4
Interface to Hardware layer
1
Applications
3D and
Hemodynamic
model
Pre Op Planification Intra Op Enhanced Reality
AI - Surgical Analytics
OR Edge HUB
(Edge Computing, 5G)
Generators Equipment Connected Devices
Monitoring
OR sensing - Interface
Propose
digital
simulation /
organ twin
Prevent errors
by deactivating
instruments Provide
measurement
assistance
for decision
support
Enable real-time monitoring /
tele expertise & assistance
An integrated system to
provide real time information
to reduce variability, enable
analytics to make surgery safer,
and predict / mitigate risk to
prevent surgical error

41. 41
Company Restricted © Capgemini Invent 2021. All rights reserved |
WE ARE CONVINCED THAT ADOOR WILL ACCELERATE THE GROWTH OF THE
DIGITAL SURGERY IN EUROPE, ACROSS MULTIPLE LAYERS
VALUE CREATION FOR MED TECH
VALUE CREATION FOR DIGITAL & IT
TECHNOLOGY PROVIDERS (INCL. 5G
ACCELERATION)
EMPLOYMENT ACCELERATION IN
DIGITAL MEDECINE (NEW JOBS, NEW
ECOSYSTEMS)
IMPROVEMENT OF HOSPITALS
QUALITY OF SERVICE AND
INVESTMENTS CAPACITY IN
INNOVATION TECHNOLOGIES AND
NEW BUSINESS MODELS
VALUE CREATION FOR
ACADEMICS AND TRAINING
QUALITY IMPROVEMENT

42. Merci pour votre attention
Questions ?