Avec l'arrivée de la technologie Kinect, l'intégration des interfaces naturelles permet de répondre à de nouveaux besoins métiers. A travers deux exemples concrets dans le domaine de la santé, nous présenterons ces nouveaux usages et les interactions avec d'autres solutions Microsoft telles que SharePoint et Azure ...
3. PAR 102 - La Kinect à
l'écoute des nouveaux
usages métiers
08 février 2012
Tanguy JOUVET - Responsable d’activité
EXAKIS
Nicolas HUMANN - Référent technique EXAKIS
Julien ROZIER - Kinésithérapeute DE
4. Carte d’identité Exakis
Infrastructure Logiciel
Environnement Portail, GED, Réseaux
utilisateur, Collaboratif, S sociaux, Workflow
ocle et gestion du métier, Planification de
Système ressources, Mobilité, BI,
d’Information, Infrastruct Web, Tierce
ure dynamique, Support. maintenance applicative.
Sécurité Business Solutions
Conseil et
Gestion des identités et
assistance, Intégration,
des accès, Sécurisation
Développement de
des infrastructures,
solutions, Extension de
Conseil Confiance numérique,
Gouvernance sécurité,
l’ERP et du CRM au
AMOA/MOA, Gestion de projets, Accompagnement collaboratif et à l’e-
Tierce Maintenance
au changement, business.
Sécurité.
Méthodologie & Agilité.
6. La genèse du projet …
L’effet Kinect Un constat métier :
L’arrivée des interfaces La Kinésithérapie
naturelles abordables
…
Des mesures
Une image … nécessaires
… mais difficiles en
pratique
Des exercices patients
… pas toujours bien
réalisés
8. Le bilan patient
Un prérequis dans la prise en charge par la CPAM
Une description de l’état orthopédique du patient
Une évaluation réalisée pendant toute la durée du
traitement
Bilans initial, intermédiaires et final
Objectifs :
Etablir un diagnostic kinésithérapique
Choisir les actes et les techniques les plus
appropriés
10. La goniométrie
Evaluation des amplitudes
articulaires des membres
A la base de nombreux bilans
kinésithérapiques de l’appareil
locomoteur
Outils : Goniomètre à deux
branches, inclinomètre, mesure
centimétrique
Précision : 10°
Reproductibilité : moyenne
Temps de mesure : 10 secondes
par articulation
Cout : entre 30€ et 150€
11. Les capteurs
Combinaison comportant des
capteurs miniaturisés incluant un
accéléromètre, un gyroscope et
un magnétomètre triaxial.
Précision : 1°
Reproductibilité : excellente
… mais un capteur déplacé fourni
une mesure erronée
Temps de mesure : immédiat
… mais 10 minutes pour mettre la
combinaison et positionner les
capteurs
Cout : 1000 € la combinaison
12. La « motion capture »
Positionnement de pastilles sur
le patient, utilisation de spots
infra rouges et d’une caméra
haute résolution
Traitement vidéo important
Pas de vision en 3D
Avantages et inconvénients
similaires aux capteurs
Inapplicable dans le contexte
d’un cabinet de kinésithérapie
13. La kinect
Information immédiate de la
position en 3D pour chacune des
20 jointures du squelette
Précision : 5°
Reproductibilité : excellente
Temps de mesure : immédiat
Cout : 250€
La solution idéale ?
14. Quelques calculs …
En sortie, informations des 20 points de jointure :
X = Position horizontale mesurée en tant que distance
en mètres depuis le capteur sur l’axe X
Y = Position verticale mesurée en tant que distance en
mètres depuis le capteur sur l’axe Y
Z = Distance mesurée en mètres depuis le capteur
W = Indice de confiance
Un peu de mathémathiques et de trigonométrie :
Points 3D Vecteurs Angles et Distances Vitesse
Accélération
16. Les bilans
Evaluation aux limites de chaque articulation
Reproductibilité de la mesure
Suivi de l’évolution dans le temps
La solution doit intégrer :
Le calcul des angles des articulations
Le stockage des données et leur exploitation pour
suivre l’évolution
Une gestion des patients
17. Les exercices
Proposer pour chaque patient des exercices de
rééducation
Adaptés à sa pathologie …
Avec un contrôle du patient sur ce qu’il fait
Et la démonstration du bon geste à réaliser
La solution doit intégrer :
Une gestion des protocoles de rééducation
(enchainement des exercices)
La représentation du patient à l’écran
Des indicateurs pour guider le patient dans l’exercice
18. La gestion des patients
Nécessité évidente de gérer les patients
Constat :
Aucune solution du marché ne répond aux besoins
Besoin d’accéder en tout lieu aux données
La solution doit intégrer :
La gestion des patients dans la solution
L’hébergement de certaines données dans le Cloud
Azure
22. Architecture
Modèle client / serveur
Plusieurs Kinect dans un
Données
cabinet SQL
Stockage des données
centralisées pour un modèle
collaboratif
Pas d’interface clavier ou Serveur
Web IIS Tablette
souris pour le patient Kiné
Interface du praticien
Tablette connectée
Gestion des patients Kinect
Patient 1
Kinect
Patient 2
Suivi déporté des
exercices
23. Coté développement …
Application Kiné Practice :
Couche présentation en WPF
Framework MVVM
Surcouche 3D en XNA
Framework 4.0
Accès aux données via WCF Data Services
Application tablette :
ASP.net MVC 3
Framework 4.0
Accès aux données via WCF Data Services
HTML 5
24. Fonctionnalités utilisées de la
Kinect
Presque toutes
Reconnaissance du squelette :
Traduire en 3 dimensions les points articulaires du
patient
Caméra couleur :
Fournir une image du patient sur ce qu’il fait
Tilt caméra :
Focaliser la Kinect sur le bon endroit du corps
Microphone :
La seule interface du patient pour interagir avec la
solution
25. Adapter les limites de la Kinect
Se limiter aux pathologies les plus fréquentes
Epaules, Genoux, Hanches, Dos, Rachis et Equilibre
Etre capable de capter les points du corps pour chaque
exercice
Eviter les exercices avec une main dans le dos
Respecter la distance de captage minimale
Adapter la vision de la Kinect
Utiliser un tapis de course si le patient doit courir
26. Fonctionnalités incluses
Intégration de Kinect for Windows et du SDK final
Prise en compte du degré de confiance des
informations de captage
Diminution de la distance Kinect/Patient
Meilleure intégration de la voix
Gestion des patients hébergée sur Azure
Un grand nombre de pathologies prises en compte
Plus de 20 protocoles d’exercices
Des bilans complets intégrant l’évolution au cours du
traitement
30. Ceux des patients …
Justin B. – 17 ans Catherine D. – 68 ans
Il adore la Kinect, le coté Elle a trouvé agréable
ludique, ça lui rappelle d’être représentée par
quand il est dans son une jeune et jolie blonde
salon pour jouer, du
coup il oublie l’ambiance et a redemandé des
médicale. exercices.
31. Des retours positifs …
Faible cout matériel (250€)
Ne requiert pas l’utilisation d’un marqueur ou capteur
attaché au corps ou tenu dans la main
Fournit un feedback instantané à la fois au patient et au
kinésithérapeute
Augmentation du niveau de motivation des patients
Difficulté de compenser lors de la réalisation des
exercices
Prise en main rapide de la solution
Plateforme de développement ouverte