Avec l'arrivée de la technologie Kinect, l'intégration des interfaces naturelles permet de répondre à de nouveaux besoins métiers. A travers deux exemples concrets dans le domaine de la santé, nous présenterons ces nouveaux usages et les interactions avec d'autres solutions Microsoft telles que SharePoint et Azure ...

1. palais des
congrès
Paris
7, 8 et 9
février 2012

2. Vous êtes dans la salle 202-203

3. PAR 102 - La Kinect à
l'écoute des nouveaux
usages métiers
08 février 2012
Tanguy JOUVET - Responsable d’activité
EXAKIS
Nicolas HUMANN - Référent technique EXAKIS
Julien ROZIER - Kinésithérapeute DE

4. Carte d’identité Exakis
Infrastructure Logiciel
Environnement Portail, GED, Réseaux
utilisateur, Collaboratif, S sociaux, Workflow
ocle et gestion du métier, Planification de
Système ressources, Mobilité, BI,
d’Information, Infrastruct Web, Tierce
ure dynamique, Support. maintenance applicative.
Sécurité Business Solutions
Conseil et
Gestion des identités et
assistance, Intégration,
des accès, Sécurisation
Développement de
des infrastructures,
solutions, Extension de
Conseil Confiance numérique,
Gouvernance sécurité,
l’ERP et du CRM au
AMOA/MOA, Gestion de projets, Accompagnement collaboratif et à l’e-
Tierce Maintenance
au changement, business.
Sécurité.
Méthodologie & Agilité.

5. Une histoire …

6. La genèse du projet …
L’effet Kinect Un constat métier :
 L’arrivée des interfaces La Kinésithérapie
naturelles abordables
…
 Des mesures
 Une image … nécessaires
… mais difficiles en
pratique
 Des exercices patients
… pas toujours bien
réalisés

7. La Kinésithérapie :
Une histoire de bilans …

8. Le bilan patient
Un prérequis dans la prise en charge par la CPAM
Une description de l’état orthopédique du patient
Une évaluation réalisée pendant toute la durée du
traitement
 Bilans initial, intermédiaires et final
Objectifs :
 Etablir un diagnostic kinésithérapique
 Choisir les actes et les techniques les plus
appropriés

9. Un peu de pratique …

10. La goniométrie
Evaluation des amplitudes
articulaires des membres
A la base de nombreux bilans
kinésithérapiques de l’appareil
locomoteur
Outils : Goniomètre à deux
branches, inclinomètre, mesure
centimétrique
Précision : 10°
Reproductibilité : moyenne
Temps de mesure : 10 secondes
par articulation
Cout : entre 30€ et 150€

11. Les capteurs
Combinaison comportant des
capteurs miniaturisés incluant un
accéléromètre, un gyroscope et
un magnétomètre triaxial.
Précision : 1°
Reproductibilité : excellente
… mais un capteur déplacé fourni
une mesure erronée
Temps de mesure : immédiat
… mais 10 minutes pour mettre la
combinaison et positionner les
capteurs
Cout : 1000 € la combinaison

12. La « motion capture »
Positionnement de pastilles sur
le patient, utilisation de spots
infra rouges et d’une caméra
haute résolution
Traitement vidéo important
Pas de vision en 3D
Avantages et inconvénients
similaires aux capteurs
Inapplicable dans le contexte
d’un cabinet de kinésithérapie

13. La kinect
Information immédiate de la
position en 3D pour chacune des
20 jointures du squelette
Précision : 5°
Reproductibilité : excellente
Temps de mesure : immédiat
Cout : 250€
La solution idéale ?

14. Quelques calculs …
En sortie, informations des 20 points de jointure :
 X = Position horizontale mesurée en tant que distance
en mètres depuis le capteur sur l’axe X
 Y = Position verticale mesurée en tant que distance en
mètres depuis le capteur sur l’axe Y
 Z = Distance mesurée en mètres depuis le capteur
 W = Indice de confiance
Un peu de mathémathiques et de trigonométrie :
Points 3D  Vecteurs  Angles et Distances  Vitesse 
Accélération

15. Le cahier des charges de la
solution

16. Les bilans
Evaluation aux limites de chaque articulation
 Reproductibilité de la mesure
 Suivi de l’évolution dans le temps
La solution doit intégrer :
 Le calcul des angles des articulations
 Le stockage des données et leur exploitation pour
suivre l’évolution
 Une gestion des patients

17. Les exercices
Proposer pour chaque patient des exercices de
rééducation
 Adaptés à sa pathologie …
 Avec un contrôle du patient sur ce qu’il fait
 Et la démonstration du bon geste à réaliser
La solution doit intégrer :
 Une gestion des protocoles de rééducation
(enchainement des exercices)
 La représentation du patient à l’écran
 Des indicateurs pour guider le patient dans l’exercice

18. La gestion des patients
Nécessité évidente de gérer les patients
Constat :
 Aucune solution du marché ne répond aux besoins
 Besoin d’accéder en tout lieu aux données
La solution doit intégrer :
 La gestion des patients dans la solution
 L’hébergement de certaines données dans le Cloud
Azure

19. Le principe en vidéo

20. Démo

21. La solution technique

22. Architecture
Modèle client / serveur
 Plusieurs Kinect dans un
Données
cabinet SQL
Stockage des données
centralisées pour un modèle
collaboratif
Pas d’interface clavier ou Serveur
Web IIS Tablette
souris pour le patient Kiné
Interface du praticien
 Tablette connectée
 Gestion des patients Kinect
Patient 1
Kinect
Patient 2
 Suivi déporté des
exercices

23. Coté développement …
Application Kiné Practice :
 Couche présentation en WPF
 Framework MVVM
 Surcouche 3D en XNA
 Framework 4.0
 Accès aux données via WCF Data Services
Application tablette :
 ASP.net MVC 3
 Framework 4.0
 Accès aux données via WCF Data Services
 HTML 5

24. Fonctionnalités utilisées de la
Kinect
Presque toutes 
Reconnaissance du squelette :
 Traduire en 3 dimensions les points articulaires du
patient
Caméra couleur :
 Fournir une image du patient sur ce qu’il fait
Tilt caméra :
 Focaliser la Kinect sur le bon endroit du corps
Microphone :
 La seule interface du patient pour interagir avec la
solution

25. Adapter les limites de la Kinect
Se limiter aux pathologies les plus fréquentes
 Epaules, Genoux, Hanches, Dos, Rachis et Equilibre
Etre capable de capter les points du corps pour chaque
exercice
 Eviter les exercices avec une main dans le dos
Respecter la distance de captage minimale
 Adapter la vision de la Kinect
 Utiliser un tapis de course si le patient doit courir 

26. Fonctionnalités incluses
Intégration de Kinect for Windows et du SDK final
 Prise en compte du degré de confiance des
informations de captage
 Diminution de la distance Kinect/Patient
 Meilleure intégration de la voix
Gestion des patients hébergée sur Azure
Un grand nombre de pathologies prises en compte
 Plus de 20 protocoles d’exercices
 Des bilans complets intégrant l’évolution au cours du
traitement

27. Ergonomie

28. Ecran d’exercices

29. Les premiers retours ….

30. Ceux des patients …
Justin B. – 17 ans Catherine D. – 68 ans
Il adore la Kinect, le coté Elle a trouvé agréable
ludique, ça lui rappelle d’être représentée par
quand il est dans son une jeune et jolie blonde
salon pour jouer, du
coup il oublie l’ambiance et a redemandé des
médicale. exercices.

31. Des retours positifs …
Faible cout matériel (250€)
Ne requiert pas l’utilisation d’un marqueur ou capteur
attaché au corps ou tenu dans la main
Fournit un feedback instantané à la fois au patient et au
kinésithérapeute
Augmentation du niveau de motivation des patients
Difficulté de compenser lors de la réalisation des
exercices
Prise en main rapide de la solution
Plateforme de développement ouverte

32. D’autres applications ?

33. SharePoint Explorer
Navigation dans un site SharePoint
Affichage des documents Office
 Parcours et zoom
Démo sur le stand Exakis

34. Merci !
Disponibilité de la solution : Juin 2012