C'est une introduction à kinect comme étant un outil de réalité augmentée

1. Réalité virtuelle (RV) et Réalité
Augmentée (RA)
2019/2020
sana.refai@gmail.com
1

2. Kinect
2
Equipement de la réalité augmentée

3. Présentation (1/3)
3

4. 4
• Kinect développé par Microsoft – périphérique de la Xbox
360…
• La kinect est le fruit de la recherche militaire développée
pour détecter les terroristes dans l’espace public
• Résultat d’années de recherche académique dans l’imagerie
robotique (computer vision)…
• La hardware a été développé par PrimeSense, une
entreprise israélienne qui a d’autres caméra en profondeur
basées sur la technique de projection IR…
• 4 novembre 2010 : lancement de la kinect V1 (association
des algorithme de Microsoft & hardware PrimeSense)et
dédié initialement au domaine du jeu vidéo,( Succès
commercial : 10M d’unité vendu le 1er mois !! )
• 15 juillet 2014; lancement kinect V2
Création de la Kinect et hacking opensource
Présenation (2/3)

5. 5
• Kinect est un périphérique de détection de mouvement
d'entrée par Microsoft pour la console Xbox 360 du jeu
vidéo et PC Windows qui utilise des gestes spatiales pour
l'interaction au lieu d'un contrôleur de jeu.
• Kinect est conçu pour "une nouvelle façon révolutionnaire
de jouer:. Sans manette". Encore une fois, parce que
Kinect permet la détection du monde physique, il montre
un potentiel pour les NUI ( Natural User Interface NUI),
Kinect : Interface Utilisateur Naturelle
Présenation (3/3)

6. 6
Le capteur Microsoft Kinect est
constitué :
• D'une base motorisée
• D'une caméra couleur RGB
• D'un capteur de profondeur
• D'un microphone
• D'un ensemble logiciel permettant
la reconnaissance de mouvements
Présentation du capteur Microsoft Kinect
Architecture

7. 7
Hardware ( PrimeSense)
Les composants (1/3)

8. Les composants(2/3)
• Projecteur/ Caméra infrarouge (320 x 240 en couleur 16 bits
à 30 images par seconde)
• Secret de la kinect: Projection d’une grille de points lumineux IR sur la
scène (spekel) …
• Estimer la distance d’un objet
o Projection d’une grille de points lumineux IR sur la scène.
o Comparaison de l’image obtenue à une image de référence
étalonnée par le fabriquant sur un mur plan situé à une distance
connue
o L’estimation de la distance est effectuée en calculant le
déplacement d’un point par rapport à la grille original
8

9. Les composants (3/3)
• Caméra couleur: webcam basse résolution 640 x 480 en couleur
32 bits à 30 images par seconde
• Possibilité de superposer l’image en couleur sur l’image en
profondeur (Colorier l’image 3D puis Créer des scan 3D prenant en
compte la couleur réelle des objets)
• 4 micros distribués le long de la kinect (Audio 16 bits à 16 KHz),
• Dispositifs d'inclinaison motorisés: Possibilité de rotation
de haut en bas de la caméra et des micros (30°)
9

10. Les outils logiciels
• Deux systèmes opensource pour contrôler la
kinect
10
OpenKinect OpenNI (Choix de l’auteur)
- Accès aux servo-moteurs
- Licence « full opensource »
- Acces à l’image en
profondeur
- Pas de Tracking des
articulations de plusieurs
personnes
-Pas d’ accès aux servo-moteur
- License GNU-LGPL
(similaire à openkinect)
- Certains modules non
accessibles
- profondeur »
- Accès à l’image en
profondeur »
- Tracking des articulations
de plusieurs personnes

11. Les technologies utilisées
• Reconnaissance faciale
• Reconnaissance vocale
• Squelettisation du corps
• Analyse de la marche humaine
• Imagerie en profondeur (3D)
11
(1/3)(1/3)

12. Kinect-squelette
• La « Détection 3D de squelette »
• Permet de capter 6 personnes dans son champ de vision:
• 2 personnes captées avec détail
o squelette : 20 jointures
o Main ouverte/fermée
o Détection de visages/ traits
• 4 autres personne
o Forme générale
o Centre de gravité uniquement
12

13. Image couleur VS Image profondeur
13

14. Applications
• Physiothérapie / Rééducation virtuelle
• Apprentissage de mouvements spécifiques
• Monitoring et alertes comportementales
• Marketing : Cabine d’essayage
• Jeux Vidéo
• Télésurveillance et domotique
• Interfaces Naturelles
14