Expériences gestuelles - NUI Day 2015
•Télécharger en tant que PPTX, PDF•
0 j'aime•434 vues
Session présentée par Nicolas Calvi (Expertime), Xavier Hallade (Intel) Session présentant les fonctionnalités et les usages des capteurs gestuels tels que Microsoft Kinect, Orbbec Astra et Intel RealSense http://www.nuiday.com/nui-day-2015/programme/experiences-gestuelles/
Recommandé
Contenu connexe
En vedette
En vedette (19)
Similaire à Expériences gestuelles - NUI Day 2015
Similaire à Expériences gestuelles - NUI Day 2015 (20)
Plus de NUI Day
Plus de NUI Day (10)
Expériences gestuelles - NUI Day 2015
- 1. EXPÉRIENCES GESTUELLES Nicolas Calvi MVP Emerging Experiences, Consultant, Expert Technologies NUI Expertime Xavier Hallade Developer Evangelist Intel Corporation Ulysse Semdé CEO NaturSoftware
- 3. Qu’est-ce qu’une interface gestuelle ? Le périphérique reconnais ma tension musculaire Il détecte le mouvement de mes jambes Mon visage en dit long Du bout des doigts sans rien toucher
- 4. Les avantages - Pas de contact - Diversité des gestes - Micro gestion de certaines parties du corps - Engagement fort dans l’expérience - Expérience immersive
- 5. Les inconvénients - Fatiguant - Envahissant quant il s’agit du corps complet - Timide s’abstenir pour n’avoir pas peur du ridicule - Les gestuelles complexe a déterminer - Parfois difficile de faire la bonne gestuelle pour l’utilisateur
- 6. A chaque périphérique son usage Kinect / RealSense / Astra / Persee MyoLeap Motion
- 8. Caméra Couleur 1920x1080 @ 30 IPS (16:9) 1920x1080 @ 15 IPS (16:9) en lumière basse Caméra de profondeur 512x424 @ 30 IPS Squelette Jusqu’à 6 squelette complet en même temps 25 points de jointure pour le corps Détection de la main (en 3 points) pour 2 squelettes Détection de la rotation des jointures Microphones 4 microphones directionnels Réduction du bruit ambiant Visage Détection d’un visage 27 points de jointure Détection des expressions On modèle un visage sur 1367 vertices Développement Microsoft .NET Unity 3D App Windows 8.1 Outils SDK documenté et ressources en ligne Kinect Studio Kinect Fusion
- 10. partie 3 Orbbec Astra & Persee
- 11. Zone de capture – 0.4m - 8m Très bonne précision – Mesure de profondeur avec une précision de 0,5 cm à une distance de 2 mètres Haute resolution – Dégradés plus homogènes et la capacité de filtrer les pixels de profondeur de faible de qualité d'une façon précise via un algorithme propriétaire. Faible latence – C’est la plus rapide du marché Orbbec Astra Pro
- 12. Orbbec Persee est la première « caméra-ordinateur » de son genre sur le marché. C’est une caméra Astra Pro avec un « ordinateur » intégré sous une distribution Linux spécifique : • Un quad-core 1.8 GHz ARM CPU • 600 MHz GPU avec le support OpenCL • Wi-Fi et Ethernet • 2 GB DDR3 RAM • 16 GB eMMC Flash intégré Orbbec Persee
- 13. Existe en format intégrable ! Plus d’information sur « http://www.orbbec.com/ »
- 14. partie 4
- 15. Cameras RealSense devkits click.intel.com Produits grands-publics Front-facing (F200/SR300) Rear-facing (R200) intel.com/RealSense/devices
- 16. World Facing Intel® RealSense™ SDK Modules Scene Perception Enhanced Photography Augmented Reality Person & Face Tracking Gesture Recognition Background Removal Object Recognition and Tracking Speech Recognition 3D Object Scanning Hand & Blob Tracking User Facing
- 17. Intel® RealSense™ SDK Architecture * Your Application HERE - C++ Alphas: + UWP modules: Streams, Blobs +Windows.Devices.Perception IR-only for now
- 18. Typical Flow of Intel® RealSense™ Application Create SenseManager Enable Module(s) Configure Module(s) Create Module(s) Output Data Object(s) Procedural or Event Based Implementation Release Resources
- 19. User Facing Technologies Capabilities Features • Fingers Tracking / Gesture Recognition • Blob tracking • Cursor Mode • 22-point Hand and Finger Tracking • Poses and Dynamic Gestures • Face Tracking • Face Recognition • Multiple Face Detection and tracking • 78-point Face Landmarks • Facial Expressions • Face Recognition • Pulse Estimator • Speech Recognition • Voice Synthesis • Command and Control • Dictation • Text to Speech • Segmentation • 3D Scanning • Augmented Reality • Background Segmentation • 3D Object / Face / Room Scanning • 2D/3D Object Tracking
- 20. RealSense 3D Hands Tracking Full Extremities Cursor (SR300 only)
- 21. Capabilities Camera F200 Camera SR300 Camera R200 RGB stream 1080p/30fps 1080p/30fps 1080p/30fps Depth stream 640x480/60fps 640x480/60fps 628x468/60fps Depth range 0.2-1.2m 0.2-1.2m 0.7-4.0m+ Blob Tracking 20-85cm 20-150cm 50-300cm Hand Segmentation 20-80cm (1m/s) 20-110cm (1.5m/s) NA Hand Tracking/Gestures 20-60cm (0.75m/s) 20-85cm (1m/s) NA Cursor Mode NA 20-110cm NA Person Tracking NA 50-200cm 100-250cm Devices integration Laptops/AIO Laptops/AIO/ peripheral Phablets/tablets detachables
- 23. NATURSOFTWARE Redmine OUTILS DE COLLABORATION EN ENTREPRISE
- 24. NATURSOFTWARE
- 25. NATURSOFTWARE
- 27. NATURSOFTWARE MOYENS DE COMMUNICATION NATURELS HUMAINS Voix ToucherMouvements & gestuelles Expressions faciales émotionnelles
- 28. Pourquoi devrions nous communiquer différemment avec nos outils ? NATURSOFTWARE NOTRE CONVICTION
- 29. Nous ne devrions pas nous adapter aux outils... Ce sont nos outils qui devraient s’adapter à nous et à notre manière naturelle de communiquer NATURSOFTWARE NOTRE CONVICTION
- 30. NATURSOFTWARE APERCU DES CAPTEURS QUE NOUS UTILISONS
- 31. NATURSOFTWARE NATURCOLLABORATION Basé sur les NUI pour transformer la façon de travailler
- 32. NATURSOFTWARE INTERACTIONS BASÉES SUR LES MOYENS DE COMMUNICATION NATURELS Reconnaissance vocale Reconnaissance TactileReconnaissance s Gestuelles Reconnaissances faciale et émotionnelle
- 33. NATURSOFTWARE Offrir via les Interfaces utilisateurs Naturelles : ➔ des outils collaboratifs centrés utilisateurs ➔ une collaboration sur les moyens naturels et intuitifs de communication ➔ une expérience de travail disruptive, digitale et fun , favorisant l’émulation et l’engagement ➔ Le développement de l’enthousiasme, de la créativité et du bien-être des équipes TRAVAILLEZ DE FAÇON NATURELLE ET INTUITIVE
- 34. NATURSOFTWARE CONNECTIVITE AVEC LES ALM LES PLUS POPULAIRES Redmine NaturCollaboration
- 35. NATURSOFTWARE NUI Framework -> 1 framework unique = 1 code unique = utilisation multi- capteurs Nui Framework
Notes de l'éditeur
- Se pilote avec son corps Sans contact avec un support. La détection peut-être local ou globale. A contrario le Tactile demande un contact, gestuelle limité au contact ou mouvement de deux doigts.
- Pas de contact. Si tout le corps on peut imaginer des gestuelles plus complexes. L’engagement est fort car les gestuelles accapare notre attention et demande d’être concentré pour corriger ses mouvements. L’interface peut être entièrement lié a notre corps (par ex Kinect), ce qui augmente notre sentiment d’interaction avec l’interface. On croit que l’interface est dans le réel, dans le cas d’Hololens la réalité est en lien directe avec ses gestes.
- Ce type d’interface est limité par les possibilités de mouvement de chaque personne (quid des personnes a mobilité réduite) Si gestuelle trop complexe, souvent échec des utilisateurs a faire ce qui est demandé. Mais dans le même temps solutionne ces problème de mobilité (exemple Eye Tracking) Si dans un lieu publique, expose les utilisateurs au regard des autres par leurs gestes et leur posture. Gestuelle difficile a programmer, souvent besoin d’une machine learning. Intimidant pour certaines personnes.
- Bien prendre le temps de savoir quel technologie pour quel usage. Bien connaitre aussi les limitations de chaque device.
- Min requirements
- We focus on user facing cameras
- 3. Assume a minimum palm size of 5.5 cm, about a fix-year old kid palm size. Interaction speed limitation is noted in parentheses. The segmentation assumes 60fps 640x240. The tracking and gesture assume 45fps 640x480 or 640x320. Coded light vs stereoscopy