EXPÉRIENCES
GESTUELLES
Nicolas Calvi
MVP Emerging Experiences,
Consultant, Expert Technologies NUI
Expertime
Xavier Hallad...
partie 1
Interface gestuelle
Qu’est-ce qu’une interface
gestuelle ?
Le périphérique reconnais ma tension musculaire
Il détecte le mouvement de mes jamb...
Les avantages
- Pas de contact
- Diversité des gestes
- Micro gestion de certaines parties du corps
- Engagement fort dans...
Les inconvénients
- Fatiguant
- Envahissant quant il s’agit du corps complet
- Timide s’abstenir pour n’avoir pas peur du ...
A chaque périphérique son usage
Kinect / RealSense / Astra / Persee
MyoLeap Motion
partie 2
Kinect 2
Caméra Couleur
1920x1080 @ 30 IPS (16:9)
1920x1080 @ 15 IPS (16:9) en lumière basse
Caméra de profondeur
512x424 @ 30 IPS
...
partie 3
Orbbec Astra & Persee
Zone de capture – 0.4m - 8m
Très bonne précision – Mesure de profondeur avec une précision de 0,5 cm à une distance de 2 m...
Orbbec Persee est la première « caméra-ordinateur » de son genre sur le marché. C’est une caméra Astra
Pro avec un « ordin...
Existe en format intégrable !
Plus d’information sur « http://www.orbbec.com/ »
partie 4
Cameras RealSense
devkits
click.intel.com
Produits
grands-publics
Front-facing (F200/SR300) Rear-facing (R200)
intel.com/R...
World Facing
Intel® RealSense™ SDK Modules
Scene
Perception
Enhanced
Photography
Augmented
Reality
Person & Face
Tracking
...
Intel® RealSense™ SDK Architecture
*
Your Application HERE
- C++
Alphas:
+ UWP modules:
Streams, Blobs
+Windows.Devices.Pe...
Typical Flow of Intel® RealSense™ Application
Create
SenseManager
Enable Module(s)
Configure
Module(s)
Create Module(s)
Ou...
User Facing Technologies
Capabilities Features
• Fingers Tracking / Gesture
Recognition
• Blob tracking
• Cursor Mode
• 22...
RealSense 3D Hands Tracking
Full Extremities Cursor (SR300 only)
Capabilities
Camera F200 Camera SR300 Camera R200
RGB stream 1080p/30fps 1080p/30fps 1080p/30fps
Depth stream 640x480/60fp...
partie 5
Retour d’expérience
NATURSOFTWARE
Redmine
OUTILS DE COLLABORATION EN ENTREPRISE
NATURSOFTWARE
NATURSOFTWARE
NATURSOFTWARE
MOYENS DE COMMUNICATION NATURELS HUMAINS
Voix
ToucherMouvements
&
gestuelles
Expressions faciales
émotionnel...
Pourquoi devrions nous communiquer différemment avec nos
outils ?
NATURSOFTWARE
NOTRE CONVICTION
Nous ne devrions pas nous adapter aux outils...
Ce sont nos outils qui devraient s’adapter
à nous et à notre manière natur...
NATURSOFTWARE
APERCU DES CAPTEURS QUE NOUS
UTILISONS
NATURSOFTWARE
NATURCOLLABORATION
Basé sur les NUI pour transformer la façon de travailler
NATURSOFTWARE
INTERACTIONS BASÉES SUR LES MOYENS DE COMMUNICATION
NATURELS
Reconnaissance
vocale
Reconnaissance TactileRec...
NATURSOFTWARE
Offrir via les Interfaces utilisateurs Naturelles :
➔ des outils collaboratifs centrés utilisateurs
➔ une co...
NATURSOFTWARE
CONNECTIVITE AVEC LES ALM LES PLUS POPULAIRES
Redmine
NaturCollaboration
NATURSOFTWARE
NUI Framework -> 1 framework unique = 1 code unique = utilisation multi-
capteurs
Nui Framework
démo
NATURCOLLABORATION
EXPÉRIENCES
GESTUELLES
Nicolas Calvi
http://blog.nicolascalvi.com/
@nicolascalvi
Xavier Hallade Ulysse Semdé
Expériences gestuelles - NUI Day 2015
Expériences gestuelles - NUI Day 2015
Prochain SlideShare
Chargement dans…5
×

Expériences gestuelles - NUI Day 2015

14 vues

Publié le

Session présentée par Nicolas Calvi (Expertime), Xavier Hallade (Intel)

Session présentant les fonctionnalités et les usages des capteurs gestuels tels que Microsoft Kinect, Orbbec Astra et Intel RealSense

http://www.nuiday.com/nui-day-2015/programme/experiences-gestuelles/

Publié dans : Technologie
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
14
Sur SlideShare
0
Issues des intégrations
0
Intégrations
5
Actions
Partages
0
Téléchargements
1
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • Se pilote avec son corps
    Sans contact avec un support.
    La détection peut-être local ou globale.
    A contrario le Tactile demande un contact, gestuelle limité au contact ou mouvement de deux doigts.
  • Pas de contact.
    Si tout le corps on peut imaginer des gestuelles plus complexes.
    L’engagement est fort car les gestuelles accapare notre attention et demande d’être concentré pour corriger ses mouvements.
    L’interface peut être entièrement lié a notre corps (par ex Kinect), ce qui augmente notre sentiment d’interaction avec l’interface.
    On croit que l’interface est dans le réel, dans le cas d’Hololens la réalité est en lien directe avec ses gestes.
  • Ce type d’interface est limité par les possibilités de mouvement de chaque personne (quid des personnes a mobilité réduite)
    Si gestuelle trop complexe, souvent échec des utilisateurs a faire ce qui est demandé.
    Mais dans le même temps solutionne ces problème de mobilité (exemple Eye Tracking)
    Si dans un lieu publique, expose les utilisateurs au regard des autres par leurs gestes et leur posture.
    Gestuelle difficile a programmer, souvent besoin d’une machine learning.
    Intimidant pour certaines personnes.
  • Bien prendre le temps de savoir quel technologie pour quel usage.
    Bien connaitre aussi les limitations de chaque device.
  • Min requirements
  • We focus on user facing cameras
  • 3. Assume a minimum palm size of 5.5 cm, about a fix-year old kid palm size. Interaction speed limitation is noted in parentheses. The segmentation assumes 60fps 640x240. The tracking and gesture assume 45fps 640x480 or 640x320.

    Coded light vs stereoscopy
  • Expériences gestuelles - NUI Day 2015

    1. 1. EXPÉRIENCES GESTUELLES Nicolas Calvi MVP Emerging Experiences, Consultant, Expert Technologies NUI Expertime Xavier Hallade Developer Evangelist Intel Corporation Ulysse Semdé CEO NaturSoftware
    2. 2. partie 1 Interface gestuelle
    3. 3. Qu’est-ce qu’une interface gestuelle ? Le périphérique reconnais ma tension musculaire Il détecte le mouvement de mes jambes Mon visage en dit long Du bout des doigts sans rien toucher
    4. 4. Les avantages - Pas de contact - Diversité des gestes - Micro gestion de certaines parties du corps - Engagement fort dans l’expérience - Expérience immersive
    5. 5. Les inconvénients - Fatiguant - Envahissant quant il s’agit du corps complet - Timide s’abstenir pour n’avoir pas peur du ridicule - Les gestuelles complexe a déterminer - Parfois difficile de faire la bonne gestuelle pour l’utilisateur
    6. 6. A chaque périphérique son usage Kinect / RealSense / Astra / Persee MyoLeap Motion
    7. 7. partie 2 Kinect 2
    8. 8. Caméra Couleur 1920x1080 @ 30 IPS (16:9) 1920x1080 @ 15 IPS (16:9) en lumière basse Caméra de profondeur 512x424 @ 30 IPS Squelette Jusqu’à 6 squelette complet en même temps 25 points de jointure pour le corps Détection de la main (en 3 points) pour 2 squelettes Détection de la rotation des jointures Microphones 4 microphones directionnels Réduction du bruit ambiant Visage Détection d’un visage 27 points de jointure Détection des expressions On modèle un visage sur 1367 vertices Développement Microsoft .NET Unity 3D App Windows 8.1 Outils SDK documenté et ressources en ligne Kinect Studio Kinect Fusion
    9. 9. partie 3 Orbbec Astra & Persee
    10. 10. Zone de capture – 0.4m - 8m Très bonne précision – Mesure de profondeur avec une précision de 0,5 cm à une distance de 2 mètres Haute resolution – Dégradés plus homogènes et la capacité de filtrer les pixels de profondeur de faible de qualité d'une façon précise via un algorithme propriétaire. Faible latence – C’est la plus rapide du marché Orbbec Astra Pro
    11. 11. Orbbec Persee est la première « caméra-ordinateur » de son genre sur le marché. C’est une caméra Astra Pro avec un « ordinateur » intégré sous une distribution Linux spécifique : • Un quad-core 1.8 GHz ARM CPU • 600 MHz GPU avec le support OpenCL • Wi-Fi et Ethernet • 2 GB DDR3 RAM • 16 GB eMMC Flash intégré Orbbec Persee
    12. 12. Existe en format intégrable ! Plus d’information sur « http://www.orbbec.com/ »
    13. 13. partie 4
    14. 14. Cameras RealSense devkits click.intel.com Produits grands-publics Front-facing (F200/SR300) Rear-facing (R200) intel.com/RealSense/devices
    15. 15. World Facing Intel® RealSense™ SDK Modules Scene Perception Enhanced Photography Augmented Reality Person & Face Tracking Gesture Recognition Background Removal Object Recognition and Tracking Speech Recognition 3D Object Scanning Hand & Blob Tracking User Facing
    16. 16. Intel® RealSense™ SDK Architecture * Your Application HERE - C++ Alphas: + UWP modules: Streams, Blobs +Windows.Devices.Perception IR-only for now
    17. 17. Typical Flow of Intel® RealSense™ Application Create SenseManager Enable Module(s) Configure Module(s) Create Module(s) Output Data Object(s) Procedural or Event Based Implementation Release Resources
    18. 18. User Facing Technologies Capabilities Features • Fingers Tracking / Gesture Recognition • Blob tracking • Cursor Mode • 22-point Hand and Finger Tracking • Poses and Dynamic Gestures • Face Tracking • Face Recognition • Multiple Face Detection and tracking • 78-point Face Landmarks • Facial Expressions • Face Recognition • Pulse Estimator • Speech Recognition • Voice Synthesis • Command and Control • Dictation • Text to Speech • Segmentation • 3D Scanning • Augmented Reality • Background Segmentation • 3D Object / Face / Room Scanning • 2D/3D Object Tracking
    19. 19. RealSense 3D Hands Tracking Full Extremities Cursor (SR300 only)
    20. 20. Capabilities Camera F200 Camera SR300 Camera R200 RGB stream 1080p/30fps 1080p/30fps 1080p/30fps Depth stream 640x480/60fps 640x480/60fps 628x468/60fps Depth range 0.2-1.2m 0.2-1.2m 0.7-4.0m+ Blob Tracking 20-85cm 20-150cm 50-300cm Hand Segmentation 20-80cm (1m/s) 20-110cm (1.5m/s) NA Hand Tracking/Gestures 20-60cm (0.75m/s) 20-85cm (1m/s) NA Cursor Mode NA 20-110cm NA Person Tracking NA 50-200cm 100-250cm Devices integration Laptops/AIO Laptops/AIO/ peripheral Phablets/tablets detachables
    21. 21. partie 5 Retour d’expérience
    22. 22. NATURSOFTWARE Redmine OUTILS DE COLLABORATION EN ENTREPRISE
    23. 23. NATURSOFTWARE
    24. 24. NATURSOFTWARE
    25. 25. NATURSOFTWARE MOYENS DE COMMUNICATION NATURELS HUMAINS Voix ToucherMouvements & gestuelles Expressions faciales émotionnelles
    26. 26. Pourquoi devrions nous communiquer différemment avec nos outils ? NATURSOFTWARE NOTRE CONVICTION
    27. 27. Nous ne devrions pas nous adapter aux outils... Ce sont nos outils qui devraient s’adapter à nous et à notre manière naturelle de communiquer NATURSOFTWARE NOTRE CONVICTION
    28. 28. NATURSOFTWARE APERCU DES CAPTEURS QUE NOUS UTILISONS
    29. 29. NATURSOFTWARE NATURCOLLABORATION Basé sur les NUI pour transformer la façon de travailler
    30. 30. NATURSOFTWARE INTERACTIONS BASÉES SUR LES MOYENS DE COMMUNICATION NATURELS Reconnaissance vocale Reconnaissance TactileReconnaissance s Gestuelles Reconnaissances faciale et émotionnelle
    31. 31. NATURSOFTWARE Offrir via les Interfaces utilisateurs Naturelles : ➔ des outils collaboratifs centrés utilisateurs ➔ une collaboration sur les moyens naturels et intuitifs de communication ➔ une expérience de travail disruptive, digitale et fun , favorisant l’émulation et l’engagement ➔ Le développement de l’enthousiasme, de la créativité et du bien-être des équipes TRAVAILLEZ DE FAÇON NATURELLE ET INTUITIVE
    32. 32. NATURSOFTWARE CONNECTIVITE AVEC LES ALM LES PLUS POPULAIRES Redmine NaturCollaboration
    33. 33. NATURSOFTWARE NUI Framework -> 1 framework unique = 1 code unique = utilisation multi- capteurs Nui Framework
    34. 34. démo NATURCOLLABORATION
    35. 35. EXPÉRIENCES GESTUELLES Nicolas Calvi http://blog.nicolascalvi.com/ @nicolascalvi Xavier Hallade Ulysse Semdé

    ×