Interfaces multimodales et géomatique : état des lieux

1 839 vues

Publié le

Interfaces multimodales et géomatique : état des lieux

0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 839
Sur SlideShare
0
Issues des intégrations
0
Intégrations
8
Actions
Partages
0
Téléchargements
62
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Interfaces multimodales et géomatique : état des lieux

  1. 1. Interfaces multimodales et géomatique : état des lieux Frédéric Hubert, Ph.D. Département des sciences géomatiques Université Laval Géomatique 2009 21 octobre 2009
  2. 2. Plan de la présentation • Contexte actuel • Les modes de communication • Les interfaces multimodales par l’exemple • Les interfaces multimodales géospatiales • Open source et normes • Intérêts de recherche
  3. 3. Aujourd’hui … • La façon la plus commune pour interagir avec des systèmes informatisés se concentre sur l’usage exclusif de : Écran Souris Clavier
  4. 4. Aujourd’hui … • Engouement pour des nouvelles technologies (matérielles) offertes au grand public – Téléphones intelligents Apple iPhone T-Mobile G1 HTC Diamond
  5. 5. Aujourd’hui … • Engouement pour des nouvelles technologies (matérielles) offertes au grand public – Téléphones intelligents – Nintendo Wii Source: www.driver-dimension.com
  6. 6. Aujourd’hui … • Engouement pour des nouvelles technologies (matérielles) offertes au grand public – Téléphones intelligents – Nintendo Wii – GPS mobile / embarqué  Ce ne sont pas juste des gadgets !
  7. 7. En arrière de ces technologies … des modes de communication • Les cinq sens comme point • Modes de communication : de départ • visuel • sonore • tactile • gestuel • olfactif (?) • gustatif (?) • cérébral (?) • Types de modes • + des formes d’interaction : • en entrée (saisie) – Geste • et en sortie (restitution) – Parole
  8. 8. Les modes de communication : Le mode visuel & composants • Les écrans (sortie) • Les vidéoprojecteurs (sortie) • Lunettes Réalité Virtuelles (sortie) • ~ Eye Tracking (entrée)
  9. 9. Les modes de communication : Le mode sonore & composants • Hauts-parleurs, casques (sortie) • Microphone (entrée)
  10. 10. Les modes de communication : Le mode tactile & composants • Clavier (entrée) • Manettes, volant (entrée et sortie) • Écrans tactiles (entrée et sortie) HP TouchSmart
  11. 11. Les modes de communication : Le mode gestuel & composants • Capture du mouvement du corps ou du visage – Souris, Caméra (entrée) – Wiimote (entrée et sortie), – Wii Balance Board (entrée) – Gants haptiques (entrée)
  12. 12. Les modes de communication : Les modes olfactif et gustatif MicroScent Food simulator
  13. 13. Les interfaces multimodales • Usage simultanée ou alternée de modes ou modalités de communication entre l’homme et la machine afin de : – Rendre plus intuitive l’interaction et l’expression pour l’humain, – Diminuer l’ambiguïté liée à l’usage de certaines modalités de communication (ex. la parole), – Offrir un support pour les personnes ayant des déficiences. • Intérêts :  Augmenter et améliorer l’utilisabilité et l’accessibilité des systèmes informatisés.  Interaction adaptable, flexible, coopérative et plus naturelle  Technologies de plus en plus matures
  14. 14. Les interfaces multimodales : Architecture simplifiée Serveurs Fusion de données Fission
  15. 15. Les interfaces multimodales : Multi-modalité en entrée (1/2) • Usage courant d’un écran, un clavier et une souris. • Exemple : Ouvrir le gestionnaire des tâches de Windows • Deux modes de communication offerts pour réaliser la même chose : – Souris – Clavier
  16. 16. Les interfaces multimodales : Multi-modalité en entrée (2/2) • Usage d’un microphone avec un écran tactile. • Deux informations distinctes qui se complètent (quasiment) en même temps par : 1. parole avec microphone 2. pointer avec écran tactile  Fusion des deux informations
  17. 17. Les interfaces multimodales : Multi-modalité en sortie • Exemple : Réception d’un appel sur un téléphone cellulaire. • On peut alors recevoir la même information en même temps (simultané) par : – Sonnerie du téléphone (mode sonore) – Affichage sur l’écran d’un nouvel appel (mode visuel) – Vibration du téléphone (mode tactile)  Fission simultané ou non
  18. 18. Les interfaces multimodales : Exemple … le plus ancien Le simulateur Sensorama Cinéma immersif datant des années 60 avec : - projecteur d’images stéréoscopiques - son - Air soufflé avec odeurs (pizzas, jasmin, …) - siège vibrant
  19. 19. Les interfaces multimodales : Exemple … Apple iPhone Caméra Haut-parleur Écran tactile Boutons Écran Microphone Vibration
  20. 20. Les interfaces multimodales : Exemple … afficheur interactif portable Source: www.driver-dimension.com
  21. 21. Les interfaces multimodales géospatiales • Une définition : « Les interfaces multimodales géospatiales sont des solutions d’interfaces homme-machine qui visent à combiner, de manière simultanée ou alternée, des modes de communication impliquant l’usage, direct ou indirect, de l’information géographique dans le but d’améliorer l’utilisabilité et l’accessibilité des données géospatiales au travers de systèmes informatisés. » • GeoMMI : Geospatial MultiModal Interface
  22. 22. GeoMMI - Le plus connu • Les GPS mobile/embarqués dans les voitures – Microphone (entrée) – écran tactile (entrée/sortie) – Haut-parleurs (sortie) • Pour saisir une information de destination, il est possible d’utiliser : – Commande vocale – Ou écran tactile • La restitution d’informations : visuelle et/ou sonore
  23. 23. GeoMMI – Vieille interface • Une des plus anciennes interfaces multimodales géospatiales – Caméra – Microphone – Écran Système « Put-that-there » de Bolt, 1980
  24. 24. GeoMMI - Edward Tse, Ph.D. • Utilisation de microphones, caméras, vidéoprojecteur, souris – Geste et parole http://edwardhtse.googlepages.com/areasofcreativity
  25. 25. GeoMMI – Interfaces tactiles • Microsoft Surface – http://www.microsoft.com/surface/
  26. 26. GeoMMI – Perspective Pixel • Comme dans le film Minority Report – http://www.perceptivepixel.com/
  27. 27. GeoMMI – Nasa World Wind • Nasa World Wind + interfaces multimodales • http://www.dfki.de/web • (à gauche) Écran tactile seul • (à droite) Écran tactile + Wii balance board http://ifgiweb.uni-muenster.de/~j_scho09/world-wind- touch/Home.html http://www.youtube.com/watch?v=riFw0kKoinU&feature =player_embedded
  28. 28. GeoMMI – Cubtile 3D • Le cubtile 3D = navigation 3D – L’entreprise immersion (www.immersion.fr)
  29. 29. GeoMMI – CoMPASS • CoMPASS (TabletPC + Voix) http://www.csi.ucd.ie/staff/mbertolotto/home/
  30. 30. GeoMMI – Groupe Immerse • Pour les personnes avec des déficiences physiques – Groupe de recherche de Dan Jacobson (Calgary)
  31. 31. GeoMMI – Groupe GeoVISTA • DAVE_G (début des années 2000) – Parole, eye tracking, gestes, … – Gestion de risque, geocollaboration
  32. 32. GeoMMI – Réalité Augmentée
  33. 33. GeoMMI – Réalité Augmentée avec iPhone • Métro de Paris sur iPhone – http://www.metroparisiphone.com/
  34. 34. GeoMMI … dans le Futur Siftables Cerveau ! Hologrammes http://siftables.com/ http://gl.ict.usc.edu/Research/ 3DDisplay/
  35. 35. OpenInterface • Le projet OpenInterface (www.openinterface.org/) – Solution open source de plateforme d’aide à la création et au déploiement d’interfaces multimodales – Exemples : • Navigation avec Google Earth (Microphone + capteur SHAKE)
  36. 36. OpenInterface – Autres Exemples de navigation: • Iphone + wiimote • Table augmentée ou table tactile + Voix
  37. 37. Normes internationales • Groupe de travail sur les interaction multimodales – http://www.w3.org/2002/mmi/ – http://www.w3.org/2009/05/mmi-charter.html • Objectifs : – Étendre le Web avec de multiples modes de communication – N’importe qui, n’importe où, n’importe quand, peu importe l’interface, • Normalisation – EMMA : Extensible Multimodal Annotation Markup Language ( Recommandation) – Multimodal Architecture (Draft)
  38. 38. Le laboratoire REGARD • Matériel obtenu via FCI – 5 Téléphones mobiles (iPhone + Nokia) – 10 PDA PalmOne Tungten et PDA HP – 1 Écran 3D avec projecteurs – 1 Écran auto stéréoscopique 40’’ Synthagram – 3 Lunettes de réalité augmentée i-glasses PC 3D HR – Clusters de PC – 1 Stylet ST3 Polhemus – 3 Souris 6 degrés de liberté Magellan (HP) – 9 gant P5 glove (Virtual realities inc.) – 2 Caméras numérique – PC portables et PC desktop – …
  39. 39. GeoMMI – Le projet GéoÉduc3D http://geoeduc3d.scg.ulaval.ca • Réalité augmentée, mobilité, données 3D, jeux, éducation • Objectifs : – Proposer des jeux interactifs éducatifs, s'appuyant sur les technologies géospatiales et explorant des questions thématiques auxquelles le jeune public des adolescents est sensible : les changements climatiques; le développement durable. – Concevoir et mettre en œuvre un ensemble d’outils d'apprentissage innovants qui vont permettre d'enrichir - « augmenter » - l'expérience (i.e. l'apprentissage ludique) du joueur en rendant le jeu plus immersif, réactif, interactif. • Différents chercheurs, différents domaines (géomatique, éducation, réalité augmentée), différents partenaires :
  40. 40. Le projet GéoÉduc3D Exemples de travaux iPhone Capture de mouvement (caméra + écran tactile) (doigt bleu ou vert) + caméra Par Vincent Thomas, maîtrise
  41. 41. Intérêts de recherche • Potentiel énorme d’utiliser des interfaces multimodales en géomatique – Aider les utilisateurs à spécifier leurs besoins en information géographique – Rendre plus utilisable et intuitif les systèmes géospatiaux – Personnalisation des données spatiales, mais aussi des interactions – Mettre en place un dialogue homme-machine • Actuellement, des étudiants travaillent en particulier sur l’iPhone : – Élodie EDOH-ALOVE (maîtrise) : Étude du contexte spatial sur des dispositifs mobiles, tel que l’iPhone, pour des jeux éducatifs en tenant compte de l’aspect réalité augmentée dans le projet GéoÉduc3D – Belko Diallo (doctorat - codirecteur) : Géo-décision en mobilité
  42. 42. Intérêts de recherche • Belko Diallo (doctorat - codirecteur) : Géo-décision en mobilité
  43. 43. Conclusion • Nouvelles connaissances sur les interfaces multimodales. • Découverte des interfaces multimodales géospatiales. • Exploitation de telles interfaces au Département des sciences géomatiques de l’Université Laval. • Potentiel des interfaces multimodales pour la géomatique pour l’avenir !
  44. 44. Merci de votre attention QUESTIONS ? http://frederic-hubert.scg.ulaval.ca

×