Le document présente le projet géoéduc3d, qui vise à créer des jeux éducatifs en réalité augmentée pour enseigner des notions de conservation d'énergie aux adolescents. Il décrit les interactions multimodales possibles avec des objets géoréférencés sur smartphones, soulignant les défis et les limitations actuels des jeux développés, notamment le prototype 'energy wars mobile'. Le rapport conclut en discutant des futures améliorations à intégrer pour enrichir l'expérience utilisateur et l'immersion dans le jeu.

1. Interagir avec des objets de réalité augmentée géoréférencés sur téléphone intelligent Frédéric Hubert, Ph.D. Département des sciences géomatiques Université Laval Géomatique 2011 13 octobre 2011

2. Plan de la présentation Contexte GéoEduc3D RA, MARS Energy Wars Mobile Limites Objectifs Interactions multimodales Nouvelles interactions pour Energy Wars Mobile

3. GéoÉduc3D Projet financé par le réseau des centres d’excellence GEOIDE Créer des jeux éducatifs pour les adolescents basés sur des technologies géospatiales et axés sur les questions environnementales; Exploiter la position du joueur et tout ce qui l'entoure et fournir un haut niveau d'immersion grâce à l'utilisation des techniques de réalité augmentée (RA).

4. RA : Réalité Augmentée Superposition d’objets graphiques 2D ou 3D dans le champ de vue d’un joueur afin, idéalement, qu’il ne puisse pas faire la distinction entre ce qui est réel et ce qui est virtuel.

5. MARS ?! MARS : Mobile Augmented Reality System Intégration et immersion en environnement réel avec les capteurs des appareils mobile : GPS, compas et accéléromètres ? Wikitude World Browser

6. RA et MARS : techniques Différentes techniques de réalité augmentée sur mobile ou non Avec marqueurs physiques

7. RA et MARS : techniques Différentes techniques de réalité augmentée sur mobile ou non Avec marqueurs physiques Sans marqueurs Selon marqueurs naturels http: //www.qualcomm.com/products-services/augmented- reality

8. RA et MARS : techniques Différentes techniques de réalité augmentée sur mobile ou non Avec marqueurs physiques Sans marqueurs Avec marqueurs naturels Géolocalisé  géotags Wikitude Layar Junaio … http://www.metroparisiphone.com /

9. MARS – Exemples - Junaio http://www.junaio.com /

10. MARS – Exemples - Layar http://www.layar.com /

11. MARS – Exemples - Qualcomm http: //www.qualcomm.com/products-services/augmented- reality

12. GéoÉduc3D : prototype de jeu Energy Wars : Rise of the Chimera Basé sur le jeu Warcraft (version PC), Environnement virtuel mais avec des bâtiments de l’Université Queen à Kingston (Ontario) Finaliste en 2009 pour la conférence Serious Games Showcase and Challenges

13. GéoÉduc3D : prototype de jeu Energy Wars Mobile Basé sur Energy Wars, mais développé à l’Université Laval Environnement de jeu 3D réel : Intégration de la mobilité avec des téléphones intelligents : iPhone et OS Android Immersion avec la réalité augmentée sous forme de géotags (RA géoréférencée) But pédagogique : Enseigner des notions de conservations d’énergie Équipe de joueurs avec des rôles différents : commandant, éclaireurs et experts. Seul l’éclaireur « joue » avec la réalité augmentée.

14. GéoÉduc3D : prototype de jeu Interfaces utilisateurs de l’éclaireur

15. Energy Wars Mobile - Limites Quelques limites ressorties des premières versions du jeu : Juste la visualisation de géotag, sans interaction avec ces objets. Seul l’éclaireur dispose d’un outil de réalité augmentée. Difficulté de visualiser la localisation des géotags dans l’environnement. Sous exploitation des possibilités des mobiles. Pas de possibilités de procéder à la configuration de certains éléments de jeu comme le positionnement des géotags.

16. D’où … La volonté de rendre plus immersif et plus interactif le prototype de jeu éducatif mobile, selon les principes mis en avant par le projet GéoÉduc3D Meilleure prise en compte des possibilités des téléphones intelligents. Introduire de nouvelles façons simples ou complexes d’interagir avec des objets de réalité augmentée géoréférencés (géotags).

17. Les interfaces multimodales Usage simultanée ou alternée de modes ou modalités de communication entre l’homme et la machine. Modes de communication liées aux sens humains : En entrée Visuel Auditif Tactile Olfactif Gustatif En sortie Oral Gestuel

18. Les interfaces multimodales Intérêts : Rendre plus intuitive l’interaction et l’expression pour l’humain, Augmenter et améliorer l’utilisabilité et l’accessibilité des systèmes informatisés, Offrir une interaction adaptable, flexible, coopérative et plus naturelle , Diminuer l’ambiguïté liée à l’usage de certaines modalités de communication (ex. la parole), Déployer un support pour les personnes ayant des déficiences, Garantir des technologies de plus en plus matures.

19. Les interfaces multimodales Source: www.driver-dimension.com

20. Les interfaces multimodales géospatiales « Les interfaces multimodales géospatiales sont des solutions d’interfaces homme-machine qui visent à combiner, de manière simultanée ou alternée, des modes de communication impliquant l’usage, direct ou indirect, de l’information géographique dans le but d’améliorer l’utilisabilité et l’accessibilité des données géospatiales au travers de systèmes informatisés. »

21. Les interfaces multimodales géospatiales - Exemples Système « Put-that-there » de Bolt, 1980 http://edwardhtse.googlepages.com/areasofcreativity

22. Les interfaces multimodales géospatiales - Exemples http://www.openinterface. org http://www.dfki.de/web

23. Vers de nouvelles interactions … Proposition de nouvelles interactions pour les prototypes de jeu de GéoÉduc3D, et plus particulièrement Energy Wars Mobile Développées sur téléphones avec OS Android Java + OpenCV + OpenGL Motorola Milestone et Sony Xperia Interactions simples & Interactions complexes

24. Interactions … Accéléromètres : Basculement de vues 2D/3D Tactile : Présélection de géotags Parole : changement de type de carte 2D, sélectionner, créer, modifier, supprimer des géotags Parole + Tactile : création d’un géotag sur vue 2D Gestuel : changement d’outils

25. Simple usage des accéléromètres Interactions – Basculement 2D/3D

26. Interactions – Basculement 2D/3D

27. Interactions – Parole Usage de la reconnaissance vocale pour effectuer des actions simples avec des objets de RA géoréférencés Utilisation de Google Voice Actions Utilité pour la configuration du jeu avec le positionnement de géotags par exemple Mais également lors du jeu !

28. Interactions – Parole Différentes actions proposées en lien avec des géotags

29. Interactions – Parole Exemple : Changer de type de carte en 2D Changer la carte Plan Photo aérienne

30. Interactions – Parole Combinaisons d’exemples

31. Interaction – Parole + écran tactile Combinaison de la parole et de l’écran tactile Création d’un géotag Créer un obstacle

32. Interaction - Gestuel Plus exploratoire Utilisation du geste de la main pour sélectionner des outils de réalité augmentée Pour des experts, selon leur spécialité Usage de marqueurs de couleur ou non Difficultés majeures liée aux capacités des téléphones intelligents, ainsi qu’à la reconnaissance de la main en environnement extérieur ou non

33. Interaction - Gestuel

34. Interaction – Gestuel sur RA Utilisation du geste de la main pour interagir avec un objet RA géoréférencé Découvrir le contenu d’un géotag, éliminer un obstacle

35. Interaction – Gestuel Problèmes La reconnaissance sans marqueur en situation extérieure non contrôlée Porter le téléphone intelligent d’une main Pour la gestuelle, à plus long terme, usage de lunettes de réalité augmentée et lentilles bioniques en situation, libérant ainsi les mains Source : B. A. Parviz, Université Washington

36. Conclusion De plus en plus d’applications de réalité augmentée sont disponibles pour téléphone intelligent ou tablette. Téléphones et tablettes dotées de nombreuses composants d’interfaces à exploiter, tant en entrée qu’en sortie. Exploitation des solutions d’interaction multimodale de plus en plus courante et facilitée par les appareils mobile. L’interaction de basculement de la vue 3D vers 2D est déjà intégrée au jeu Energy Wars Mobile, qui sera bientôt testé par des adolescents.

37. Conclusion Intégrer d’autres interactions à l’application Energy Wars Mobile Notamment la sélection d’outils par la gestuelle Exploiter encore davantage la reconnaissance vocale couplée avec l’écran tactile et/ou la gestuelle Dans le but de faciliter la configuration du jeu, mais aussi pour l’immersion dans le jeu Intégrer des interactions de sortie dans le jeu comme l’usage de la synthèse vocale et/ou des vibrations Conférence 3D GéoInfo 2012, Québec

38. Merci de votre attention QUESTIONS ? f [email_address] http://frederic-hubert.scg.ulaval.ca