Article IEEE

123 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
123
Sur SlideShare
0
Issues des intégrations
0
Intégrations
9
Actions
Partages
0
Téléchargements
2
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Article IEEE

  1. 1. Retour haptique d’un monde virtuel A. Usta R. David-Leguillou H. Ait Brik Y. Akadiri F. Dam K. Rahetilahy O. Guerrida I. Diallo Abstract— La r´ealit´e virtuelle est un domaine en pleine ex- pansion depuis ces derni`eres ann´ees. De l’industrie du jeu-vid´eo aux grands laboratoires de recherche, nous pouvons trouver une infinit´e d’applications `a la r´ealit´e virtuelle. Cependant, l’immersion n’est jamais totale, c’est pourquoi nous avons imagin´e un dispositif de retour haptique pour accentuer cette immersion notamment en utilisant des haut-parleurs pour simuler le ressenti de textures. I. INTRODUCTION A. Haptique et r´ealit´e virtuelle La r´ealit´e virtuelle se base sur le principe suivant : g´en´erer une sc`ene virtuelle dans le but d’immerger l’utilisateur et de l’isoler du monde r´eel. Pour ce faire, la projection de la sc`ene sur un simple ´ecran ne suffit ´evidemment pas : un casque de r´ealit´e virtuelle (aussi appel´e ”casque VR”) est donc n´ecessaire. Avec la d´emocratisation de ce nouveau dispositif (cf. Oculus Rift de FaceBook), il est aujourd’hui beaucoup plus simple de se procurer un casque VR. Cependant, comme dit dans l’abstract de cet article, le casque VR seul ne suffit pas `a immerger l’utilisateur dans le monde virtuel : les diff´erents ressentis comme le toucher ne sont pas disponibles, rendant l’exp´erience d’immersion incompl`ete. C’est donc dans ce contexte qu’intervient l’haptique : l’id´ee est ici d’ajouter des dispositifs compl´ementaires `a l’utilisateur pour qu’il puisse avoir un retour haptique de la sc`ene dans laquelle il est immerg´e. B. ´Etat de l’art Il existe diff´erents dispositifs de retour haptique dans la litt´erature, nous ne citerons ici que les plus pertinents par rapport `a notre application : le ressenti du toucher d’objets et de textures. Un premier exemple de retour haptique consiste `a utiliser un produit connu : le Novint Falcon. Ce dispositif permet de faire ressentir `a l’utilisateur un retour de force d’une sc`ene virtuelle. C’est donc dans ce contexte que les chercheurs Pierre Renon, Chenguang Yang et Rongxin Cui ont d´evelopp´e un syst`eme de retour haptique avec ce Falcon et le simulateur iCub [1]. Un second exemple de dispositif a ´et´e propos´e par Adiyan Mujibiya de l’Institut de Technologie de Rakuten (Japon) : l’id´ee est d’utiliser des d´echarges ´electrostatiques pour donner `a l’utilisateur la sensation de toucher d’un objet [2]. Un dernier exemple (parmi tant d’autres) a ´et´e donn´e par Tatsuya Koyama, Ikuo Yamano, Kenjiro Takemura et Takashi Maeno : leur dispositif est un exosquelette permettant de donner un retour de force sur les doigts, dans le but de faire de la t´el´eop´eration (op´eration contrˆol´ee `a distance) [3]. C. But du projet Ces dispositifs ont tous un point commun, `a savoir donner une illusion de toucher ou de retour de force synchronis´ee avec la sc`ene virtuelle. Le dispositif que nous proposons dans le cadre de ce projet est le suivant : nous voulons stimuler le bout de chaque doigt de la main droite avec des petits haut-parleurs de quelques Watts. En envoyant des signaux appropri´es sur chaque haut-parleur, le tout synchronis´e avec la sc`ene virtuelle, nous pouvons ressentir le toucher de diff´erentes textures (bois, verre, papier, aluminium, etc). Avec cette technique, la seule limitation dans le type de texture que l’on va toucher dans la sc`ene virtuelle est la g´en´eration de signaux ad´equats `a envoyer au dispositif. Lors de ce projet, nous avons d´evelopp´e plusieurs sc`enes virtuelles, et en parall`ele nous avons d´evelopp´e le dispositif de retour haptique. Pour retranscrire les mouvements de l’utilisateur dans la sc`ene virtuelle, plusieurs capteurs ont ´et´e utilis´e : une Kinect v1 pour les mouvements de l’utilisateur, un leap Motion pour capter les mouvements des mains, et le casque de r´ealit´e virtuelle pour immerger l’utilisateur dans la sc`ene virtuelle, celui-ci captant aussi les mouvements de la tˆete. Le couplage de tous ces dispositifs a ´et´e r´ealis´e sous Unity 5.2.2f1. Les r´esultats de ce projet sont donn´es en conclusion. Fig. 1. Dispositif final II. INTERACTION A. Casque OSVR L’OSVR (Open Source Virtual Reality), en plus d’ˆetre un casque de r´ealit´e virtuelle, est un projet open source, d’environnement au niveau mat´eriel logiciel pour la r´ealit´e virtuelle, ax´ee pour le jeu vid´eo [4].
  2. 2. Le casque est compos´e de : • Un module d’affichage avec un ´ecran OLED de 5,5 pouces avec une r´esolution de 401 PPI • Un dispositif optique constitu´e de lentilles ajustables • Un circuit ´electronique avec un acc´el´erom`etre et un gyroscope int´egr´e pour reproduire les mouvements de la tˆete. La r´ealit´e virtuelle est une simulation interactive immer- sive d’un environnement virtuel. L’utilisateur voit la sc`ene virtuelle en vision st´er´eoscopique. Il y aura deux images d´ecal´ees l’une par rapport `a l’autre qui correspond `a deux points de vue des yeux de l’observateur pour retourner une notion de profondeur. Le casque se base sur cette technologie de st´er´eo-vision et d’un tracking de la position de la tˆete de l’utilisateur. Du fait que le projet soit ouvert au grand public, en terme de com- patibilit´e et de configuration, l’OSVR poss`ede d´ej`a plusieurs kits pr´ed´efinis selon les plateformes de d´eveloppement 3D. Nous avons d´ecid´e de choisir ce mod`ele d’appareil du fait de son prix abordable par rapport aux autres mod`eles de casque VR et qu’il disposait d´ej`a en option le capteur Leap Motion, qui s’accroche sur le casque, pour permettre une reconnaissance du mouvement des mains. B. Leap Motion Afin d’augmenter l’immersion dans un monde virtuel, il est important de pouvoir interagir avec ses objets, notamment avec nos propres mains. Le Leap Motion [5] est un appareil permettant cela. Il s’agit d’un dispositif de reconnaissance de mouvements des mains compos´e de deux cam´eras et de trois LED infrarouges, qui se connecte `a un ordinateur en USB. Ses cam´eras peuvent d´etecter de la lumi`ere infrarouge de 850 nm de longueur d’onde, ce qui est en dehors du spectre visible. Grˆace `a ses lentilles grand angle, le Leap Motion a un champ d’interaction de 0,22 m3 [6]. Ce champ, ayant la forme d’un t´etra`edre invers´e, correspond `a l’intersection des champs de vision des deux cam´eras. Utilis´e dans une sc`ene virtuelle, le Leap Motion nous permet de voir et de contrˆoler une repr´esentation en 3D de nos mains afin d’interagir avec les diff´erents objets de la sc`ene. C. Kinect v1 La Kinect a pour but de transposer notre d´eplacement du monde r´eel au monde virtuel. Ainsi, il est possible de cartographier avec pr´ecision la distance pour tout objet ou personne ´eloign´e de 1,5 `a 2 m`etres de la cam´era jusqu’`a environ 4-5 m`etres de profondeur. La technologie embarqu´ee qui nous int´eresse dans le cadre de notre projet est le ” 3D depth sensor ”, qui est compos´e d’une part d’un ´emetteur IR (l’avantage de l’´emetteur IR est de pouvoir jouer dans toutes les conditions de luminosit´e) et d’autre part d’une Cam´era IR. Dans notre cas, la sc`ene contenant le joueur sera expos´ee aux rayons infrarouges de l’´emetteur IR, une partie de ces rayonnements va ˆetre r´efl´echie par l’ensemble des surfaces touch´ees, ainsi plus l’objet sera loin et plus la quantit´e de rayonnement infrarouge r´efl´echie (renvoy´ee vers la cam´era IR) sera faible, `a l’inverse, plus l’objet sera proche et plus la quantit´e de rayonnement infrarouge r´efl´echie sera importante. La cam´era infrarouge va alors mesurer la distance de l’objet en fonction de l’intensit´e. Ensuite, ce sont les logiciels qui vont effectuer le traitement des images rec¸ues, en permettant la reconnaissance des diff´erentes parties du corps par exemple, ce qui permet dans notre cas de suivre des d´eplacements lat´eraux. Fig. 2. Les 3 capteurs : OSVR, Leap Motion, Kinect v1 III. SC `ENE VIRTUELLE A. Int´erˆet de chaque sc`ene 1) Sc`ene d’entr´ee - le digicode: La premi`ere sc`ene virtuelle dans laquelle nous souhaitons que les utilisateurs commencent l’exp´erience comporte un digicode donnant acc`es `a la sc`ene suivante. En effet, sans ˆetre une tˆache trop difficile, le fait de devoir appuyer sur des touches demande une certaine pr´ecision et leur permet donc de se familiariser avec l’utilisation de leurs mains dans une sc`ene virtuelle. Cette sc`ene constitue ´egalement un tr`es bon test du dispositif de retour haptique. Ici, on ne prˆete pas attention au mat´eriau des touches, on veut simplement ressentir la sensation d’avoir touch´e un corps solide. Fig. 3. Sc`ene pr´esentant le digicode 2) Appartement: Afin de fournir un retour haptique plus r´ealiste, nous avons essay´e de mod´eliser une sc`ene virtuelle compos´ee d’objets vari´es et dans lequel l’utilisateur sera immerg´e et pourra se d´eplacer `a sa guise. La conception de la sc`ene finale se focalise sur le renforcement du sentiment de la pr´esence de l’utilisateur dans l’environnement virtuel en plus du retour haptique. Chaque objet mod´elis´e traduit une texture pr´ecise et doit avoir sa forme r´eelle pour garder l’illusion. Les mod`eles
  3. 3. d’objets quotidiens aux formats 3D pr´esents dans la sc`ene sont d´ej`a disponibles sous formes de pr´efabriqu´es en ligne. Nous avons rajout´e sur ces ´el´ements les diff´erentes textures et couleurs. Nous avons mod´elis´e la sc`ene en plusieurs pi`eces `a part enti`ere d’une dimension sp´ecifique [2x2m] pour pouvoir d´elimiter dans le virtuel la distance dont pourra se mouvoir l’utilisateur dans le r´eel. L’int´erˆet de cette sc`ene r´eside dans le fait qu’elle regroupe un large panel d’objets que l’on rencontre dans la vie quotidienne (table, chaise, plastique, etc). L’utilisateur pourra donc toucher des mat´eriaux diff´erents, et donc avoir un retour haptique en fonction de l’objet touch´e. 3) Fontaine et sable: Nous avons d´evelopp´e en parall`ele une sc`ene permettant de toucher du sable et de l’eau. La sc`ene est donc constitu´ee d’un d´esert avec une fontaine et un sablier renvers´e. L’utilisateur peut se d´eplacer `a l’aide des touches directionnelles ou avec la Kinect. En touchant l’eau de la fontaine, il peut entendre le son de l’eau en train de couler et ressentir les particules d’eau, il en est de mˆeme pour le sable. L’eau a ´et´e obtenue via un plugin permettant de cr´eer des particules, il a fallu changer les param`etres et cr´eer un script pour l’interaction avec la leap motion. Pour le sable il en est de mˆeme. Le d´esert et le sablier proviennent d’un autre projet en utilisation libre et ont ´et´e modifi´es pour le projet. B. Mod´elisation des sc`enes La mod´elisation des sc`enes a ´et´e r´ealis´ee sous Unity. Unity est un logiciel de conception qui permet de d´evelopper des sc`enes en 2D et en 3D. L’ensemble de nos sc`enes avec les diff´erentes textures ont ´et´e r´ealis´e avec ce logi- ciel. La r´ealisation des sc`enes a ´et´e r´ealis´ee en important et en adaptant des ´el´ements de diff´erents projets depuis l’AssetStore d’Unity. Les objets plac´es sur la sc`ene (cam´era, lumi`ere, gamme objets et textures) pourront ˆetre positionn´es, manipul´es et anim´es. La g´en´eration de particules dynamiques (sable et eau) a ´et´e r´ealis´ee `a partir du plugin Fluvio. IV. RETOUR HAPTIQUE A. Dispositif de retour haptique Le dispositif de retour haptique imagin´e et largement inspir´e de la litt´erature est compos´e de petits hauts-parleurs plac´es sur les extr´emit´es de chaque doigt de la main droite. Rappelons-le, le retour haptique consiste `a faire vibrer les hauts-parleurs lorsqu’il y a collision entre la main droite et les objets de la sc`ene virtuelle. Les vibrations d´ependent du type d’objet touch´e, et du type de contact (toucher statique ou dynamique). Les hauts-parleurs sont en contact direct avec les doigts de la main, les vibrations des membranes des hauts-parleurs sont donc directement transmises aux doigts, donnant l’illusion de toucher. Les hauts-parleurs ont ´et´e choisi en ad´equation avec les bandes de fr´equences des signaux `a envoyer : 50 Hz Fig. 4. Illustration du dispositif de retour haptique `a 1 kHz. Ceux-ci doivent donc pouvoir reproduire d’assez basses fr´equences, avec un certain gain. Apr`es une ´etude des diff´erents mini hauts-parleurs pr´esents sur le march´e, et dans un soucis de budget limit´e, nous avons opt´e pour des hauts- parleurs Visaton K28.40, d’une puissance de 2 Watts, ce qui est suffisant pour avoir un ressenti des vibrations sans que ce soit d´esagr´eable. Ce mod`ele de haut-parleur peut descendre jusqu’`a 80 Hz sans ˆetre att´enu´e, ce qui conviendra. Le dispositif est aliment´e par des amplificateurs audio simples r´ealis´es par nos soins, et les signaux proviendront soit de la sc`ene virtuelle directement (donc de Unity), soit par l’interm´ediaire d’un micro-contrˆoleur. Dans le premier cas de figure, les signaux sont envoy´es de mani`ere synchrones via le PC o`u la sc`ene virtuelle est jou´ee. Dans le second cas de figure, les signaux sont stock´es sur le micro-contrˆoleur, et envoy´es de mani`ere synchrones lorsqu’il y a collision. Le micro-contrˆoleur est donc reli´e au PC par une liaison s´erie simple, et un protocole de communication simple a ´et´e mis en place pour savoir quel signal doit ˆetre envoy´e et sur quel haut-parleur il doit ˆetre envoy´e. B. Rendu des textures Concernant le rendu de textures, nous avons g´en´er´e pour chacune des texture un signal diff´erent et ad´equat. Concer- nant la 1`ere sc`ene avec le digicode, nous avons cr´e´e un sinus de fr´equence suffisamment grande (quelque peu inf´erieur au kHz) pour que le doigt ne ressente pas de vibrations, mais uniquement une pression continue. Concernant le rendu de textures d’eau ou de sables, nous avons d´ecid´e de prendre un signal audio de ces textures en train de couler, de les traiter, et de les rendre sur les hauts parleurs. Enfin, pour la sc`ene finale, nous nous sommes servis d’un appareil pouvant enregistrer les forces tangentielles [7] (forces que le doigt ressent le plus) ´emises sur le doigt lors d’un frottement sur une texture, afin d’obtenir les signaux repr´esentant les forces lors de frottements. Apr`es un filtrage passe bande adapt´e et une amplification, ces signaux peuvent ˆetre transmis aux hauts parleurs. Nous pouvons ainsi simuler dans notre sc`ene diff´erents mat´eriaux, que nous avons pris discriminants, tels que du plexiglas, du tapis, de l’aluminium rainur´e, etc pour que leur diff´erences de rugosit´e nous permettent d’avoir la meilleure discrimination possible. [8]
  4. 4. C. Int´egration Une fois que tous les dispositifs sont correctement cal- ibr´es et fonctionnels, l’´etape ultime est de pouvoir les coupler ensemble pour avoir un syst`eme d’immersion et de retour haptique fonctionnel. Comme expliqu´e dans les parties pr´ec´edentes, les diff´erents capteurs utilis´es (Leap Motion, Kinect, Casque VR) ont ´et´e coupl´es, permettant ainsi l’immersion de l’utilisateur d’une part, et la capture de ses gestes et d´eplacements dans la sc`ene virtuelle. Le dispositif haptique est ensuite coupl´e `a la sc`ene virtuelle selon deux modes de fonctionnement possibles pour permettre une ex- citation des doigts synchronis´ee avec la sc`ene virtuelle. V. R ´ESULTATS ET CONCLUSIONS En conclusion, ce projet a d´emontr´e qu’il ´etait possible de donner l’illusion de sensation de toucher venant d’un monde virtuel. La 1`ere sc`ene avec le digicode a bien montr´e que nous ´etions capable de rendre un toucher statique sur un ou plusieurs doigts, s’att´enuant au cours du temps pour bien simuler un r´egime transitoire. La 2`eme sc`ene, quant `a elle, a ´et´e limit´e a des liquides/syst`emes granulaires coulant sur la main, et non enti`erement libres, par question de temps, mais donnait un rendu d’eau ´eclaboussant sur les doigts assez convaincant. Enfin, la 3`eme sc`ene a permis de terminer le test sur l’ensemble des touchers possibles, avec des frottements sur textures plus ou moins rugueuses, et donnait une v´eritable impression de frottement, du au fait que nous voyons ce que nous touchons, et que nous avons ´egalement un petit rendu sonore du dit frottement pour compl´eter l’illusion et mettre en jeu les 3 sens. Pour conclure, ces travaux pourront servir `a l’avenir pour le d´eveloppement de sc`enes virtuelles interactives, o`u le toucher pourra venir s’ajouter `a la vue et `a l’ou¨ıe. VI. REMERCIEMENTS Ces travaux ont ´et´e encadr´es par Monsieur Vincent HAY- WARD, dans le cadre du projet int´egratif de 2`eme ann´ee du Master ”Ing´enierie des Syst`emes Intelligents” de l’Universit´e Pierre et Marie Curie. Nous tenons ´egalement `a remercier les doctorant(e)s et/ou chercheurs de l’ISIR et de l’IRCAM ayant pu apporter leurs conseils quant `a ce projet, et aussi les techniciens des salles de travaux pratiques pour leurs aides concernant les aspects techniques du projet. REFERENCES [1] P. Renon, C. Yang, H. Ma, and R. Cui, “Haptic interaction between human and virtual iCub robot using Novint Falcon with CHAI3D and MATLAB,” in Control Conference (CCC), 2013 32nd Chinese, 2013, pp. 6045–6050. [2] A. Mujibiya, “Haptic feedback companion for Body Area Network using body-carried electrostatic charge,” in 2015 IEEE International Conference on Consumer Electronics (ICCE), 2015, pp. 571–572. [3] T. Koyama, I. Yamano, K. Takemura, and T. Maeno, “Multi-fingered exoskeleton haptic device using passive force feedback for dexterous teleoperation,” in IEEE/RSJ International Conference on Intelligent Robots and Systems, 2002, 2002, vol. 3, pp. 2905–2910 vol.3. [4] “Razer — OSVR - Open-Source Virtual Reality for Gaming,” Razer. [Online]. Available: http://www.osvr.org/. [Accessed: 23-Jan-2016]. [5] L. Motion, “Leap Motion.” [Online]. Available: https://www.leapmotion.com/. [Accessed: 23-Jan-2016]. [6] “How Does the Leap Motion Controller Work?,” Leap Motion Blog, 09-Aug-2014. [Online]. Available: http://blog.leapmotion.com/hardware-to-software-how-does-the- leap-motion-controller-work/. [Accessed: 23-Jan-2016]. [7] J. Platkiewicz, A. Mansutti, M. Bordegoni, and V. Hayward, “Record- ing Device for Natural Haptic Textures Felt with the Bare Fingertip,” in Haptics: Neuroscience, Devices, Modeling, and Applications, M. Auvray and C. Duriez, Eds. Springer Berlin Heidelberg, 2014, pp. 521–528. [8] A. M. Smith, C. E. Chapman, M. Deslandes, J.-S. Langlais, and M.- P. Thibodeau, “Role of friction and tangential force variation in the subjective scaling of tactile roughness,” Exp Brain Res, vol. 144, no. 2, pp. 211–223, May 2002.

×