Le document présente un dispositif de retour haptique conçu pour améliorer l'immersion en réalité virtuelle en utilisant des haut-parleurs pour simuler la sensation de toucher différentes textures. Il décrit la création de scènes virtuelles et l'utilisation de capteurs tels que Kinect et Leap Motion pour capter les mouvements de l'utilisateur. Les résultats montrent comment le couplage de ces technologies permet d'accentuer l'interaction dans un environnement virtuel.

1. Retour haptique d’un monde virtuel
A. Usta R. David-Leguillou H. Ait Brik Y. Akadiri F. Dam K. Rahetilahy O. Guerrida I. Diallo
Abstract— La r´ealit´e virtuelle est un domaine en pleine ex-
pansion depuis ces derni`eres ann´ees. De l’industrie du jeu-vid´eo
aux grands laboratoires de recherche, nous pouvons trouver
une infinit´e d’applications `a la r´ealit´e virtuelle. Cependant,
l’immersion n’est jamais totale, c’est pourquoi nous avons
imagin´e un dispositif de retour haptique pour accentuer cette
immersion notamment en utilisant des haut-parleurs pour
simuler le ressenti de textures.
I. INTRODUCTION
A. Haptique et r´ealit´e virtuelle
La r´ealit´e virtuelle se base sur le principe suivant : g´en´erer
une sc`ene virtuelle dans le but d’immerger l’utilisateur et
de l’isoler du monde r´eel. Pour ce faire, la projection de
la sc`ene sur un simple ´ecran ne suffit ´evidemment pas :
un casque de r´ealit´e virtuelle (aussi appel´e ”casque VR”)
est donc n´ecessaire. Avec la d´emocratisation de ce nouveau
dispositif (cf. Oculus Rift de FaceBook), il est aujourd’hui
beaucoup plus simple de se procurer un casque VR.
Cependant, comme dit dans l’abstract de cet article,
le casque VR seul ne suffit pas `a immerger l’utilisateur
dans le monde virtuel : les diff´erents ressentis comme
le toucher ne sont pas disponibles, rendant l’exp´erience
d’immersion incompl`ete. C’est donc dans ce contexte
qu’intervient l’haptique : l’id´ee est ici d’ajouter des
dispositifs compl´ementaires `a l’utilisateur pour qu’il puisse
avoir un retour haptique de la sc`ene dans laquelle il est
immerg´e.
B. ´Etat de l’art
Il existe diff´erents dispositifs de retour haptique dans la
litt´erature, nous ne citerons ici que les plus pertinents par
rapport `a notre application : le ressenti du toucher d’objets
et de textures. Un premier exemple de retour haptique
consiste `a utiliser un produit connu : le Novint Falcon. Ce
dispositif permet de faire ressentir `a l’utilisateur un retour de
force d’une sc`ene virtuelle. C’est donc dans ce contexte que
les chercheurs Pierre Renon, Chenguang Yang et Rongxin
Cui ont d´evelopp´e un syst`eme de retour haptique avec ce
Falcon et le simulateur iCub [1]. Un second exemple de
dispositif a ´et´e propos´e par Adiyan Mujibiya de l’Institut
de Technologie de Rakuten (Japon) : l’id´ee est d’utiliser
des d´echarges ´electrostatiques pour donner `a l’utilisateur
la sensation de toucher d’un objet [2]. Un dernier exemple
(parmi tant d’autres) a ´et´e donn´e par Tatsuya Koyama,
Ikuo Yamano, Kenjiro Takemura et Takashi Maeno : leur
dispositif est un exosquelette permettant de donner un
retour de force sur les doigts, dans le but de faire de la
t´el´eop´eration (op´eration contrˆol´ee `a distance) [3].
C. But du projet
Ces dispositifs ont tous un point commun, `a savoir donner
une illusion de toucher ou de retour de force synchronis´ee
avec la sc`ene virtuelle. Le dispositif que nous proposons dans
le cadre de ce projet est le suivant : nous voulons stimuler
le bout de chaque doigt de la main droite avec des petits
haut-parleurs de quelques Watts. En envoyant des signaux
appropri´es sur chaque haut-parleur, le tout synchronis´e
avec la sc`ene virtuelle, nous pouvons ressentir le toucher
de diff´erentes textures (bois, verre, papier, aluminium,
etc). Avec cette technique, la seule limitation dans le
type de texture que l’on va toucher dans la sc`ene virtuelle
est la g´en´eration de signaux ad´equats `a envoyer au dispositif.
Lors de ce projet, nous avons d´evelopp´e plusieurs sc`enes
virtuelles, et en parall`ele nous avons d´evelopp´e le dispositif
de retour haptique. Pour retranscrire les mouvements de
l’utilisateur dans la sc`ene virtuelle, plusieurs capteurs ont ´et´e
utilis´e : une Kinect v1 pour les mouvements de l’utilisateur,
un leap Motion pour capter les mouvements des mains, et le
casque de r´ealit´e virtuelle pour immerger l’utilisateur dans
la sc`ene virtuelle, celui-ci captant aussi les mouvements de
la tˆete. Le couplage de tous ces dispositifs a ´et´e r´ealis´e
sous Unity 5.2.2f1. Les r´esultats de ce projet sont donn´es
en conclusion.
Fig. 1. Dispositif final
II. INTERACTION
A. Casque OSVR
L’OSVR (Open Source Virtual Reality), en plus d’ˆetre
un casque de r´ealit´e virtuelle, est un projet open source,
d’environnement au niveau mat´eriel logiciel pour la r´ealit´e
virtuelle, ax´ee pour le jeu vid´eo [4].

2. Le casque est compos´e de :
• Un module d’affichage avec un ´ecran OLED de 5,5
pouces avec une r´esolution de 401 PPI
• Un dispositif optique constitu´e de lentilles ajustables
• Un circuit ´electronique avec un acc´el´erom`etre et un
gyroscope int´egr´e pour reproduire les mouvements de
la tˆete.
La r´ealit´e virtuelle est une simulation interactive immer-
sive d’un environnement virtuel. L’utilisateur voit la sc`ene
virtuelle en vision st´er´eoscopique. Il y aura deux images
d´ecal´ees l’une par rapport `a l’autre qui correspond `a deux
points de vue des yeux de l’observateur pour retourner une
notion de profondeur.
Le casque se base sur cette technologie de st´er´eo-vision et
d’un tracking de la position de la tˆete de l’utilisateur. Du fait
que le projet soit ouvert au grand public, en terme de com-
patibilit´e et de configuration, l’OSVR poss`ede d´ej`a plusieurs
kits pr´ed´efinis selon les plateformes de d´eveloppement 3D.
Nous avons d´ecid´e de choisir ce mod`ele d’appareil du fait
de son prix abordable par rapport aux autres mod`eles de
casque VR et qu’il disposait d´ej`a en option le capteur Leap
Motion, qui s’accroche sur le casque, pour permettre une
reconnaissance du mouvement des mains.
B. Leap Motion
Afin d’augmenter l’immersion dans un monde virtuel, il
est important de pouvoir interagir avec ses objets, notamment
avec nos propres mains. Le Leap Motion [5] est un appareil
permettant cela. Il s’agit d’un dispositif de reconnaissance de
mouvements des mains compos´e de deux cam´eras et de trois
LED infrarouges, qui se connecte `a un ordinateur en USB.
Ses cam´eras peuvent d´etecter de la lumi`ere infrarouge de
850 nm de longueur d’onde, ce qui est en dehors du spectre
visible. Grˆace `a ses lentilles grand angle, le Leap Motion a
un champ d’interaction de 0,22 m3 [6]. Ce champ, ayant la
forme d’un t´etra`edre invers´e, correspond `a l’intersection des
champs de vision des deux cam´eras. Utilis´e dans une sc`ene
virtuelle, le Leap Motion nous permet de voir et de contrˆoler
une repr´esentation en 3D de nos mains afin d’interagir avec
les diff´erents objets de la sc`ene.
C. Kinect v1
La Kinect a pour but de transposer notre d´eplacement
du monde r´eel au monde virtuel. Ainsi, il est possible de
cartographier avec pr´ecision la distance pour tout objet ou
personne ´eloign´e de 1,5 `a 2 m`etres de la cam´era jusqu’`a
environ 4-5 m`etres de profondeur.
La technologie embarqu´ee qui nous int´eresse dans le cadre
de notre projet est le ” 3D depth sensor ”, qui est compos´e
d’une part d’un ´emetteur IR (l’avantage de l’´emetteur IR est
de pouvoir jouer dans toutes les conditions de luminosit´e)
et d’autre part d’une Cam´era IR. Dans notre cas, la sc`ene
contenant le joueur sera expos´ee aux rayons infrarouges
de l’´emetteur IR, une partie de ces rayonnements va ˆetre
r´efl´echie par l’ensemble des surfaces touch´ees, ainsi plus
l’objet sera loin et plus la quantit´e de rayonnement infrarouge
r´efl´echie (renvoy´ee vers la cam´era IR) sera faible, `a l’inverse,
plus l’objet sera proche et plus la quantit´e de rayonnement
infrarouge r´efl´echie sera importante. La cam´era infrarouge va
alors mesurer la distance de l’objet en fonction de l’intensit´e.
Ensuite, ce sont les logiciels qui vont effectuer le traitement
des images rec¸ues, en permettant la reconnaissance des
diff´erentes parties du corps par exemple, ce qui permet dans
notre cas de suivre des d´eplacements lat´eraux.
Fig. 2. Les 3 capteurs : OSVR, Leap Motion, Kinect v1
III. SC `ENE VIRTUELLE
A. Int´erˆet de chaque sc`ene
1) Sc`ene d’entr´ee - le digicode:
La premi`ere sc`ene virtuelle dans laquelle nous souhaitons
que les utilisateurs commencent l’exp´erience comporte un
digicode donnant acc`es `a la sc`ene suivante. En effet, sans
ˆetre une tˆache trop difficile, le fait de devoir appuyer sur
des touches demande une certaine pr´ecision et leur permet
donc de se familiariser avec l’utilisation de leurs mains dans
une sc`ene virtuelle. Cette sc`ene constitue ´egalement un tr`es
bon test du dispositif de retour haptique. Ici, on ne prˆete
pas attention au mat´eriau des touches, on veut simplement
ressentir la sensation d’avoir touch´e un corps solide.
Fig. 3. Sc`ene pr´esentant le digicode
2) Appartement:
Afin de fournir un retour haptique plus r´ealiste, nous avons
essay´e de mod´eliser une sc`ene virtuelle compos´ee d’objets
vari´es et dans lequel l’utilisateur sera immerg´e et pourra
se d´eplacer `a sa guise. La conception de la sc`ene finale se
focalise sur le renforcement du sentiment de la pr´esence de
l’utilisateur dans l’environnement virtuel en plus du retour
haptique.
Chaque objet mod´elis´e traduit une texture pr´ecise et doit
avoir sa forme r´eelle pour garder l’illusion. Les mod`eles

3. d’objets quotidiens aux formats 3D pr´esents dans la sc`ene
sont d´ej`a disponibles sous formes de pr´efabriqu´es en ligne.
Nous avons rajout´e sur ces ´el´ements les diff´erentes textures
et couleurs.
Nous avons mod´elis´e la sc`ene en plusieurs pi`eces `a part
enti`ere d’une dimension sp´ecifique [2x2m] pour pouvoir
d´elimiter dans le virtuel la distance dont pourra se mouvoir
l’utilisateur dans le r´eel. L’int´erˆet de cette sc`ene r´eside dans
le fait qu’elle regroupe un large panel d’objets que l’on
rencontre dans la vie quotidienne (table, chaise, plastique,
etc). L’utilisateur pourra donc toucher des mat´eriaux
diff´erents, et donc avoir un retour haptique en fonction de
l’objet touch´e.
3) Fontaine et sable:
Nous avons d´evelopp´e en parall`ele une sc`ene permettant
de toucher du sable et de l’eau. La sc`ene est donc
constitu´ee d’un d´esert avec une fontaine et un sablier
renvers´e. L’utilisateur peut se d´eplacer `a l’aide des touches
directionnelles ou avec la Kinect. En touchant l’eau de la
fontaine, il peut entendre le son de l’eau en train de couler
et ressentir les particules d’eau, il en est de mˆeme pour le
sable. L’eau a ´et´e obtenue via un plugin permettant de cr´eer
des particules, il a fallu changer les param`etres et cr´eer un
script pour l’interaction avec la leap motion. Pour le sable
il en est de mˆeme. Le d´esert et le sablier proviennent d’un
autre projet en utilisation libre et ont ´et´e modifi´es pour le
projet.
B. Mod´elisation des sc`enes
La mod´elisation des sc`enes a ´et´e r´ealis´ee sous Unity.
Unity est un logiciel de conception qui permet de d´evelopper
des sc`enes en 2D et en 3D. L’ensemble de nos sc`enes
avec les diff´erentes textures ont ´et´e r´ealis´e avec ce logi-
ciel. La r´ealisation des sc`enes a ´et´e r´ealis´ee en important
et en adaptant des ´el´ements de diff´erents projets depuis
l’AssetStore d’Unity. Les objets plac´es sur la sc`ene (cam´era,
lumi`ere, gamme objets et textures) pourront ˆetre positionn´es,
manipul´es et anim´es. La g´en´eration de particules dynamiques
(sable et eau) a ´et´e r´ealis´ee `a partir du plugin Fluvio.
IV. RETOUR HAPTIQUE
A. Dispositif de retour haptique
Le dispositif de retour haptique imagin´e et largement
inspir´e de la litt´erature est compos´e de petits hauts-parleurs
plac´es sur les extr´emit´es de chaque doigt de la main droite.
Rappelons-le, le retour haptique consiste `a faire vibrer les
hauts-parleurs lorsqu’il y a collision entre la main droite et
les objets de la sc`ene virtuelle. Les vibrations d´ependent du
type d’objet touch´e, et du type de contact (toucher statique
ou dynamique).
Les hauts-parleurs sont en contact direct avec les doigts de
la main, les vibrations des membranes des hauts-parleurs sont
donc directement transmises aux doigts, donnant l’illusion
de toucher. Les hauts-parleurs ont ´et´e choisi en ad´equation
avec les bandes de fr´equences des signaux `a envoyer : 50 Hz
Fig. 4. Illustration du dispositif de retour haptique
`a 1 kHz. Ceux-ci doivent donc pouvoir reproduire d’assez
basses fr´equences, avec un certain gain. Apr`es une ´etude des
diff´erents mini hauts-parleurs pr´esents sur le march´e, et dans
un soucis de budget limit´e, nous avons opt´e pour des hauts-
parleurs Visaton K28.40, d’une puissance de 2 Watts, ce qui
est suffisant pour avoir un ressenti des vibrations sans que ce
soit d´esagr´eable. Ce mod`ele de haut-parleur peut descendre
jusqu’`a 80 Hz sans ˆetre att´enu´e, ce qui conviendra. Le
dispositif est aliment´e par des amplificateurs audio simples
r´ealis´es par nos soins, et les signaux proviendront soit de
la sc`ene virtuelle directement (donc de Unity), soit par
l’interm´ediaire d’un micro-contrˆoleur. Dans le premier cas
de figure, les signaux sont envoy´es de mani`ere synchrones
via le PC o`u la sc`ene virtuelle est jou´ee. Dans le second cas
de figure, les signaux sont stock´es sur le micro-contrˆoleur,
et envoy´es de mani`ere synchrones lorsqu’il y a collision. Le
micro-contrˆoleur est donc reli´e au PC par une liaison s´erie
simple, et un protocole de communication simple a ´et´e mis
en place pour savoir quel signal doit ˆetre envoy´e et sur quel
haut-parleur il doit ˆetre envoy´e.
B. Rendu des textures
Concernant le rendu de textures, nous avons g´en´er´e pour
chacune des texture un signal diff´erent et ad´equat. Concer-
nant la 1`ere sc`ene avec le digicode, nous avons cr´e´e un sinus
de fr´equence suffisamment grande (quelque peu inf´erieur au
kHz) pour que le doigt ne ressente pas de vibrations, mais
uniquement une pression continue. Concernant le rendu de
textures d’eau ou de sables, nous avons d´ecid´e de prendre
un signal audio de ces textures en train de couler, de les
traiter, et de les rendre sur les hauts parleurs. Enfin, pour la
sc`ene finale, nous nous sommes servis d’un appareil pouvant
enregistrer les forces tangentielles [7] (forces que le doigt
ressent le plus) ´emises sur le doigt lors d’un frottement sur
une texture, afin d’obtenir les signaux repr´esentant les forces
lors de frottements. Apr`es un filtrage passe bande adapt´e
et une amplification, ces signaux peuvent ˆetre transmis aux
hauts parleurs. Nous pouvons ainsi simuler dans notre sc`ene
diff´erents mat´eriaux, que nous avons pris discriminants, tels
que du plexiglas, du tapis, de l’aluminium rainur´e, etc pour
que leur diff´erences de rugosit´e nous permettent d’avoir la
meilleure discrimination possible. [8]

4. C. Int´egration
Une fois que tous les dispositifs sont correctement cal-
ibr´es et fonctionnels, l’´etape ultime est de pouvoir les
coupler ensemble pour avoir un syst`eme d’immersion et
de retour haptique fonctionnel. Comme expliqu´e dans les
parties pr´ec´edentes, les diff´erents capteurs utilis´es (Leap
Motion, Kinect, Casque VR) ont ´et´e coupl´es, permettant ainsi
l’immersion de l’utilisateur d’une part, et la capture de ses
gestes et d´eplacements dans la sc`ene virtuelle. Le dispositif
haptique est ensuite coupl´e `a la sc`ene virtuelle selon deux
modes de fonctionnement possibles pour permettre une ex-
citation des doigts synchronis´ee avec la sc`ene virtuelle.
V. R ´ESULTATS ET CONCLUSIONS
En conclusion, ce projet a d´emontr´e qu’il ´etait possible de
donner l’illusion de sensation de toucher venant d’un monde
virtuel. La 1`ere sc`ene avec le digicode a bien montr´e que
nous ´etions capable de rendre un toucher statique sur un ou
plusieurs doigts, s’att´enuant au cours du temps pour bien
simuler un r´egime transitoire. La 2`eme sc`ene, quant `a elle,
a ´et´e limit´e a des liquides/syst`emes granulaires coulant sur
la main, et non enti`erement libres, par question de temps,
mais donnait un rendu d’eau ´eclaboussant sur les doigts assez
convaincant. Enfin, la 3`eme sc`ene a permis de terminer le test
sur l’ensemble des touchers possibles, avec des frottements
sur textures plus ou moins rugueuses, et donnait une v´eritable
impression de frottement, du au fait que nous voyons ce que
nous touchons, et que nous avons ´egalement un petit rendu
sonore du dit frottement pour compl´eter l’illusion et mettre
en jeu les 3 sens.
Pour conclure, ces travaux pourront servir `a l’avenir pour
le d´eveloppement de sc`enes virtuelles interactives, o`u le
toucher pourra venir s’ajouter `a la vue et `a l’ou¨ıe.
VI. REMERCIEMENTS
Ces travaux ont ´et´e encadr´es par Monsieur Vincent HAY-
WARD, dans le cadre du projet int´egratif de 2`eme ann´ee du
Master ”Ing´enierie des Syst`emes Intelligents” de l’Universit´e
Pierre et Marie Curie. Nous tenons ´egalement `a remercier
les doctorant(e)s et/ou chercheurs de l’ISIR et de l’IRCAM
ayant pu apporter leurs conseils quant `a ce projet, et aussi les
techniciens des salles de travaux pratiques pour leurs aides
concernant les aspects techniques du projet.
REFERENCES
[1] P. Renon, C. Yang, H. Ma, and R. Cui, “Haptic interaction between
human and virtual iCub robot using Novint Falcon with CHAI3D and
MATLAB,” in Control Conference (CCC), 2013 32nd Chinese, 2013,
pp. 6045–6050.
[2] A. Mujibiya, “Haptic feedback companion for Body Area Network
using body-carried electrostatic charge,” in 2015 IEEE International
Conference on Consumer Electronics (ICCE), 2015, pp. 571–572.
[3] T. Koyama, I. Yamano, K. Takemura, and T. Maeno, “Multi-fingered
exoskeleton haptic device using passive force feedback for dexterous
teleoperation,” in IEEE/RSJ International Conference on Intelligent
Robots and Systems, 2002, 2002, vol. 3, pp. 2905–2910 vol.3.
[4] “Razer — OSVR - Open-Source Virtual Reality for Gaming,” Razer.
[Online]. Available: http://www.osvr.org/. [Accessed: 23-Jan-2016].
[5] L. Motion, “Leap Motion.” [Online]. Available:
https://www.leapmotion.com/. [Accessed: 23-Jan-2016].
[6] “How Does the Leap Motion Controller Work?,”
Leap Motion Blog, 09-Aug-2014. [Online]. Available:
http://blog.leapmotion.com/hardware-to-software-how-does-the-
leap-motion-controller-work/. [Accessed: 23-Jan-2016].
[7] J. Platkiewicz, A. Mansutti, M. Bordegoni, and V. Hayward, “Record-
ing Device for Natural Haptic Textures Felt with the Bare Fingertip,”
in Haptics: Neuroscience, Devices, Modeling, and Applications, M.
Auvray and C. Duriez, Eds. Springer Berlin Heidelberg, 2014, pp.
521–528.
[8] A. M. Smith, C. E. Chapman, M. Deslandes, J.-S. Langlais, and M.-
P. Thibodeau, “Role of friction and tangential force variation in the
subjective scaling of tactile roughness,” Exp Brain Res, vol. 144, no.
2, pp. 211–223, May 2002.