Livre Blanc : Assistance à distance en Réalité Mixte

LIVRE BLANC
PAR IMMERSION
ASSISTANCE A
DISTANCE EN
REALITE MIXTE

QU’EST-CE QUE
LA RÉALITÉ MIXTE
DOMAINES D’APPLICATION
POUR L’ASSISTANCE
À DISTANCE
3. TeleAdvisor : Un exemple d’assistance
à distance en RA pour l’industrie .......................................... 17
3.1 Les défis de l’assistance à distance ....................................... 18
3.2 La RA pour l’assistance à distance ........................................ 18
3.2 Conception et mise en œuvre
de TeleAdvisor ..................................................................................... 19
3.3 Évaluation et limites
du système ............................................................................................ 20
4. Assistance à distance
en chirurgie augmentée .............................................................. 21
4.1 Défis de la RM pour la chirurgie ............................................. 22
4.2 Guider à distance un chirurgien en RA ................................ 23
Le zoom : Logiciel de groupe .......................................................... 25
Introduction.............................................................................................. 4
1. Une perspective historique sur la réalité mixte ................... 7
1.1 Continuum Réalité-Virtualité et réalité virtuelle .............. 7
1.2 Affichages hybrides : Réalité augmentée
et virtualité augmentée ................................................................... 8
1.3 Une taxonomie pour les écrans de réalité mixte .......... 9
2. Qu’est-ce que la réalité mixte (réellement) ? .................. 11
2.1 La RM au-delà de la perception visuelle ........................... 11
2.2 Frontières floues entre RA et RM .......................................... 12
2.3 Différentes définitions pour
différents aspects de la RM ............................................................13
2.4 Un cadre pour les systèmes de RM ............................... 14
Le zoom : Coopération vs Collaboration ................................. 15

REPRÉSENTER VISUELLEMENT
LES UTILISATEURS ET
LEUR ACTIVITÉ
CONCEPTS
INNOVANTS
5. Indices visuels de présence sociale dans la RM .............. 27
5.1 Différents aspects de la présence ......................................... 27
5.2 Améliorer la collaboration à l’aide
de repères visuels ................................................................................ 29
6. Avatar et téléprésence du tuteur à distance .................... 31
6.1 Industrie 4.0 et machines ........................................................... 32
6.2 Représentations visuelles
de l’utilisateur distant ....................................................................... 33
7. Mini-Me : ajout d’un avatar
adaptatif miniature ..................................................................... 35
7.1 Conception du système Mini-Me ............................................. 36
7.2 Résultats expérimentaux pour des tâches
coopératives et collaboratives ........................................................ 37
Le zoom : Avatars en immersion totale ........................................ 39
8. Utilisation des champs lumineux pour la
RM avec dispositif tenu à la main ............................................ 41
8.1 Champs lumineux RM et étalonnage du système ............ 41
8.2 Ajout d’annotations dans
l’espace de travail partagé ............................................................. 43
8.3 Évaluation de l’utilisabilité du système .................................. 41
9. Faciliter le référencement spatial dans la RM .................. 45
9.1 Faciliter le référencement
spatial dans la RM .............................................................................. 45
9.2 Évaluation du prototype ............................................................ 47
10. Utilisation de répliques virtuelles pour
des tâches de positionnement d’objets .................................. 49
10.1 Conception des deux
techniques d’interaction .................................................................... 50
10.2 Comparaison des répliques virtuelles
à une technique de base en 2D ..................................................... 50
A propos de nous ................................................................................. 53
Acronymes et définitions .................................................................. 54
Références ............................................................................................. 55

P4
INTRODUCTION
Travailler à plusieurs a toujours soulevé de multiples
questions. Quel est le processus optimal pour
prendre ensemble les meilleures décisions ? Quelles
solutions peuvent faciliter la communication entre les
participants ? Comment gérer les conflits et les opinions
contradictoires ?
Répondre à ces questions est déjà complexe lorsque
les utilisateurs sont situés au même endroit, mais cela
devient encore plus délicat lorsque ce n’est pas le cas.
Les scénarios d’assistance à distance impliquent deux
caractéristiques principales : 1) les utilisateurs ne
partagent pas le même espace physique et 2) ils n’ont
pas les mêmes connaissances et capacités. D’une
part, les utilisateurs locaux peuvent physiquement agir
sur leur environnement, mais ont besoin d’aide pour
accomplir une tâche donnée. D’autre part, les experts
à distance disposent des compétences nécessaires
pour effectuer cette tâche, mais ne peuvent pas la
réaliser parce qu’ils ne sont pas physiquement présents
à l’endroit correspondant. L’assistance à distance est
donc étroitement liée au guidage à distance.
Copyright ACM pour les articles sélectionnés : L’autorisation de réaliser des copies numériques ou papier de tout ou partie de cet ouvrage pour
un usage personnel ou en classe est accordée sans frais, à condition que les copies ne soient pas faites ou distribuées à des fins lucratives ou
commerciales et que les copies portent cette mention et la citation complète sur la première page. Les droits d’auteur des éléments de cette
œuvre appartenant à d’autres personnes que l’auteur ou les auteurs doivent être respectés. Le résumé avec mention de la source est autorisé.
Toute autre copie, ou republication, publication sur des serveurs ou redistribution à des listes, nécessite une autorisation spécifique préalable et/
ou une redevance. Demandez les autorisations à permissions@acm.org.

P5
La récente pandémie de Covid-19 et les progrès
technologiques ont encore accru l’intérêt déjà croissant
pour l’assistance à distance. En particulier, la réalité
mixte (RM) est actuellement explorée comme un outil
prometteur pour de nombreux domaines d’application
comme l’industrie [43] et la chirurgie [18].
L’objectif de ce livre blanc est de donner un aperçu de
la recherche actuelle sur l’assistance à distance en RM.
Pour ce faire, nous présentons 10 articles de recherche
sélectionnés sur ce sujet : 9 articles récents (de 2015
ou plus récents) et 1 article plus ancien (de 1994). Ces
articles sont regroupés en quatre sections principales.
Après avoir discuté de la notion de RM (Section 1),
nous présentons deux domaines d’application clés pour
Travailleur local Expert à distance
Figure 1 : Exemple de scénario d’assistance à distance en réalité mixte.
l’assistance à distance : l’industrie et la chirurgie (Section
2). Ensuite, nous nous concentrons sur les indices
d’activité visuelle et les méthodes pour représentation
des utilisateurs distants afin de faciliter le guidage et la
coopération à distance (Section 3). Enfin, nous passons
en revue une sélection d’articles sortant des sentiers
battus et présentant des concepts ou des approches
uniques (Section 4).
En adoptant un point de vue centré sur l’Interaction
Humain-Machine (IHM), nous espérons inspirer les
développeurs, les concepteurs et les chercheurs qui
s’intéressent à l’assistance à distance et la réalité mixte.

SECTION 1
Une perspective historique 07
Définitions actuelles de la RM 12
la réalité
mixte ?
Qu’est-ce que

P7
QU’EST-CE QUE LA
RÉALITÉ MIXTE ?
UNE PERSPECTIVE HISTORIQUE
SUR LA RÉALITÉ MIXTE
Article : Milgram, P., & Kishino, F. (1994). A taxonomy
of mixed reality visual displays. IEICE TRANSACTIONS
on Information and Systems, 77(12), 1321-1329. PDF
librement accessible ici.
Avant de se concentrer sur l’assistance à distance, il est
nécessaire de préciser ce qui se cache derrière les termes
de réalité mixte (RM). De nombreuses technologies
comme la réalité augmentée (AR) et la réalité virtuelle
(VR) sont liées à la RM. Au point qu’il peut être difficile
de différencier ces différentes approches fusionnant les
environnements réels et virtuels.
Pour remédier à cette confusion, nous avons choisi de
partir d’un point de vue historique de la notion de RM.
Au début des années 90, Milgram et Kishino ont proposé
une première définition de la RM basée sur le Continuum
Réalité-Virtualité (Figure 1). Cette vision a eu un impact
révolutionnaire sur différentes communautés du monde
académique et reste à ce jour l’une des définitions de
la RM les plus utilisées. Cela est particulièrement vrai
pour la communauté de l’Interaction Humain-Machine
(IHM) [53]. Dans cette section, nous commençons par
présenter ce Continuum pour définir les principales
technologies existantes liées à la RM. Ensuite, nous
détaillons la définition de la RM basée sur ce Continuum
et la taxonomie proposée par les auteurs pour classer
les dispositifs permettant d’afficher de la RM.
1.1 Continuum réalité-virtualité et réalité
virtuelle
Si la démocratisation des dispositifs d’affichage montés
sur la tête (Head-Mounted Displays, ou HMD) bon
marché n’a commencé qu’il y a quelques années, la RV
est loin d’être une technologie nouvelle [10]. L’immersion
de l’utilisateur dans un environnement numérique a
été envisagée dès le milieu des années 1950 avec le
dispositif Sensorama. En 1960, le premier casque de RV
a été créé. Et seulement cinq ans plus tard, Sutherland
proposait le concept d’affichage ultime, une technologie
fictive permettant de simuler un monde virtuel de
manière si réaliste qu’il ne pouvait être distingué de la
réalité effective [56].
LE SAVIEZ-VOUS ?
Les relations complexes entre des concepts
comme la réalité augmentée, la réalité virtuelle,
la réalité virtuelle et la réalité mixte sont une
source fréquente d’erreurs, même pour les
professionnels. Un exemple parmi tant d’autres :
le magazine Usine Digitale a publié un article sur
la formation des chirurgiens en RV. L’article était
illustré avec un casque de RA, l’Hololens premier
du nom... qui est considéré comme un casque de
RM par son constructeur Microsoft. De quoi en
perdre son latin !
RÉALITÉ
MIXTE (RM)
EnvironNEment
RÉEL
Réalité
Augmentée (RA)
Virtualité
Augmenté (VA)
EnvironNEment
VIRTUEL
Figure 2 : Le Continuum Réalité-Virtualité proposé par Milgram et Kishino.

P8
Près de 30 ans plus tard, Milgram et Kishino
commencèrent leur travail avec cette notion de réalité
virtuelle (RV), où l’utilisateur est totalement immergé
dans un environnement généré par ordinateur et peut
interagir avec des objets virtuels.
Les auteurs observèrent qu’au-delà des progrès
technologiques, d’autres paradigmes ont commencé
à apparaître. Certains systèmes n’offrent pas une
immersion totale de l’utilisateur, mais fusionnent plutôt
les éléments réels et virtuels jusqu’à un certain degré.
Pour classer ces systèmes, ils proposent d’utiliser une
échelle continue : le Continuum Réalité-Virtualité.
Ce continuum peut être divisé en trois sections : 1)
l’environnement réel d’un côté, 2) l’environnement
entièrement virtuel de l’autre côté et 3) tout ce qui se
trouve entre les deux (Figure 1).
Les extrémités du continuum sont simples. D’un côté,
l’environnement réel correspond au monde auquel nous
sommes habitués, entièrement perçu par nos sens nus et
sans support informatique. D’autre part, l’environnement
virtuel fait référence à un monde totalement numérique
et est directement lié à la RV. Selon Milgram et Kishino,
tout ce qui se trouve entre cet extremum entièrement réel
et entièrement virtuel appartient à la réalité mixte [29].
En d’autres termes, ils n’envisagent pas la RM comme
une technologie spécifique mais plutôt comme un
ensemble de technologies mélangeant environnement
réel et environnement virtuel (figure 2).
Un phénomène fascinant est que la lecture du continuum
Réalité-Virtualité de gauche à droite ne correspond
pas du tout au développement historique de ces
technologies. Comme nous l’avons mentionné au début,
les systèmes de RV sont apparus en premier pour des
raisons techniques. Les systèmes de RA sont apparus
en seconde position. Enfin, les approches situées au
milieu du spectre comme la réalité remixée [32] ne
sont devenues possibles que récemment. En outre, il
est également intéressant de noter que le cas de la RV
n’est pas totalement clair. Milgram et Kishino ont placé
la RV à l’extrémité droite du continuum, ce qui laisse une
certaine confusion. Peut-elle être considérée comme
faisant partie de la RM ?
1.2 Affichages hybrides : Réalité augmentée
et virtualité augmentée
Pour compléter cette définition de la RM, Milgram
et Kishino ont identifié six classes d’afficheurs qu’ils
considèrent comme des interfaces de RM [29]. Comme
le montre la figure T1, ces classes couvrent un large
éventail de technologies, allant de l’augmentation
des vidéos sur un moniteur jusqu’aux grands écrans
partiellement immersifs permettant une interaction
tangible.
Les auteurs relient ensuite ces classes d’affichage aux
technologies existantes. Par exemple, ils expliquent que
la terminologie émergente (à l’époque) de la « réalité
augmentée » correspond principalement aux afficheurs
de classe 3. Ce constat mériterait d’être nuancé
aujourd’hui. Au cours des deux dernières décennies, les
dispositifs mobiles ont énormément évolué, permettant
l’essor de la RA avec des appareils tels que les
smartphones et les tablettes. Il est intéressant de noter
que Milgram et Kishino signalent également qu’ils ont
commencé à considérer les afficheurs de classes 1, 2 et
4 comme des afficheurs de RA dans leur laboratoire. Ils
affirment que le principe de base est le même pour tous
a) Réalité Augmentée b) Virtualité augmentée,
réalité remixée
c) Réalité Virtuelle
Environnement réel enrichi
d’éléments éléments virtuels
Environnement virtuel augmenté
avec des éléments réels
Environnement
entièrement virtuel
Réalité Mixte
Réalité Mixte
Figure3 : Principales technologies mêlant environnements réels et virtuels

P9
les écrans : augmenter les scènes
réelles avec du contenu virtuel.
Si ce principe est toujours valable
pour les écrans de classe 4
aujourd’hui, ce n’est peut-être pas le
cas pour les classes 1 et 2.
Au contraire, le terme «virtualité
augmentée» n’existait pas dans
la littérature des années 90 et a
été proposé par les auteurs. Le
concept d’augmentation d’un
monde virtuel avec des éléments
réels commençait tout juste à être
exploré dans les premières études
[34]. De nombreuses avancées
technologiques ont été réalisées
depuis, et les casques comme
le Varjo 3 [38] ont commencé à
brouiller les limites de la RA et de la
VA, comme l’avaient prédit Milgram
et Kishino. Par ailleurs, d’autres
études ont commencé à explorer
de nouveaux concepts basés sur
la vidéo transparente, comme la
Réalité Mixte [32].
LE SAVIEZ-VOUS ?
La réalité augmentée dispose d’une cousine inversée !
Appelée réalité diminuée, cette technologie consiste à masquer des éléments du monde réel en
les filtrant avant d’afficher la scène sur un dispositif vidéo transparent. Cela permet d’enlever,
de remplacer des objets ou de voir à travers les obstacles [16].
# Description Équivalent actuel de nos jours
1 Écrans 2D où des images sont
incrustées au sein d’une vidéo de
l’environnement.
Utiliser un logiciel de montage vidéo
et voir le résultat sur un moniteur.
2 Identique au n°1, mais avec un
casque.
Regarder une vidéo via un casque.
3 Casque à visière transparente.
L’utilisateur perçoit directement
l’environnement réel actuel, qui est
augmenté d’objets virtuels.
RA par transparence optique
(exemple : le casque Hololens)
4 Identique au n°3, mais avec un
casque à vision optique.
L’utilisateur ne peut pas voir
directement le monde réel, mais
il en observe une reconstruction
vidéo en temps réel, basée sur
l’entrée des caméras.
RA par transparence vidéo
(exemple : le casque Varjo XR-3)
5 Des affichages entièrement
numériques, sur lesquels se
superposent des vidéos d’éléments.
Virtualité augmentée
6 Affichages entièrement
numériques, partiellement immer-
sifs (par exemple : grands écrans)
où l’utilisateur peut utiliser des
objets du monde réel pour interagir.
Interaction tangible sur une table,
RA tangible.
Tableau 1: Les 6 classes d’afficheurs de RM identifiées par Milgram et Kishino.
1.3 Une taxonomie pour les écrans de réalité
mixte
Dans la suite de leur article, Milgram et Kishino affinent
les classes d’affichage en une taxonomie complète.
Cette taxonomie est basée sur trois axes : l’étendue de
la connaissance du monde, la fidélité de reproduction et
l’extension de la métaphore de la présence.
Le premier axe fait référence à la quantité de
connaissances que possède le système sur
l’environnement. Dans certains cas basiques, le
système n’a pas besoin de savoir quoi que ce soit sur
l’environnement. Par exemple, un logiciel de montage
vidéo n’inclut pas forcément de fonctionnalité pour
analyser chaque image. C’est à l’utilisateur d’ajouter
des animations au bon endroit dans chaque image et
de manipuler des indices visuels comme l’occlusion et
les ombres. Au contraire, les systèmes de RV maîtrisent
parfaitement le monde virtuel qu’ils ont généré. De
même que le Continuum Réalité-Virtualité, de nombreux
systèmes de RA peuvent être placés quelque part entre
les deux puisqu’ils doivent «comprendre» et modéliser
l’environnement réel pour pouvoir pour être en mesure
d’y afficher correctement des objets virtuels. Comme
l’indique la figure 4, les auteurs font référence à cet
état intermédiaire avec les mots-clés Où et Quoi qui
correspondent à la connaissance des lieux et des objets/
éléments respectivement.

P10
Monde partiellement
modélisé
Monde non
modélisé
Vidéos
monoscopiques
écran
classique
Vidéos
couleur
vidéos
HD
vidéos
stéréoscopiques
Grand
écran
Où/Quoi
Modèles simples
Imagerie
monoscopique
Ombres, texture,
transparence
Imagerie
panoramique
Navigation au sein
de l’environnement
Où + Quoi
Animations 3D haute-
fidélité en temps réel
Imagerie complète
en temps réel
Monde
entièrement
modélisé
HDTV
3D
Casques
Figure 4 : Étendue de la connaissance du monde dans la taxonomie de la RM
présentée par Milgram et Kishino.
Figure 5 : Les deux autres axes de la taxonomie. A) L’axe de la Fidélité de reproduction.
B) Axe de la métaphore de l’Extension de la présence.
Les deux autres axes sont plus simples. Milgram et
Kishino les présentent comme deux manières distinctes
de véhiculer le réalisme : la qualité du rendu visuel et
l’immersion.
L’axe basé sur la Fidélité de reproduction (figure 5a)
doit être replacé dans le contexte de son époque et des
technologies disponibles en 1994. De nos jours, même
un matériel bon marché peut gérer la stéréoscopie ou
proposer un rendu visuel de haute qualité. Cependant,
le principe qui sous-tend cet axe est toujours valable.
En effet, nous n’avons pas encore atteint le stage de
«l’affichage ultime» où les éléments virtuels seraient
trop réalistes pour être distingués des éléments réels.
En y regardant de plus près, les techniques actuelles
font souvent appel à des astuces telles que le rendu
fovéal pour maximiser la qualité de l’image uniquement
là où cela est strictement nécessaire (c’est-à-dire là où
l’utilisateur regarde actuellement).
De même, l’idée qui sous-tend la métaphore de
l’Extension de la présence (figure 5b) reste parfaitement
pertinente à ce jour. Le sentiment de présence est
toujours un sujet de recherche actif pour la RM [33].
Cependant, les chercheurs ont également commencé
à explorer d’autres approches pour augmenter ce
sentiment d’immersion qui vont au-delà de la perception
visuelle, comme nous le verrons dans le chapitre suivant.
a
b
POINTS CLÉS À RETENIR
La définition historique de la RM : tout ce qui se trouve au milieu du Continuum Réalité-Virtualité. En d’autres
termes, un ensemble de technologies mélangeant le réel et un environnement virtuel, y compris la réalité
augmentée et la virtualité augmentée.
Cette définition et la taxonomie proposée par les auteurs sont axées sur les affichages visuels, et ne prennent
donc en compte que la perception visuelle.

P11
QU’EST-CE QUE
C’EST (VRAIMENT) LA
RÉALITÉ MIXTE ?
Article: Maximilian Speicher, Brian D. Hall, and
Michael Nebeling. 2019. What is Mixed Reality?. In CHI
Conference on Human Factors in Computing Systems
Proceedings (CHI 2019), May 4–9, 2019, Glasgow,
Scotland, UK. ACM, New York, NY, USA, 15 pages.
https://doi.org/10.1145/3290605.3300767.
Ne venons-nous pas d’expliquer ce qu’est la réalité
mixte ? Oui... Et non. Comme mentionné dans la section
précédente, définir la RM en utilisant le Continuum
Réalité-Virtualité est probablement l’approche la
plus classique. Toutefois, cela ne signifie pas qu’elle
soit la meilleure ou la seule existante. En fait, définir
précisément et complètement ce qu’est la RM est si
complexe qu’il n’existe à ce jour aucun consensus sur
cette notion. Ceci est vrai tant dans l’industrie que
dans le monde universitaire [53]. Malgré les récents
progrès technologiques et d’une popularité croissante,
les limites exactes de la RM restent un sujet d’intenses
discussions.
Leproblèmeestloind’êtreunsimpleargumentrhétorique
d’experts autour d’une terminologie donnée. Définir les
limites de la RM implique de prendre en compte des
aspects majeurs du mélange des environnements réels
et virtuels tels que le niveau d’immersion possible et
les interactions avec l’utilisateur.
Par conséquent... Qu’est-ce que la Réalité Mixte
(réellement) ? Cette question est au cœur du deuxième
article présenté dans cet ouvrage, un travail de Speicher
et al. récemment présenté à la conférence CHI 2019. En
réalisant des entretiens avec des experts et une étude
de la littérature, les auteurs ont identifié les définitions
de la RM qui coexistent actuellement et ont proposé un
cadre conceptuel pour classer les différents aspects des
systèmes de RM. Dans ce qui suit, nous présentons ce
travail et l’utilisons pour préciser la définition de la RM
que nous utiliserons par la suite dans cet ouvrage.
2.1 La RM au-delà de la perception visuelle
Speicher et al. commencent leur travail en soulignant
cette absence d’accord autour de la notion de RM et
les limites de la définition de Milgram et Kishino. Sa
principale faiblesse est qu’elle ne repose que sur la
perception visuelle.
Comme présenté dans la section précédente, les auteurs
ont considéré le degré de réalisme de l’environnement
affiché et dans quelle mesure l’utilisateur y est
visuellement immergé.
Cette approche peut s’expliquer par la prédominance
de la perception visuelle chez l’être humain. Néanmoins,
cette observation ne doit pas occulter le fait que la
réalité mixte pourrait également impliquer le mélange
d’environnements réels et virtuels en utilisant nos
autres sens. C’est le cas de l’haptique qui a fait l’objet
de nombreuses études, notamment dans la RV [9]. Par
exemple, avoir un retour haptique réaliste est crucial
pour la formation des chirurgiens en RA et RV [49]. Les
internes doivent à la fois développer leur dextérité et
apprendre à reconnaître le retour haptique de différents
types de surfaces et de tissus organiques. Quelques
études ont également considéré d’autres sens tels que
l’audio [11] et l’odorat [47] dans le contexte de la RM. Le
mélange d’environnements virtuels et réels va donc bien
au-delà de l’insertion d’objets virtuels dans le champ de
vision des utilisateurs.
LE SAVIEZ-VOUS ?
Certaines études ont même exploré l’augmentation
du sens du goût. Par exemple, Niijima et Ogawa
ont proposé une méthode permettant de simuler
différentes textures alimentaires virtuelles [40].
Ranasinghe et Do ont également réussi à simuler
virtuellement la sensation de sucré en utilisant la
stimulation thermique [48].
Un dîner virtuel complet sera-t-il possible dans
quelques années ?

P12
2.2 Frontières floues entre RA et RM
Speicher et al. rapportent également le résultat
d’entretiens menés avec 10 experts issus du monde
universitaire ou de l’industrie. Ces entretiens mènent
à une conclusion claire : la différence entre RA et RM
est loin d’être simple. Certains des experts interrogés
ont affirmé que la RM est une «version plus forte» de la
RA, dans le sens où le mélange entre virtuel et réel est
transparent.
Ils ont expliqué que dans le cas de la RM, les utilisateurs
peuvent interagir avec le contenu réel et virtuel. Au
contraire, d’autres experts ont affirmé que c’était
également le cas de la RA. Ils ont même déclaré que la
RM est principalement un « terme de marketing ». Cette
vision peut provenir des efforts d’entreprises comme
Microsoft qui promeuvent l’utilisation des termes RM
pour décrire leur propre produit comme le casque
Hololens [35].
Une version est-elle plus pertinente que l’autre ?
Les définitions précédentes de la RA n’aident pas
nécessairement à trancher. Par exemple, Azuma a défini
3 critères pour les systèmes de RA : [3]
• La combinaison du virtuel et du réel,
• La possibilité d’interagir en temps réel,
• La présence de contenu qui s’inscrit spatialement dans
l’environnement 3D.
Néanmoins, s’il est possible d’interagir en RA... Quand
un système de RA devient-il un système de RM ?
Existe-t-il un seuil spécifique en termes de techniques
d’interaction ? Il n’y a pas de réponse claire à cette
question pour le moment. Cependant, Speicher et al. ont
constaté que la plupart des experts étaient d’accord au
moins sur un point : la nature spatiale de la RM. Plus
précisément, ils ont fait référence à la notion d’ancrage
spatial, ou spatial referencing en anglais. (figure 6)
Unobjetvirtuelestspatialementancrélorsquesaposition
spatiale tient compte de toutes les caractéristiques
de l’environnement 3D. Les indices visuels tels que
l’occultation avec d’autres objets physiques sont alors
(presque) tous respectés. En d’autres termes, l’objet
virtuel est positionné dans la référence du monde 3D
(Figure 6b). Au contraire, un objet virtuel défini selon la
référence de son affichage (Figure 6a) n’est pas ancré
spatialement.
Figure 6 : La notion d’ancrage spatial. a) Le panneau virtuel en bleu est affiché en fonction de l’écran de la tablette
uniquement. b) Les éléments virtuels ont une position spatiale cohérente dans l’environnement 3D : ils sont ancrés
spatialement dans cet environnement.
b
a

P13
2.3 Différentes définitions
pour différents aspects de la
RM
Pour approfondir ces questions,
Speicher et al. ont effectué une
revue de la littérature afin d’identifier
les différents usages des termes
de réalité mixte. Les auteurs ont
analysé 68 articles provenant
de conférences bien connues sur
l’interaction homme-machine (IHM)
telles que CHI, ISMAR et UIST.
Dans l’ensemble, Speicher et al. ont
identifié 6 définitions coexistantes
de la réalité mixte (tableau 2).
Comme mentionné par les auteurs,
le but de cette étude n’était pas
de déterminer laquelle de ces
définitions est la meilleure. Au
contraire, ils ont voulu mettre en
évidence la complexité d’envelopper
tous les aspects de la RM dans
une vision unique partagée par
tous les acteurs travaillant avec la
RM. Les auteurs expliquent que la
priorité pour les acteurs de la RM
est de communiquer clairement leur
compréhension de ce qu’est la RM.
# Résumé de la définition Description
1 La définition la plus courante est
celle du Continuum Réalité-
Virtualité de Milgram et Kishino
[29]. La RM est considérée comme
un ensemble regroupant toutes les
technologies situées entre
l’environnement réel et
l’environnement virtuel.
2 RM RA RM étant un synonyme de RA.
Parfois aussi noté «RM/RA».
3 RM = RA + RV RM comme la combinaison des
éléments RA et RV à l’intérieur d’un
système.
4 Collaboration Dans cette définition, l’accent est
mis sur la collaboration entre les
utilisateurs de RA et de RV,
potentiellement dans des lieux
physiques différents.
5 Alignement des environnements
virtuels et réels
La synchronisation entre deux
environnements différents, l’un
étant physique et l’autre virtuel.
Par exemple, Yannier et al. ont
proposé un système de RM où une
Kinect observe des tours de blocs
physiques sur une table pendant un
tremblement de terre et reflète en
temps réel leur état sur des tours
numériques [61].
6 RM comme «plus forte» RA RM définie comme une RA
interactive et enregistrée dans
l’espace.
Tableau 2: Les 6 définitions coexistantes de la RM identifiées par Speicher et al.
Nom Jeu EarthShake MR par Yannier et al
Nombre
d’environnements
Nombreux (tours de bock physiques et copies virtuelles)
Nombre
d'utilisateurs
Un à plusieurs
Niveau
d’immersion
Aucune immersion (tours physiques)
Immersion partielle (tours virtuelles)
Niveau de
virtualité
Non immersif (tours physiques), Partiellement immersif (tours
virtuelles)
Degré
d’interaction
Interaction implicite et explicite
Entrée Mouvement (secouer les tours)
Sortie Visuel (voir quelle tour tombe en premier après le tremblement
de terre)
Figure 7 : Le cadre conceptuel de Speicher et al. À gauche : dimensions du cadre par
rapport au travail de Yannier et al. mentionné dans le tableau 2. À droite : Configuration
du jeu EarthShake MR [61], Photo fournie par courtoisie des auteurs.
Basée sur le continuum
MR

P14
Alors, qu’est-ce que la réalité mixte ? Cela dépend, de multiples définitions coexistent. Mais les systèmes de
RM vont au-delà de la seule perception visuelle.
Dans ce qui suit, nous utiliserons la RM comme un mélange des définitions 3 et 4. La collaboration est bien sûr
un aspect crucial puisque nous nous concentrons sur l’assistance à distance. En outre, nous nous intéresserons
principalement aux technologies et aux interactions en RA et RV.
2.4 Un cadre pour les systèmes de RM
Pour aider à classer les systèmes de RM existants indépendamment d’une définition globale, Speicher et al. ont
proposé un cadre conceptuel basé sur 7 critères, comme le montre la figure 7.
Les 5 critères initiaux comprennent des dimensions telles que le nombre d’environnements et d’utilisateurs, le niveau
d’immersion et de virtualité et le degré d’interaction. Deux autres critères ont ensuite été ajoutés pour considérer
l’entrée et la sortie du système. Un tel cadre vise à être suffisamment général pour être utilisable pour le plus grand
nombre possible de systèmes de RM et pas seulement pour des cas d’utilisation précis.
Un tel cadre peut-il résoudre notre question initiale sur ce qu’est la RM ? Probablement pas, mais ce n’est pas son
objectif. Speicher et al. terminent leur article en insistant sur l’importance de construire un vocabulaire commun non
ambigu pour caractériser les systèmes de RM. Leur travail est un pas dans cette direction.

P15
LE ZOOM :
COOPÉRATION VS COLLABORATION
Dans les conférences spécialisées telles que CSCW, une distinction est parfois faite entre coopérer et collaborer.
Bien que cette distinction varie d’un domaine académique à l’autre [15], il est intéressant de la considérer dans le
cadre de l’assistance à distance.
Bien sûr, il est possible de se situer entre la coopération et la collaboration ou de passer de l’une à l’autre. Cependant,
l’assistance à distance implique souvent des rôles prédéfinis. Par conséquent, nous donnerons la priorité à la notion
de coopération dans la suite du document. Lorsque la coopération et la collaboration peuvent toutes deux être
impliquées, nous utiliserons plutôt l’appelation travail de groupe.
La coopération implique que les participants aient des
rôles prédéfinis : expert technique, présentateur, invité
spectateur... Ces rôles ont un impact direct sur les
interactions entre les membres du groupe, en définissant
les responsabilités et les privilèges de chaque type
d’utilisateur. Par exemple, seul l’organisateur peut avoir
accès au partage d’écran au début d’une session de
brainstorming.
Au contraire, la collaboration implique un travail de
groupe sans hiérarchie définie à l’avance. La répartition
des rôles peut évoluer librement entre les participants
au cours de la réunion. Cela peut encourager des
échanges moins formels avec une évolution dynamique
des tâches.

SECTION 2
Industrie : L’exemple de TeleAdvisor 17
Chirurgie et réalité mixte 21
Pour l’assistance
à distance
Domaines d’application

P17
DOMAINES D’APPLICATION POUR
L’ASSISTANCE A DISTANCE
TELEADVISOR : UN EXEMPLE DE ASSISTANCE
À DISTANCE EN RA POUR L’INDUSTRIE
Article : Gurevich, P. et al. 2015. Design and
Implementation of TeleAdvisor: a Projection-Based
Augmented Reality System for Remote Collaboration.
Computer Supported Cooperative Work (CSCW). 24,
6 (Dec. 2015), 527–562. DOI: https://doi.org/10.1007/
s10606-015-9232-7.
Maintenant que nous distinguons mieux les multiples
aspects de la réalité mixte, il est temps d’explorer la
deuxième notion clé de ce livre : l’assistance à distance.
Une fois de plus, il s’agit d’une notion vaste, avec de
nombreuses significations et applications potentielles.
Et bien qu’il soit tentant de raconter les tribulations d’un
appel au service clientèle parce que le chat a confondu
la boîte Internet avec une souris, comment dire.. Nous
allons plutôt nous concentrer sur des cas professionnels
d’assistance à distance.
De nombreuses études ont considéré la chirurgie [1] et
l’industrie [12, 21] comme des domaines d’application
clés pour les scénarios d’assistance à distance. La
complexité de ces environnements et de ces tâches
joue ici un rôle majeur. Les chirurgiens n’ont parfois pas
une connaissance approfondie d’une procédure donnée
pour un cas complexe et ont alors besoin des conseils de
collègues spécialisés dans ce domaine.
Autre exemple : les techniciens ne peuvent pas connaître
tous les aspects de chaque machine dans l’usine. Au
lieu de s’appuyer sur une documentation papier peu
pratique, la RM est en soi une solution prometteuse. La
RM peut en effet être utilisée à des fins de formation
et d’orientation [18, 43]. Cependant, lorsque aucune
solution de guidage préexistante n’est disponible (ce qui
est actuellement souvent le cas), l’assistance à distance
fournie par un collègue expérimenté est un outil puissant
pour gagner du temps tout en réduisant les erreurs et les
accidents.
Ce chapitre présente une étude sur un système de RA
pour l’assistance à distance : TeleAdvisor [21], illustré
à la Figure 8. Dans leur travail, Gurevich et al. détaillent
les avantages et les défis de la RA pour l’assistance
à distance dans des scénarios industriels. Le système
qu’ils proposent est un point d’entrée intéressant sur ces
questions.
Figure 8 : TeleAdvisor, un système de assistance à distance en RA par Gurevich et al [21].
Images fournies par courtoisie des auteurs.

Figure 9 : Exemple de geste déictique : un utilisateur en RA
pointant vers un composant sur une machine virtuelle.
3.1 Les défis de l’assistance à distance
La première caractéristique de l’assistance à distance
relevée par les auteurs est son asymétrie. L’expert à
distance a connaissance de la tâche à réaliser mais
ne peut accéder à l’environnement physique alors que
le travailleur local se trouve dans cet environnement
mais ne sait pas comment procéder. Cette différence
pose des contraintes majeures à la coopération. Seul le
travailleur local peut agir concrètement pour réaliser la
tâche physique à effectuer.
De plus, les deux utilisateurs ne se trouvent pas au
même endroit, et ne peuvent donc pas communiquer ni
se voir sans dispositif adéquat.
Des études ont montré qu’au-delà des communications
audios, le partage d’une vue visuelle commune
est crucial pour les tâches de coopération [31]. Le
fait de pouvoir voir les gestes de l’autre utilisateur
facilite considérablement la communication. C’est
généralement le cas pour les gestes déictiques, c’est-à-
dire les gestes effectués pour désigner un emplacement
spécifique ou pointer un objet donné (voir la figure 9).
La métaphore «Put-that-there» [8] est un exemple bien
connu en IHM de commande vocale associée à un geste
déictique. Ce type d’interaction multimodale est très
courant dans les scénarios de la vie quotidienne, en
particulier lors du travail en groupe.
La question est maintenant de déterminer comment
rendre ces gestes perceptibles pour les deux utilisateurs.
LE SAVIEZ-VOUS ?
La plupart du temps, en effet, le travailleur local
est le seul capable d’interagir avec l’environnement
physique pour effectuer la tâche. Toutefois, cela
pourrait changer dans les années à venir grâce
aux jumeaux numériques [25]. Cette technologie
permet de recréer une réplique virtuelle exacte
d’un système physique donné (par exemple, un
bâtiment). De nombreux ensembles de capteurs
peuvent être utilisés pour s’assurer que la réplique
virtuelle reflète en temps réel l’état de son jumeau
physique.
Quel est le lien avec l’assistance à distance ? En
fait, la connexion de données entre les deux
jumeaux va dans les deux sens. Cela signifie qu’en
interagissant avec la version virtuelle d’une ligne de
production, on peut également avoir un impact sur
sa version physique en envoyant les commandes
correspondantes aux machines réelles. Les
jumeaux numériques peuvent donc permettre à
un expert distant en RM d’influencer directement
l’environnement physique !
Imiter les outils de vidéoconférence courants en ajoutant
un écran vidéo dans chaque espace de travail pourrait
sembler une solution adéquate. Néanmoins, cela
obligerait le travailleur local à se concentrer visuellement
à la fois sur la tâche à effectuer et sur l’écran distant.
Une telle division de l’attention peut avoir un impact
important sur les performances.
L’affichage de la vidéo sur un dispositif mobile peut
résoudre ce problème, mais bloque au moins une main
de la personne en présentiel. Cela peut s’avérer gênant
dans de nombreux contexte, notamment des scénarios
industriels.
3.2 RA pour l’assistance à distance
La réalité augmentée est une technologie prometteuse
pour l’assistance à distance car elle permet de résoudre
bon nombre de ces problèmes. En particulier, la RA avec
un casque laisse les deux mains de l’utilisateur libres et
permet d’afficher le contenu virtuel dans le champ de
vision actuel de l’utilisateur. Cette approche peut limiter
les effets secondaires de l’attention divisée par rapport
à une approche par moniteur distant [54]. Cependant,
les objets virtuels peuvent toujours avoir un impact sur
l’attention car ils peuvent distraire les utilisateurs et
les empêcher de remarquer les anomalies réelles dans
l’espace de travail [16].
Par ailleurs, Gurevich et al. soulignent dans leur état de
l’art qu’avec les HMD, les caméras sont directement liées
à la position de la tête [11]. Cela permet à la personne
en présentiel de partager une vue en temps réel et
mobile de l’espace de travail, certes. Mais cela signifie
également que l’expert distant n’a aucun contrôle
sur cette vue et est contraint de regarder au même
endroit. L’agitation de la tête (effet «shaky-cam») et les
mouvements soudains de la tête peuvent également
déranger l’autre utilisateur.

P19
RA Mobile RA avec HMD RA par projection
Avantages
Avantages Mobilité
Mobilité Mains libres
Mains libres
Mobilité
Mobilité
Stable
Stable
Aucun équipement sur l’utili-
Aucun équipement sur l’utili-
sateur
sateur
Limites
Limites Requiert au moins 1 main
Requiert au moins 1 main
Tremblement de la main
Tremblement de la main
Dépend de l’utilisateur local
Tremblement de la tête
Tremblement de la tête
Peu ou pas mobile
Peu ou pas mobile
Tableau 3 : Comparaison des avantages et limites des trois grandes
approches de la RA.
Dans leur travail, Gurevich et al. se concentrent sur la RA
basée sur un projecteur [21]. Les premières études sur
cette approche utilisaient principalement des pointeurs
projetés dans l’environnement du travailleur local,
tandis que les études ultérieures exploraient le partage
des gestes de la main et des annotations de l’expert
distant [28]. Avec TeleAdvisor, les auteurs veulent aller
un peu plus loin en surmontant le manque de mobilité
des solutions de RA à projecteur fixe. Disposer d’un
équipement mobile est nécessaire lorsque l’utilisateur
local se déplace entre différents endroits, par exemple si
un technicien doit inspecter des machines situées dans
différentes pièces.
Cependant, la mobilité est également une caractéristique
essentielle pour permettre à un expert distant d’obtenir
un point de vue différent dans un espace de travail
donné sans déranger la personne en présentiel.
3.3 Conception et mise en œuvre de
TeleAdvisor
Le système TeleAdvisor est conçu pour permettre
des points de vues indépendants pour les différents
utilisateurs. En d’autres termes, il permet à l’assistant
distant d’explorer librement l’espace de travail en temps
réel, indépendamment du travailleur en présentiel.
Gurevich et al. ont voulu reproduire la métaphore d’une
personne regardant par-dessus l’épaule d’un utilisateur
pour voir ce qu’il fait, fournissant un guidage visuel en
pointant les objets de l’espace de travail et le dessin
virtuel tout en donnant oralement des explications et
des détails [21].
Pour parvenir à un tel résultat, les auteurs ont conçu
un dispositif regroupant deux caméras et un projecteur
fixés sur un même bras articulé à 5 degrés de liberté,
DOF en anglais (Figure 10). Ce bras est lui-même
placé sur une station de travail robotisée à roulettes
avec un ordinateur portable gérant les calculs et les
communications. L’expert à distance peut contrôler à la
fois le poste de travail sur roues et le bras robotique pour
visualiser l’espace de travail et projeter le contenu de la
RA depuis de nombreux points de vue différents.
Un défi important avec ce type d’approche est de
s’assurer de la bonne synchronisation de la vue observée
(à partir des caméras) et de la vue projetée. Si les deux
vues ne sont pas bien calibrées, l’utilisateur en présentiel
verra les objets virtuels projetés avec un décalage
spatial important... Alors que l’expert distant sera
convaincu d’être parfaitement aligné avec les objets du
monde réel ! Cela a bien sûr un impact non négligeable
sur les performances, provoque des confusions et crée
des erreurs.
Figure 10 : Le deuxième prototype de TeleAdvisor conçu par [21]. Images fournies par courtoisie des auteurs.

P20
Figure 11 : L’interface utilisateur graphique de TeleAdvisor
pour l’assistance à distance. Images fournies par courtoisie
des auteurs.
Avec un système statique et un espace de travail fixe, ce
problème peut être résolu grâce à un calibrage minutieux
[28]. Cependant, TeleAdvisor est une solution mobile.
Elle nécessite donc une calibration dynamique des vues
caméra-projecteur qui prend en compte en temps réel la
distance entre le projecteur et l’emplacement sur lequel
les objets virtuels sont projetés. Les auteurs proposent
une approche basée sur une calibration hors ligne
(pour les caméras stéréo et le projecteur) suivie d’une
correction en temps réel basée sur l’homographie. La
mise en œuvre technique de cette procédure n’entre
pas dans le cadre de cet ouvrage, mais tous les détails
peuvent être trouvés dans l’article [21].
Pour contrôler le bras robotique et changer le point
de vue, l’expert à distance a accès à une interface
graphique en 2D sur un ordinateur traditionnel. Cette
approche a l’avantage d’être simple à utiliser. L’expert
pointe des objets réels en partageant un curseur virtuel,
dessine des annotations et insère du texte ainsi que
des formes prédéfinies dans l’espace de travail (Figure
11). Ces opérations peuvent être réalisées à l’aide d’une
souris et d’un clavier ou d’un écran tactile.
Les auteurs ont fait le choix d’avoir une seule
vue exocentrique de l’espace de travail au lieu de
plusieurs. Les vues multiples sont un paradigme
commun en visualisation de l’information [59], mais
les auteurs soutiennent qu’il peut également prêter
à confusion. Gurevich et al. proposent plutôt des
marque-pages spatiaux : la possibilité de sauvegarder
différents emplacements de caméra afin de revenir
automatiquement à ces positions par la suite [21]. Ce
concept est proche de la technique de changement de
point de vue discret en RA conçue par Sukan et al [55].
TeleAdvisor est un excellent exemple de système
d’assistance à distance basé sur de la RA projetée. Il
comporte de nombreuses fonctions de coopération
importantes, comme le dessin à main levée et la
navigation indépendante pour l’expert à distance.
Le sentiment d’immersion est toutefois limité pour
ce dernier.
3.4 Évaluation et limites du système
Les évaluations expérimentales de TeleAdvisor ont
fait ressortir deux résultats principaux. Premièrement,
le système semble être un outil prometteur pour
l’assistance à distance. Les participants ont pu utiliser le
système de manière efficace et se sont principalement
concentrés sur l’outil à main levée pour dessiner des
annotations. Les résultats qualitatifs indiquent que
TeleAdvisor a été jugé intuitif et très utile. Ensuite, les
auteurs ont également comparé le système classique
(l’expert à distance contrôlant la vue) avec un système
alternatif où l’utilisateur en présentiel est chargé de
déplacer physiquement le bras. Les résultats suggèrent
qu’il est peut-être préférable de laisser l’assistant à
distance gérer la vue. Un tel phénomène peut sembler
intuitif, mais il devait être confirmé expérimentalement
et quantifié.
Néanmoins, TeleAdvisor présente encore quelques
limites. Si l’utilisation d’une interface graphique 2D sur
un ordinateur rend la phase d’apprentissage simple,
elle limite aussi drastiquement l’immersion de l’expert
à distance. Cette limitation peut avoir un impact sur
les performances et la facilité d’utilisation dans des
espaces de travail complexes et de grande taille. Cela
peut également être le cas lorsque la tâche à accomplir
implique de nombreuses interactions en 3D. En outre, la
sensation de téléprésence est limitée pour l’utilisateur
local, qui ne peut pas voir les gestes de la main ou les
expressions du visage de l’expert à distance.

P21
DOMAINES D’APPLICATION POUR
L’ASSISTANCE À DISTANCE
L’ASSISTANCE À DISTANCE EN
CHIRURGIE AUGMENTÉE
Article : Andersen, D. et al. 2016. Virtual annotations
of the surgical fi eld through an augmented reality
transparent display. The Visual Computer. 32, 11
(Nov. 2016), 1481–1498. DOI: https://doi.org/10.1007/
s00371- 015-1135-6.
La réalité mixte a eu un impact sur de nombreux secteurs
industriels et le système TeleAdvisor [21] présenté dans
le chapitre précédent n’est qu’un (excellent) exemple
parmi tant d’autres. Cependant, il existe un autre
grand domaine d’application où la RM est de plus en
plus étudiée et utilisée : le domaine médical, et plus
particulièrement la chirurgie. Ajouter des informations
médicales en RA dans la salle de projection ou les
afficher directement sur le corps du patient s’avère très
utile pour faciliter le travail des chirurgiens. Néanmoins,
la RM va au-delà de cet ajout de contenu virtuel : elle
apporte également d’autres fonctions d’assistance à
distance. Dans certains cas, les chirurgiens doivent
utiliser une procédure chirurgicale spécifique qu’ils ne
connaissent pas parfaitement.
L’assistance de collègues experts devient alors un
soutien précieux.
Dans ce chapitre, nous présentons un article consacré à
l’assistance à distance pour les opérations chirurgicales,
également appelée téléchirurgie. Andersen et al.
ont proposé un système collaboratif dans lequel un
chirurgien expert distant peut créer du contenu de RA,
comme des annotations et des instructions virtuelles,
pour guider son collègue [1]. Le chirurgien présent dans
la salle d’opération visualise le contenu en RA grâce à
une tablette fixée au-dessus du corps du patient. Une
vue d’ensemble du système est disponible à la Figure
12.
Avant d’entrer dans les détails du système proposé par
Andersen et al., nous commençons par passer en revue
les défis de la chirurgie en RM.
Figure 12
Figure 12 : Le système envisagé proposé par Andersen et al. : une tablette au-dessus du corps du patient faisant
office d’écran «transparent» [1]. Images reproduites avec l’aimable autorisation des auteurs.

4.1 Les défis de la RM pour la chirurgie
Les opérations chirurgicales sont des procédures
longues, complexes et stressantes. En plus des gestes
techniques complexes à réaliser, les chirurgiens doivent
adapter leur travail aux différences du corps de chaque
patient et parfois prendre des décisions de vie ou de
mort à la volée [13]. Les chirurgiens ont donc une charge
cognitive importante pendant l’opération. Tout ce qui
peut nuire à leur concentration ou à leur sentiment de
contrôle doit être évité ou retiré de la salle d’opération.
La principale contrainte est l’asepsie : tout objet en
contact avec le patient doit avoir été préalablement
stérilisé en suivant la procédure appropriée. Afin de
réduire au maximum les risques d’infection pour le
patient, tous les membres de l’équipe médicale ont
également une phase de stérilisation spécifique avant
d’entrer au bloc. Ainsi, les chirurgiens portent des
gants stériles et ne peuvent pas toucher des objets non
stérilisés. La RA avec un casque est compatible avec
les exigences du bloc opératoire, mais elle est loin d’être
une solution parfaite.
Comme le casque ne peut pas être entièrement stérilisé
(les composants électroniques seraient endommagés
au cours du processus), les chirurgiens ne peuvent pas
le toucher après l’avoir mis. Cela peut poser un problème
si le casque doit être repositionné sur la tête ou si des
projections (du sang par exemple) atteignent le verre ou
La RA a beaucoup de potentiel pour soutenir le travail des chirurgiens car elle facilite l’accès aux informations
médicales. Elle permet de visualiser des contenus virtuels tels que les données du patient et ses radios à proximité
de la table d’opération. Les instructions virtuelles et les informations médicales peuvent également être directement
superposées au corps du patient pour guider les gestes chirurgicaux. Au lieu de faire des allers-retours entre le
patient et un écran distant, le chirurgien peut ainsi se concentrer uniquement sur le patient [5]. Néanmoins, le
contexte du bloc opératoire impose aux chirurgiens plusieurs contraintes strictes qui ont un impact direct sur
l’utilisation de la RM, comme le montre le Tableau 4.
LE SAVIEZ-VOUS ?
Les différentes technologies de RM peuvent
être utiles en chirurgie, mais dans des contextes
différents [18]. Par exemple, la RV peut être utile
à des fins de formation, d’enseignement et de
rééducation du patient. Cependant, pendant une
opération, les chirurgiens doivent se concentrer sur
le corps du patient. C’est pourquoi, dans la suite de
ce document, nous parlons principalement de la RA.
LE SAVIEZ-VOUS ?
Ces contraintes n’ont pas empêché Microsoft
de promouvoir l’utilisation de l’Hololens 2 pour
la chirurgie augmentée. Après une première
opération en RA fin 2017, la société a organisé
en février 2021 un marathon de 24 heures de
chirurgies augmentées. Les chirurgiens portant
le casque pouvaient voir des hologrammes dans
le bloc opératoire et échanger en temps réel
avec des collègues à distance. Suivi par 15000
téléspectateurs de 130 pays, l’événement est
un signe clair de l’intérêt actuel de la RM pour la
chirurgie.
Contrainte Nom Description
Asepsie
Asepsie
Environnement du bloc
opératoire
opératoire
Aucun contact avec un objet non stérile n’est possible pour le chirurgien.
Aucun contact avec un objet non stérile n’est possible pour le chirurgien.
Pas de dispositif tenu à la main(tablette, manettes...).
Pas de dispositif tenu à la main(tablette, manettes...).
Impossibilité de repositionner ou de nettoyer le casque à cause des gants
Impossibilité de repositionner ou de nettoyer le casque à cause des gants
stériles.
stériles.
Pas de techniques d’interaction corporelle comme [2].
Pas de techniques d’interaction corporelle comme [2].
Haute
Haute
luminosité
luminosité
opératoire
opératoire
Les hologrammes peuvent être plus difficiles à voir.
Les hologrammes peuvent être plus difficiles à voir.
Les gestes peuvent être plus difficiles à détecter.
Les gestes peuvent être plus difficiles à détecter.
Bruit ambiant
Bruit ambiant Environnement du bloc
opératoire
opératoire
Plus difficile d’utiliser les commandes vocales : machines médicales
Plus difficile d’utiliser les commandes vocales : machines médicales
bruyantes, communications de l’équipe médicale, masques chirurgicaux...
bruyantes, communications de l’équipe médicale, masques chirurgicaux...
Stress et charge
Stress et charge
cognitive élevés
cognitive élevés
Tâche chirurgicale
Tâche chirurgicale Les chirurgiens doivent se concentrer sur le patient et non sur le contenu
virtuel.
Rien ne doit perturber le déroulement du travail chirurgical.
Rien ne doit perturber le déroulement du travail chirurgical.
Le chirurgien doit pouvoir éteindre la RM à tout moment.
Le chirurgien doit pouvoir éteindre la RM à tout moment.
Besoin de
Besoin de
précision
précision
Tâche chirurgicale
Tâche chirurgicale Exige un suivi et un positionnement très précis et en temps réel du
Exige un suivi et un positionnement très précis et en temps réel du
contenu virtuel (ordre de grandeur : quelques mm, parfois moins).
contenu virtuel (ordre de grandeur : quelques mm, parfois moins).
Tableau 4 : Aperçu des principales contraintes du bloc opératoire et de leurs conséquences sur l’utilisation de la RM.
les capteurs du casque. En outre, le port d’un casque
pendant de longues périodes (jusqu’à plusieurs heures)
peut accroître la fatigue physique des chirurgiens.

P23
Qu’en est-il de l’assistance à distance ? Comme indiqué
précédemment, les chirurgiens peuvent avoir besoin
de demander l’aide de collègues pour une opération.
Cela peut être parce qu’ils sont confrontés à un profil
de patient spécifique ou parce qu’ils doivent effectuer
une procédure de pointe avec laquelle ils ne sont pas
totalement familiarisés.
Cela peut par exemple se produire dans les hôpitaux
ruraux où les chirurgiens effectuent moins d’opérations.
La formation des chirurgiens est difficile, coûteuse et
longue, alors que les techniques chirurgicales évoluent
rapidement. Le guidage en temps réel est donc un
outil précieux, notamment par rapport au transfert des
patients vers un autre hôpital disposant de spécialistes.
4.2 Guider à distance un chirurgien en RA
L’article d’Andersen et al. se concentre sur ce besoin
de coopération à distance dans la salle d’opération [1].
Les auteurs envisagent un système de RA basé sur des
tablettes, comme illustré à la figure 12. Pour respecter
les contraintes d’asepsie, la tablette n’est pas tenue à la
main par le chirurgien mais fixée sur un bras mécanique
au-dessus du patient. Grâce à sa caméra, la tablette
agit comme un dispositif «transparent» à travers lequel
le corps du patient peut être vu. En outre, un contenu
virtuel AR créé par l’expert à distance est affiché pour
guider le chirurgien. Le chirurgien n’a pas besoin de tenir
la tablette, ce qui convient au bloc opératoire (mains
libres, pas de contact avec les gants stériles). Toutefois,
si cela est vraiment nécessaire, la position et l’orientation
de la tablette peuvent encore être ajustées.
L’expert distant reçoit le flux vidéo en temps réel de la
tabletteduchirurgienlocaletpeutvoirlecorpsdupatient.
Cet expert distant n’est pas dans la salle d’opération et
n’est donc pas affecté par ses contraintes. Les auteurs
ont proposé une interface tactile sur une tablette pour
créer des annotations virtuelles. Ils ont implémenté trois
gestes principaux de la main pour dessiner différents
types d’annotations, représentant différents gestes et
outils chirurgicaux (incision, suture et palpation) [1].
L’interface graphique correspondante est présentée à la
Figure 13.
Comme mentionné dans le Tableau 4, les opérations
nécessitent de la précision de la part des chirurgiens
et une grande dextérité manuelle. Ce besoin crucial de
précision est déjà difficile à satisfaire dans un contexte
statique. Cependant, le cycle respiratoire crée des
mouvements dans le corps du patient. Les tissus mous
peuvent être particulièrement difficiles à suivre en temps
réel car ils se déforment facilement. Pour résoudre
ce problème, les auteurs ont proposé une approche
d’ancrage des annotations basée sur des images vidéo
de référence avec OpenCV (pour plus de détails, nous
vous invitons à vous plonger dans l’article).
Andersen et al. ont effectué trois évaluations de leur
prototype [1]. Ils ont tout d’abord effectué un test de
performance pour vérifier la robustesse de leur ancrage
d’annotation. Ensuite, ils ont recueilli des commentaires
qualitatifs lors d’une étude d’utilisabilité avec deux
chirurgiens. Enfin, les auteurs ont comparé leur système
de RA à un système classique basé sur un moniteur
au cours d’une étude pilote (les participants n’avaient
pas de formation médicale). Un aperçu des résultats
expérimentaux est disponible dans le Tableau 5.
Figure 13 : L’interface du système pour l’expert à distance. Images fournies par courtoisie des auteurs.

P24
Test Résultats observés
Test de
Test de
performance
performance
Le système est assez robuste aux
Le système est assez robuste aux
mouvements de la tablette et aux
mouvements de la tablette et aux
occlusions.
occlusions.
Les déformations du corps du patient
Les déformations du corps du patient
posent beaucoup plus de problèmes.
posent beaucoup plus de problèmes.
Étude d’utilisabilité
Étude d’utilisabilité
avec des
avec des
chirurgiens
chirurgiens
Zone du champ opératoire : nécessité
Zone du champ opératoire : nécessité
d’une latence minimale et d’une
d’une latence minimale et d’une
fréquence d’images maximale.
fréquence d’images maximale.
L’interface graphique de l’expert
L’interface graphique de l’expert
à distance est perçue comme
à distance est perçue comme
complexe.
complexe.
Étude pilote
Étude pilote
Moins de changements d’attention
Moins de changements d’attention
visuelle avec la RA
visuelle avec la RA
Légèrement plus lent avec la RA mais
Légèrement plus lent avec la RA mais
beaucoup plus précis
beaucoup plus précis
Tableau 5 : Résumé des résultats expérimentaux des trois études
menées par Andersen et al. [1].
Les résultats expérimentaux suggèrent que le système
proposé a un potentiel pour l’assistance à distance
en chirurgie augmentée. Préserver l’attention visuelle
des utilisateurs (moins de décalages visuels) et leur
permettre d’effectuer des gestes plus précis sont les
principaux résultats souhaités de la RM. La possibilité
pour les experts à distance d’ajouter des annotations
virtuelles ancrées sur le champ chirurgical est également
un grand pas en avant par rapport au guidage oral
classique.
Le système est entièrement pris en charge par les
deux tablettes : aucun calcul n’est effectué par un
dispositif externe. Il s’agit d’un choix de conception
précieux pour la chirurgie, car la salle d’opération est
un environnement aux ressources limitées. Néanmoins,
certains participants à l’étude pilote ont signalé que
l’absence de perception de la profondeur sur l’écran de
la tablette augmentait la difficulté de la tâche. Il serait
intéressant de comparer une version améliorée de ce
prototype avec une approche basée sur un casque.
En outre, les commentaires qualitatifs de l’étude
d’utilisabilité soulignent la nécessité d’inclure
les chirurgiens dans la conception des systèmes
d’assistance à distance. Les chirurgiens sont des
utilisateurs particuliers confrontés à des défis
uniques et à des contraintes spécifiques dans le bloc
opératoire : les conceptions, interfaces et techniques
d’interaction génériques peuvent ne pas être adaptées
au contexte chirurgical.
La chirurgie est un domaine d’application clé pour la RM et l’assistance à distance, mais elle soulève des
défis uniques liés à l’environnement de la salle d’opération et à la complexité des procédures chirurgicales.
Au lieu d’utiliser un casque, une tablette placée au-dessus du corps du patient est une approche intéressante
pour visualiser un contenu virtuel ancré. Cette approche respecte les contraintes des chirurgiens et peut
faciliter le guidage à distance.

P25
LE ZOOM :
COLLECTICIELS
Les collecticiels (ou groupware en anglais) sont un type spécifique de logiciels conçus pour les tâches coopératives
et collaboratives. Ils reposent sur un constat bien connu : les groupes sont des entités sociales complexes et difficiles
à étudier. De nombreux facteurs sociaux et psychologiques peuvent influer sur l’activité d’un groupe : la localisation
et la personnalité de ses membres, le nombre de participants, la méthode choisie pour prendre des décisions et
gérer les conflits...
Il est donc difficile de concevoir un logiciel adapté à une tâche avec des utilisateurs simultanés. Oui, un Google Doc
peut faire l’affaire pour un petit rapport scolaire, mais avez-vous essayé de l’utiliser pour rédiger un appel à projet
européen complet avec de nombreux partenaires ? Vous vous rendrez vite compte qu’il manque de nombreuses
fonctionnalités clés pour travailler ensemble efficacement...
Test Description –
Fonctionnalités associées
Conscience de
groupe
Être conscient de l’activité des autres
Observabilité des
ressources et des
actions
Observer, rendre public ou filtrer
éléments
Niveau de couplage
Avoir la même vision unique («Ce
Avoir la même vision unique («Ce
que vous voyez est ce que je vois»)
que vous voyez est ce que je vois»)
ou des vues différentes pour chaque
ou des vues différentes pour chaque
utilisateur
utilisateur
Et bien d’autres encore…
De nombreux outils conceptuels ont été proposés dans
la littérature pour analyser les collecticiels [23, 52].
Par exemple, les critères ergonomiques regroupent
un ensemble de propriétés comme la conscience et
l’identification du groupe.
Le tableau à droite donne un aperçu de quelques-unes
d’entre elles :
Les solutions d’assistance à distance peuvent être considérées comme un sous-ensemble des collecticiels. Il peut
donc être utile de jeter un coup d’œil aux directives de conception et aux études de la conférence CSCW sur les
collecticiels. Ils peuvent simplement donner des idées ou informer la conception de l’ensemble du système !

SECTION 3
Indices visuels et présence sociale 27
Avatars et téléprésence 31
Mini-me : avatars miniatures 35
Les UTILISATEURS
ET LEUR ACTIVITÉ
Représenter visuellement

LES UTILISATEURS ET LEUR ACTIVITÉ
REPÈRES VISUELS POUR LA
PRÉSENCE SOCIALE EN RM
Article : Teo, T. et al. 2019. Investigating the use of
Different Visual Cues to Improve Social Presence within
a 360 Mixed Reality Remote Collaboration. The 17th
International Conference on Virtual-Reality Continuum
and its Applications in Industry (Brisbane QLD
Australia, Nov. 2019), 1–9.
Donner le sentiment que les utilisateurs locaux et
distants travaillent les uns à côté des autres dans le
même environnement peut avoir un impact significatif
sur l’expérience utilisateur et les performances. En
fait, cela va plus loin que les scénarios d’assistance à
distance : les communications à distance en général
peuvent bénéficier d’un «ajout d’humain dans la boucle»,
d’un rapprochement avec les échanges physiques
en face à face. Cela est particulièrement vrai dans le
contexte actuel de la pandémie de Covid-19, où les outils
technologiques doivent être utilisés pour rester connecté
aux autres. Or, de simples vidéos sur un écran 2D sont
loin de donner le sentiment d’être réellement ensemble.
Comment parvenir à un tel résultat ? La RM est un outil
puissant, c’est certain, mais nous ne sommes pas tout à
fait capables de projeter une représentation parfaite de
nous-mêmes comme dans de nombreux livres et films
de SF.
Dans ce chapitre, nous présentons un article de Teo et
al. sur ce sentiment de téléprésence [57]. Les auteurs
se sont concentrés sur un système de panorama à 360°
en RM et ont étudié différents indices pour augmenter
cette sensation et faciliter la collaboration entre les
utilisateurs distants.
Bien que les repères visuels tels que les pointeurs et
les dessins partagés puissent sembler simples, il est
intéressant de voir leurs avantages et leurs difficultés
dans le cas d’un environnement 3D en RM. En outre,
cet article regroupe trois évaluations expérimentales
différentes et en extrait de précieuses directives de
conception.
LE SAVIEZ-VOUS ?
Les physiciens ont actuellement du mal à téléporter ne serait-ce qu’une seule molécule dans un environnement
contrôlé.
Néanmoins, si les lois de la physique peuvent être têtues, la téléportation virtuelle semble beaucoup plus
réalisable dans un avenir pas si lointain. L’holoportation (pour téléportation holographique) consiste à
capturer une vidéo volumétrique des utilisateurs en temps réel et à afficher l’hologramme correspondant
dans le même environnement partagé. Pour un aperçu de ce à quoi cela ressemble actuellement, nous vous
recommandons cette vidéo (https://www.youtube.com/watchv=Yy8XoPsbAk4) de la fondation i2CAT sur les
holoconférences. La Guerre des étoiles n’a qu’à bien se tenir !
5.1 Différents aspects de la présence
Commençons par un peu de terminologie. La notion de
présence à distance est complexe et, à l’instar de la RM,
de multiples définitions ont été utilisées au fil du temps
pour la caractériser.
Dans leur travail, les auteurs se concentrent sur deux
aspects différents :
• La présence spatiale fait référence au sentiment de se
situer dans un environnement donné et à la perception
des actions possibles dans cet environnement. Par
exemple, le questionnaire MEC sur la présence spatiale
comprend des questions sur le sentiment de faire partie
de l’environnement, d’y être physiquement présent et de
participer à l’action [58]. Dans une certaine mesure, ce
concept est similaire à celui de l’immersion.
• La présence sociale (également appelée coprésence),
au contraire, est centrée sur les autres. Elle fait référence

P28
au sentiment que les autres utilisateurs sont «là» avec
nous [41].
La présence sociale est liée au réalisme de la
représentation des autres utilisateurs et au sentiment
d’être connecté à eux par le biais du média. Cet
aspect est particulièrement important pour les tâches
collaboratives et la assistance à distance.
Qu’en est-il de la téléprésence ? Ce terme renvoie
à la notion de présence par le biais d’un support
technologique. Il s’agit donc d’un concept plus large
englobant la présence spatiale et sociale, comme le
montre la Figure 14.
Dans leur travail, Teo et al. ont utilisé un système de
panorama à 360° pour étudier la présence spatiale et
sociale dans le contexte de la collaboration à distance
en RM [57].
L’utilisateur en présentiel porte une caméra 360°
montée sur un casque de RA (l’Hololens de Microsoft).
Cette caméra enregistre en direct une vidéo 360° de
la scène, ce qui permet à l’expert distant en RV d’être
complètement immergé dans l’environnement de l’utilisateur local (cf. Figure 15). Mieux encore, il devient possible
d’avoir des points de vue indépendants entre les utilisateurs : l’expert à distance n’est pas limité au champ de vision
actuel du travailleur local mais a accès à l’ensemble du panorama.
Bien entendu, cette solution présente encore certaines limites. L’utilisateur distant peut exécuter librement des
rotations («tourner la tête») mais il est toujours limité à la position physique de son collègue en présentiel. Il n’est
donc pas possible pour l’expert de se déplacer vers d’autres positions dans l’espace de travail pour avoir un point
de vue différent. En outre, il peut être difficile de savoir où l’autre utilisateur regarde actuellement et la caméra 360
peut également être affectée par les tremblements de la tête, ce qui peut nuire au confort de l’utilisateur.
Figure 14 : Comparaison des notions de présence et de téléprésence.
Presence Telepresence
Figure 15
Figure 15 : Vue d’ensemble du système de RM panoramique 360 utilisé dans [57].
Utilisateur local
Utilisateur distant
Contrôleur RV
Casque de VR
Capteurs pour suivre
les contrôleurs
Caméra 360°
Casque de RA
Vidéo 360° en temps
réel

5.2 Améliorer la collaboration à l’aide de
repères visuels
De nombreuses études ont proposé des repères visuels
pour faciliter la collaboration entre utilisateurs distants
en RM. Ainsi, Teo et al. ont mis en œuvre plusieurs
retours visuels pour les gestes de la main [36]. La main
de l’utilisateur distant est représentée en RA par un
modèle virtuel dans le champ visuel de l’utilisateur local.
Les gestes de pointage sont pris en charge en dessinant
le rayon virtuel correspondant. Ce rayon est dessiné
1) à partir de l’extrémité du doigt de l’utilisateur local
ou 2) à partir de la tête du contrôleur RV de l’expert à
distance. Un point à l’extrémité de ce rayon peut être
utilisé comme un curseur précis. De plus, l’expert peut
également dessiner des annotations pour guider le
travailleur local. Ces annotations sont spatialement
ancrées dans l’environnement réel et restent donc à la
même position fixe indépendamment des mouvements
de l’utilisateur.
Les auteurs ont également ajouté deux repères visuels
supplémentaires liés au champ de vision de l’utilisateur.
La ViewFrame est un rectangle coloré indiquant le
champ de vision de l’autre utilisateur. La ViewArrow
est une flèche pointant toujours vers la ViewFrame.
Elle permet de savoir en parmanence vers où l’autre
utilisateur regarde. La Figure 16 donne un aperçu des
indices visuels mis en œuvre par les auteurs.
Figure 16 : Indices visuels considérés par Teo et al [57]. Image reproduite avec l’autorisation des auteurs.
Teo et al. ont mené trois études expérimentales pour
étudier l’effet de ces repères visuels sur la présence
sociale/spatiale et l’expérience de l’utilisateur :
• L’étude A a comparé les repères visuels individuels.
Quatre conditions ont été envisagées : aucun repère
visuel, main virtuelle uniquement, rayon de pointage
uniquement et main virtuelle + rayon de pointage.
Dans chaque condition, les communications verbales
étaient autorisées et des cadres/flèches de visualisation
étaient disponibles.
• L’étude B s’est concentrée sur deux conditions : main
virtuelle uniquement vs main virtuelle + annotations.
Contrairement à l’étude A, les utilisateurs devaient cette
fois-ci effectuer une tâche asymétrique : au lieu d’avoir
le même rôle, les utilisateurs jouaient soit le rôle de
travailleur, soit celui d’expert à distance.
• L’étude C a exploré les préférences des utilisateurs
concernant les différents indices visuels, en leur
permettant de passer à volonté d’une condition à l’autre.
À chaque fois, les utilisateurs effectuaient une tâche
collaborative consistant à décorer ou à remplir une
étagère avec différents objets.
Les résultats expérimentaux suggèrent que c’est avant
tout la combinaison de plusieurs repères qui importe.
Une bonne combinaison peut augmenter la présence
sociale, améliorer partiellement la présence spatiale et
réduire la charge cognitive subjective [57].
Le nombre de repères visuels joue donc un rôle important.
Toutefois, il peut y avoir un seuil quant à ce nombre car
trop de repères créeraient une occlusion visuelle. C’est
particulièrement vrai pour les casques de RA comme le
Hololens : de nombreux utilisateurs ont indiqué que leur
expérience était affectée par la taille limitée du champ
de vision augmenté.
LE SAVIEZ-VOUS ?
Le champ de vision de l’homme est proche de 180°
horizontalement et de 125° verticalement. Même si
notre regard ne converge que ponctuellement vers
un point précis, les différents secteurs de la vision
périphérique nous permettent toujours de percevoir
les couleurs et les mouvements. Par conséquent,
un champ de vision de 30 à 40° (horizontalement,
et encore moins verticalement) avec les casques
de RA actuels représente une forte limitation. Le
défi consiste à résoudre les problèmes optiques
(distorsions, luminance des objets virtuels, etc.)
tout en préservant le confort d’utilisation (fatigue
oculaire, encombrement de l’équipement de tête...).
Certaines études ont néanmoins examiné les effets
d’un grand champ de vision en RA [30], avec des
résultatsparfoissurprenants.Parexemple,ilsemble
qu’un champ de vision plus grand n’entraîne pas
nécessairement de meilleures performances dans
les tâches de recherche visuelle [30].

P30
Tableau 6 : Recommandations pour les systèmes de RM pour le travail de groupe à
distance.
Recommandation Description
R1 La taille et le nombre d’indices visuels doivent correspondre
à la taille du champ de vision. Les avantages liés à la
combinaison de plusieurs indices peuvent être perdus si ces
derniers occultent trop la vision.
R2 Assurez-vous que le suivi des gestes supporte une gamme
suffisante d’angles et de rotations. L’utilisateur doit pouvoir
utiliser des gestes instinctifs.
R3 La pertinence d’un indice visuel dépend de la tâche à
accomplir. Néanmoins, un curseur partagé peut servir
d’indice principal pour de nombreuses tâches, suivi ensuite
par les annotations et gestes de mains.
Un autre résultat intéressant est
l’effet des rôles des utilisateurs. Teo
et al. ont observé que la combinaison
d’indices visuels avait un effet
principalement sur l’utilisateur
local et non sur l’utilisateur distant
[57]. Cette asymétrie des rôles
a également été observée pour
les préférences subjectives : les
utilisateurs locaux étaient plus
intéressés par les indices facilement
repérables, tandis que les utilisateurs
distants préféraient les indices
faciles à utiliser.
La nature de la tâche peut également influencer les résultats : les gestes de la main peuvent être plus utiles pour
les tâches de manipulation d’objets, tandis qu’un pointeur partagé peut être plus adapté aux tâches où le temps
est compté.
Les auteurs ont souligné le fait que les participants ont principalement utilisé la communication verbale pour
réaliser la tâche. Les indices visuels ne faisaient que soutenir les échanges oraux et étaient surtout utilisés lorsque
la communication verbale n’était pas efficace.
Enfin, Teo et al. ont proposé trois directives de conception sur la base de leurs résultats expérimentaux, comme le
montre le Tableau 6.
Il est intéressant de noter qu’une étude similaire de Bai et al. [4], qui incluait également un retour visuel pour le regard
de l’utilisateur, a également donné des résultats similaires. Cet indice lié au regard a même donné de meilleurs
résultats que la combinaison d’autres indices concernant deux critères : la disposition spatiale et la conscience de
sa propre localisation. Le regard semble donc être une modalité prometteuse qui se marie bien avec des indices
visuels.
La combinaison de plusieurs repères visuels peut favoriser le travail de groupe à distance en augmentant
la présence sociale et spatiale.
Pour être efficaces, ces repères visuels doivent être choisis en fonction de la nature de la tâche et des
rôles des utilisateurs. En particulier, le travailleur local doit avoir accès en priorité aux repères visuels. Ces
derniers sont moins cruciaux pour l’expert à distance.

P31
AVATAR ET TÉLÉPRÉSENCE
DU TUTEUR À DISTANCE
Article: Cao, Y. et al. 2020. An Exploratory Study of
Augmented Reality Presence for Tutoring Machine
Tasks. Proceedings of the 2020 CHI Conference on
Human Factors in Computing Systems (Honolulu HI
USA, Apr. 2020), 1–13.
Dans le chapitre précédent, nous nous sommes
concentrés sur le retour visuel lié à l’activité actuelle
des utilisateurs. Cependant, au lieu de simples indices
d’activité, ne pouvons-nous pas représenter directement
les utilisateurs distants ? Ne serait-il pas préférable
d’afficher le corps entier de l’utilisateur en RM afin
de transmettre l’ensemble de la communication non
verbale ? Si cette option semble raisonnable, elle soulève
également de nombreuses questions. Quelle serait la
meilleure approche pour représenter le corps entier de
l’utilisateur ? Une représentation réaliste est-elle toujours
préférable à une représentation «cartoonesque» ? Qu’en
est-il de l’occultation visuelle avec un avatar de taille
humaine ?
Pour commencer à explorer ce sujet de la représentation
de l’utilisateur, Cao et al. ont récemment proposé une
étude expérimentale de la présence de la RA pour une
tâche de tutorat à distance [12]. Les auteurs étudient
différentes représentations du tuteur à distance, allant
d’un simple indice de position à un avatar complet en
RA. Un aperçu des représentations envisagées est
disponible à la Figure 17. Outre les précieux résultats
expérimentaux basés sur différents types d’interaction,
le choix de cet article nous permet également d’explorer
le domaine du tutorat à distance, qui présente de
nombreuses similitudes avec l’assistance à distance.
Figure17 : Les différentes représentations de l’utilisateur distant explorées par Cao et al. [12].
Images fournies par courtoisie des auteurs.
(1) - a Video
(2) - b RA sans Avatar
(3) - c Corps entier+AR
(4) - d Demi-corps+AR

Figure 18 : Les différents types d’étapes identifiés par Cao et al. [12]. Images fournies par courtoisie des auteurs.
6.1 Industrie 4.0 et tâches sur machines
Les auteurs commencent leur travail en soulignant la
nécessité de formations adaptées pour les travailleurs
de l’industrie 4.0. L’industrie 4.0 vise à transformer les
usines traditionnelles en « usines intelligentes » grâce à
l’Internet des objets (IoT) et aux systèmes autonomes
incluant les technologies d’IA et de Machine Learning
(souvent appelés systèmes cyber-physiques). En
d’autres termes, de nouveaux processus et équipements
apparaissent rapidement et les travailleurs doivent
s’adapter à ces changements. En particulier, ils doivent
maîtriser de nouvelles machines et de nouveaux
systèmes.
La RA a été et est encore actuellement explorée
comme un outil prometteur pour faciliter les phases
d’apprentissage et les sessions de tutorat dans des
scénarios industriels. Ces scénarios comprennent
la formation à la maintenance des machines et
des véhicules, la surveillance des installations et
l’assemblage de pièces mécaniques [12]. La RA permet
également de partager des objets virtuels 3D complexes
d’outils et de composants de machines [39]. Pour les
scénarios asynchrones comme les sessions de tutorat
qui motivent cet article, les experts peuvent créer du
LE SAVIEZ-VOUS ?
Malgré son potentiel, la RM est encore loin d’être
déployée dans une majorité d’usines. Il y a bien sûr
des limitations techniques liées à la technologie
elle-même (taille du champ de vision, puissance
de calcul limitée sur les casques actuels, et
ainsi de suite). Mais au-delà de ces limites, une
infrastructure réseau appropriée est également
nécessaire pour supporter les usages de la RM
pour l’assistance à distance, notamment en termes
de latence et de bande passante.
Des projets européens comme Evolved-5G visent à
combler cette lacune en utilisant les capacités du
réseau 5G. Entre-temps, les chercheurs ont déjà
commencé à travailler sur la 6G [51]. Rendez-vous
dans quelques années !
contenu d’orientation à l’avance en enregistrant des
vidéos de la procédure à effectuer (voir Figure 17a) et
en ajoutant des instructions virtuelles dans l’espace de
travail. Pour le travail de groupe synchrone à distance, le
partage de repères visuels permet de guider l’attention
des autres utilisateurs et de leur faire part de leur activité
en cours.
Néanmoins, Cao et al. affirment que de nombreuses
études et systèmes de tutorat antérieurs ne considèrent
que les tâches locales, c’est-à-dire les étapes qui
peuvent être effectuées à portée de bras [12]. Dans
ce cas, le simple ajout de contenu virtuel sur la
machine peut suffire à guider l’utilisateur en présentiel.
Néanmoins, les tâches à effectuer sur la machine
peuvent nécessiter des mouvements spatiaux plus
importants, comme se déplacer dans l’espace de
travail ou tourner physiquement autour d’une grande
machine. L’ajout d’un avatar pour représenter ce
type de mouvement pourrait-il aider les utilisateurs
? Pour étudier cette question, les auteurs ont exploré
les types d’étapes illustrés dans la Figure 18 :
1. Les étapes locales peuvent être effectuées d’une seule
main et sans mouvement à l’échelle du corps.
Par exemple, appuyer sur un bouton d’interrupteur à
portée de main.
2. Les étapes coordonnées par le corps impliquent une
action à deux mains nécessitant une coordination du
corps, de la main et de l’œil pour être réalisée. Tourner
deux boutons en même temps tout en surveillant leur
effet sur une jauge de température entrerait dans cette
catégorie.
3. Les étapes spatiales nécessitent une phase de
navigation importante avant l’interaction avec la
machine. Un exemple d’étape spatiale pourrait être
de chercher un outil spécifique à quelques mètres de
distance dans l’espace de travail avant de l’utiliser sur
la machine.
Quel est le lien entre ces trois types d’étapes et le sujet
de notre chapitre sur les avatars ? En une phrase : les
auteurs explorent différentes représentations visuelles
du tuteur à distance par rapport à ces différentes étapes.
(2)
(1) (3)

6.2 Représentation visuelle de l’utilisateur
distant
Cao et al. ont exploré quatre représentations différentes
de l’utilisateur distant, comme l’illustre la Figure 17. La
condition Vidéo représente l’aversion de référence sans
RA. La condition RA-sans-avatar représente l’approche
standard de la RA, avec un contenu virtuel superposé
à la machine et un cercle représentant l’emplacement
de l’utilisateur distant. La condition Haut-du-Corps+RA
s’appuie sur la précédente en ajoutant un avatar partiel
avec seulement une tête, un torse et des mains. Enfin,
la condition Corps-Complet+RA complète cet avatar en
y ajoutant des bras et des jambes. Globalement, il y a
donc une augmentation progressive des informations
visuelles sur le tuteur distant.
Pour évaluer ces représentations et leur impact sur
la présence sociale, les auteurs ont conçu et mené
une étude expérimentale basée sur la maquette de la
machine illustrée à la Figure 19.
Cette machine de test a été conçue avec deux objectifs
en tête :
1) reproduire les métaphores d’interaction
trouvées sur de vraies machines (avec des widgets
physiques comme des boutons et des leviers) et
2) permettre de tester les étapes locales, coordonnées
corporellement et spatiales. Les participants ont été
invités à effectuer 4 sessions de tâches sur machine,
chaque session comprenant un mélange des différents
types d’étapes.
Dans l’ensemble, les deux conditions avec avatar (Haut
du corps + RA et corps entier + RA) ont été préférées
aux deux conditions de base (vidéo et RA sans avatar)
[12]. Cependant, la plupart des participants ont
préféré la condition Haut du corps + RA car elle créait
moins d’occultation visuelle. Les résultats quantitatifs
confirment cette préférence : les participants étaient plus
rapides lorsqu’ils utilisaient cette représentation tout en
conservant le même niveau de précision. Les auteurs
suggèrent qu’en masquant une plus grande section
de la machine, la représentation Corps entier+RA peut
avoir augmenté la charge cognitive de l’utilisateur et la
distraction de son attention.
Néanmoins, les résultats expérimentaux soulignent
également l’importance du type de tâche. La condition
Corps entier+RA a été perçue comme la représentation
la plus utile pour les tâches de coordination corporelle
et a donné un meilleur sentiment de présence sociale.
L’utilisation d’une représentation plus proche d’un
humain réel a rendu le tuteur plus «amical et crédible».
En revanche, la condition RA-sans-avatar était la
préférée et la plus rapide pour les tâches locales. Dans
ce cas, les représentations avec avatars ont apporté
peu d’avantages, voire ont été jugées encombrantes par
certains participants.
Figure 19 : Installation expérimentale utilisée par Cao et al. [12]. Images fournies par courtoisie des auteurs.
LE SAVIEZ-VOUS ?
Se rapprocher d’une représentation humaine réaliste
peut présenter des avantages, mais attention à la
vallée de l’étrange [62] ! Ce célèbre effet a été identifié
dès 1970. Mori a théorisé qu’à un moment donné, les
humains ressentiraient de la répulsion devant des
robots trop proches des humains en termes d’apparence
et de mouvements. Au lieu de d’essayer d’être aussi
réaliste que possible, d’autres études se concentrent
sur d’autres approches pour déclencher une une
réponse émotionnelle positive à l’égard des machines.
Par exemple, Herdel et al. ont exploré la possibilité de
donner des expressions aux drones [22].
Dans l’ensemble, il semble donc que le type de tâche
doive être considéré par les concepteurs d’interaction
comme un facteur majeur, comme le résume le Tableau
7.
Une autre observation faite par les auteurs concerne
le paradigme du suivi du tuteur. D’une part, certains
participants ont préféré rester «à l’intérieur» de l’avatar
du tuteur et reproduire ses gestes de manière synchrone.
Cela leur permettait d’avoir une vue en première
personne des gestes à effectuer. D’autre part, d’autres
participants préféraient rester à l’écart de l’avatar du
tuteur. Ils ont expliqué qu’ils préféraient cette vue à la
troisième personne car ils se sentaient mal à l’aise à
l’idée d’entrer en collision avec un humanoïde virtuel.

P34
Cet effet avait déjà été observé dans une étude
précédente [27]. Deux lignes directrices peuvent être
extraites de ces observations :
• Il est important de laisser les utilisateurs choisir
entre une vue à la première personne et à la troisième
personne de l’avatar de l’utilisateur distant.
• Les avatars conscients de l’espace et évitant les
«collisions» avec les humains peuvent augmenter le
confort de certains utilisateurs.
Plus généralement, Cao et al. suggèrent de suivre une
conception adaptée à l’utilisateur pour le tutorat [12]. En
plus d’avoir un avatar conscient des mouvements des
utilisateurs, cela signifie également adapter le contenu
de la RA à l’activité des utilisateurs. Par exemple, un
avatar de tuteur enregistré pourrait n’être actif que
lorsque les travailleurs le regardent afin de ne pas
perturber leur attention.
Bien sûr, les cas classiques d’assistance à distance sont
un peu différents puisque les utilisateurs des deux côtés
travaillent souvent de manière synchrone.
Les avatars sont utiles pour représenter un
utilisateur distant dans la RM. Ils peuvent
augmenter les performances et la présence sociale
tout en réduisant la charge cognitive subjective.
Cependant, leur taille et leur niveau de détails
visuels doivent être soigneusement étudiés pour
limiter l’occlusion visuelle. La réactivité à l’activité
des utilisateurs est également importante.
Les vues à la première et à la troisième personne de
l’avatar de l’utilisateur distant peuvent être utiles,
selon les utilisateurs.
Type de tâche Représentation à considérer Raisons
Local Uniquement le contenu utile en RA,
pas d’avatar
L’avatar n’apporte que peu ou pas d’avantages.
Meilleures performances et confort sans avatar.
Coordination
corporelle
Avatar complet Présence sociale accrue.
Dans l’espace Avatar à mi-corps Occultation visuelle limitée.
Préféré globalement
Occultation visuelle limitée.
Préféré globalement
Global Avatar à mi-corps
Néanmoins, la plupart des conclusions de cet article
peuvent être généralisées à d’autres contextes de
coopération ou collaboration à distance en RM.
Tableau 7 : Résumé des représentations visuelles à considérer en fonction du type de tâche à réaliser.

P35
MINI-ME: AJOUTER un avatar
miniature et adaptatif
Article : Piumsomboon, T. et al. 2018. Mini-Me:
An Adaptive Avatar for Mixed Reality Remote
Collaboration. Proceedings of the 2018 CHI Conference
on Human Factors in Computing Systems (Montreal
QC Canada, Apr. 2018), 1–13.
La réalité mixte permet d’explorer de nombreuses
dimensions et de nouveaux concepts pour le travail de
groupe et l’assistance à distance, notamment la mise à
l’échelle. La mise à l’échelle des objets virtuels permet
de les agrandir pour voir des détails spécifiques ou de
les rétrécir pour éviter qu’ils n’occupent trop d’espace.
Dans la RV et la RA, la mise à l’échelle des objets
virtuels est désormais simple et disponible nativement
dans les systèmes existants. Dans certains cas, un
environnement entier peut être mis à l’échelle, par
exemple pour obtenir un monde en miniature (WIM)
[14]. De manière plus exotique, il est également possible
de modifier l’échelle des utilisateurs. Cela peut donner
la même impression que d’avoir un WIM si l’utilisateur
devient gigantesque par rapport à l’environnement. Ou,
au contraire, la RM peut être utilisée pour transformer
l’utilisateur en l’équivalent d’AntMan, perdu dans un
monde beaucoup plus grand que d’habitude.
Thammathip Piumsomboon, un chercheur en IHM
travaillant sur les technologies immersives et l’IA, a
proposé plusieurs études construites autour de ces
concepts de différentes échelles dans la RM. L’article
présenté dans ce chapitre, Mini-Me, explore un concept
novateur : l’ajout d’un deuxième avatar miniature
pour compléter le traditionnel avatar à taille humaine.
L’utilisateur distant dans la RV est ainsi représenté par
deux avatars ayant une échelle, un emplacement et
une orientation différents. L’avatar Mini-Me reflète la
direction du regard et les gestes de l’utilisateur distant et
reste dans le champ de vision de l’utilisateur local. Une
vue d’ensemble du système est disponible à la Figure
20.
Au lieu de jouer sur la quantité de détails visibles
de l’avatar comme dans le chapitre précédent [12],
Piumsomboon et al. jouent donc sur sa duplication et sa
taille [46]. Cette approche est un compromis intéressant
entre augmenter le sentiment de présence sociale sans
créer trop d’occultation visuelle.
Figure 20 : Vue d’ensemble du système Mini-Me [46]. L’utilisateur local en RA peut voir deux avatars véhiculant l’activité de
l’utilisateur distant : un avatar de taille humaine et un avatar miniature. Image fournie par courtoisie des auteurs..

Figure 21 : Différentes échelles de l’utilisateur distant en RV. a) Utilisateur RV réduit, voyant l’utilisateur RA (femme) comme
un géant. b) Comment l’utilisateur AR voit l’utilisateur distant miniaturisé (petit avatar à l’intérieur du dôme). c) Utilisateur RV
(homme) à l’échelle d’un géant. Image reproduite avec l’aimable autorisation des auteurs [46].
Néanmoins, le système permet à l’utilisateur distant en
RV d’augmenter ou de diminuer sa taille pour explorer
l’environnement d’un point de vue différent, comme le
montre la figure 21. Les auteurs ont donc appliqué un
nuancier spécifique (toon shader) à l’avatar Mini-Me
pour qu’il se distingue davantage de l’avatar principal.
Un indicateur en forme d’anneau est également
affiché autour des pieds du Mini-Me et pour indiquer
la direction de l’utilisateur RV. Ce retour d’information
supplémentaire semble particulièrement utile dans ce
type de configuration car l’utilisateur en RV peut se
déplacer par téléportation.
Les auteurs ont également pris en compte la taille et
le positionnement de l’avatar Mini-Me dans le champ
visuel de l’utilisateur local. Le fait de toujours placer
l’avatar miniature en face du regard de l’utilisateur
était trop distrayant. Le placer sur un côté de l’écran du
casque était mieux, mais créait toujours une occultation
visuelle importante. Par conséquent, Piumsomboon et
al. ont effectué une troisième itération de conception.
Dans cette version finale, l’échelle de l’avatar Mini-Me
est adaptée dynamiquement en tenant compte de la
distance qui le sépare de l’utilisateur en RA. En outre, la
surface sur laquelle le regard de l’utilisateur est projeté
influe également sur l’avatar miniature. Par exemple,
si l’utilisateur regarde une table, le Mini-Me apparaîtra
comme s’il était debout sur celle-ci.
LE SAVIEZ-VOUS ?
L’incarnation à distance est un type d’indices
d’activité basés sur des représentations d’états
physiques. Ils transmettent des informations
corporelles telles que l’emplacement, la pose et la
cinématique. Les avatars sont l’une des approches
les plus courantes de l’incarnation à distance, mais
ils ne doivent pas nécessairement représenter
le corps entier. Par exemple, Eckhoff et al. ont
proposé un pipeline pour extraire les gestes de la
main du tuteur sur une vidéo de premiers soins et
pour afficher les mains correspondantes en RA sur
un mannequin d’entraînement [17].
7.1 Conception du système Mini-Me
Les auteurs commencent par motiver leur travail :
ils affirment que le travail de groupe en RM entre
utilisateurs de RA et de RV pourrait devenir courant à
l’avenir. Leur système est donc conçu pour un utilisateur
local en RA avec le casque Hololens et un utilisateur
distant en RV. Les deux utilisateurs partagent l’espace
de travail car le système vise des scénarios à l’échelle
de la pièce. Mini-Me s’appuie sur des travaux antérieurs
concernant l’incarnation à distance et la miniaturisation
de l’utilisateur. Piumsomboon et al. ont identifié plusieurs
problèmes et besoins liés au travail de groupe en RM
et les ont utilisés pour guider la conception de leur
système. Nous avons déjà mentionné certains de ces
problèmes : la taille limitée du champ visuel augmenté
dans les casques actuels, la nécessité de partager des
indices de communication non verbale ou de connaître
l’emplacement des utilisateurs distants.
Cependant, les auteurs ont également identifié d’autres
exigences comme le besoin de transitions lorsqu’un
avatar devient visible pour les utilisateurs ou lorsqu’il
disparaît. L’objectif est de respecter les conventions
sociales pour éviter de déranger les utilisateurs.
Entrer ou sortir gracieusement du champ de vision de
l’utilisateur ? Oui. Des jumpscares ? Non merci. Les
auteurs ont donc ajouté une aura bleue autour de l’avatar
miniature (voir Figure 20). Cette aura indique à l’avance
la proximité de l’avatar. Alors que l’intention première
des auteurs était d’utiliser ce halo uniquement lorsque
l’avatar entre ou sort du champ de vision de l’utilisateur,
ils se sont rendu compte qu’un tel effet visuel temporaire
était surtout perturbant pour les participants. Ils ont
donc transformé l’aura initiale transitoire en un repère
visuel permanent.
Une autre exigence spécifique concerne la capacité de
différencier facilement les deux avatars de l’utilisateur
distant. Dans un scénario classique, la différence de
taille entre les deux serait un indicateur fiable pour
l’utilisateur local.

Livre Blanc : Assistance à distance en Réalité Mixte

Livre Blanc : Assistance à distance en Réalité Mixte

Recommandé

Recommandé

Contenu connexe

Similaire à Livre Blanc : Assistance à distance en Réalité Mixte

Similaire à Livre Blanc : Assistance à distance en Réalité Mixte (20)

Livre Blanc : Assistance à distance en Réalité Mixte