MEZE.sansonnet.pptx

Agents
Conversationnels
Animés
Jean-Paul Sansonnet
LIMSI-CNRS ― jps@limsi.fr
Taxinomie ― Problématique ― Applications

J-P Sansonnet ― Mèze, avril 07 2
1. Taxinomie
2. Têtes Parlantes
3. Agents Gestuels
4. Evaluation
5. Agents Conversationnels
6. Communautés Mixtes
7. Agents Assistants

Terminologie
ACA veut dire « Agent Conversationnel Animé » qui correspond au terme anglo-saxon ECA
pour « Embodied Conversational Agent », c’est-à-dire « ayant une apparence ».
Agent
Raisonnement
symbolique
Conversationnel
Interaction
multimodale
Animé
Personnification
(Embodiment)
Attentifs
(Awareness)
Rationnels
(Artificial Intelligence)
Expressifs
(Emotions)
Agents La Cantoche™ Aibot Sony™
Multimodalité
- Interface graphique
- Langue naturelle (écrite/orale)
- Interface haptique, …
Boucle d’interaction avec l’usager
Microsoft™
Icônes Personnages Virtuels Robots

Rôles des agents
Le domaine applicatif général des ACA est celui des personnages virtuels interactifs, placés
dans des environnements médiatisés, qui peuvent jouer trois rôles principaux :
Assistants pour accueillir les utilisateurs et les aider à comprendre et à
utiliser la structure et le fonctionnement d’applications et de
services informatiques
Partenaires des acteurs dans des environnements virtuels : partenaire ou
adversaire de jeu, participant dans les systèmes de conception
participative, membre d’une communauté mixte, …
Tuteurs des apprenants dans les Environnements Interactifs
d’Apprentissage Humain (EIAH), ou des patients dans les
systèmes de suivi psychologique/pathologique, …

Quelques phénotypes …

Trois classes de personnages virtuels
Têtes Parlantes
Fixes – Réalistes
Expressions – LipSynch
Emotions
Agents Gestuels
Fixes/survolants – Bras mobiles
Dialogue – Déictique – LSF
Tutorat – Assistance
Agents In Situ
Personnages complets mobiles
Réalité Virtuelle et Augmentée
Training – Action
GRETA (Pélachaud Paris 8) STEVE (Rickel et al USC) VTE (Gratch et al USC)

Trois espaces de déploiement
©
CANAL+
APPLICATIONS PAGES WEB AMBIANT
Education
Aide
en
ligne
Communités
mixtes
Accueil
Réalité
Virtuelle
Smart
Objects
FILMS JEUX VIDEO PUBLICITE

Deux grandes problématiques scientifiques
1. Modèles d’Humains : Pertinence écologique des modèles
 Capture
 Reproduction
 Evaluation
 Application
2. Modèles d’Agents : Performance interactionnelle des modèles
 Modèles d’interaction avec les usagers : Multimodalité, Dialogue H/M
 Modèles d’agents cognitifs : Logique BDI, logiques d’émotions, Décision
 Modèles de tâche et d’usager : Représentation et Raisonnement symboliques
de la physiologie
des expressions
des comportements
des humains

Communautés scientifiques concernées
La problématique ACA, est pluridisciplinaire entre deux communautés :
Informatique et Sciences de l’homme et de la Société
 Informatique et TALN (Traitement Automatique de la Langue Naturelle)
– SMA : Systèmes multi-agents
– IHM : Interaction/Interfaces Humain-Machine
– DHM : Dialogue Homme-Machine
 Sciences de l’Homme et de la Société
– PIL : Psychologie des Interactions langagières
– PE : Psychologie ergonomique

Réseau européen sur les émotions
http://emotion-research.net

Le GT ACA

J-P Sansonnet ― Mèze, avril 07
1. Taxinomie
2. Têtes Parlantes
3. Agents Gestuels
4. Evaluation
12

Les têtes
Nikita by Kozaburo © 2002
Done with Poser 5 / No Postwork
Model: DAZ-3D Victoria-3
Skin Texture:Mec4D
Concours de beauté pour Agents
Conversationnels :
www.missdigitalworld.com

Modèle face-profil à base de “billes”
Transparent extrait de l’exposé de G. Bailly et F. Elisey au GT ACA le15 mars 2006 au LIP6
Disponible en ligne à : http://www.limsi.fr/aca/

Agents réalistes 3D : étude de “visèmes” à l’ICP

Etude des transitions entre expressions

Annotation de comportements multi-modaux : ANVIL
Outil ANVIL

Des annotations aux animations
Vidéo
originelle
Colère Désespoir
C. Pélachaud Paris 8 et J-C Martin LIMSI
GRETA

1. Taxinomie
2. Têtes Parlantes
3. Agents Gestuels
4. Evaluation

Déictique : définition
Définitions (McNeill 05)
 Deixis est un dérivé du Grec “deiknunai” qui signifie “montrer”
 Le pointage est un geste utilisé pour réorienter l’attention d’une autre personne de manière à
ce qu’un objet devienne un point d’attention partagé (Butterworth 03).
 Pointages concrets (indique des objets et des événements dans le monde) ou pointages
abstraits (ex: indique une division métaphorique de l’espace ; est utilisé pour créer une
nouvelle référence)
Forme
 Prototypiquement aux USA main avec index étendu (“G”)
 Peut impliquer deux doigts, la main entière, le regard, les lèvres et toute partie du corps
(tête, nez, coude … ) ou objet tenu dans la main
 Différences culturelles
Fonctions multiples
 Un geste peut avoir plusieurs composantes
en même temps, par ex : déictique, icônique. …
(Kendon 04)
(McNeill 05)

Graphismes LEA : Agents 2D-cartoon
Agents LEA du LIMSI
• Agents développés par Jean-Claude Martin dans le cadre du projet IST-NICE
• Réalisation d’un atelier permettant de construire des ACA multimodaux
• Intégrable facilement dans des applications Java ou JavaScript (Web)
• Graphique : personnages 2D de type cartoon (110 fichiers Gif créés par Christophe Rendu)
• Langage de description des comportements de haut niveau
Lea Marco Jules Génie

Graphismes LEA : expressivité gestuelle
deictiques
icôniques adaptateurs emblèmes
etc. …
etc. …
Graphisme
Ch.
Rendu
Fichiers .GIF transparents

Spécification des poses et animations en XML
<?xml version='1.0' encoding='utf-8'?>
<configurationsequence nbrconfig="1">
<configuration>
<timecode>10</timecode>
<body>front</body>
<head>front</head>
<eyes>open happy</eyes>
<gaze>middle</gaze>
<facialExpression>close </facialExpression>
<bothArms>null</bothArms>
<leftArm>hello</leftArm>
<rightArm>hip</rightArm>
<speech>Hello!</speech>
</configuration>
</configurationsequence>
Nombre de
configuration = pose
Une
pose

Déictique dynamique
Table
:
Frédéric
Vernier
LIMSI-CNRS

Désignation d’objets du DOM
GLA-TEK-ZIM
KUB-OLO-ZIM

Avatars signants
1. Définition
– LSF : Langue des Signes Française
– Loi sur le handicap en février 2005 : LSF reconnue comme langue
– Avatar signant : Personnage virtuel produisant des énoncés en LS(F)
2. Multilinéarité
– Regard
– Mimique
– Tête
– Buste
– Mains/bras
genre discursif, interaction
valeurs modales, aspectuelles, qualifiante, quantifiante
maintien du contact phatique
marqueur thématique et de frontières syntaxiques
paramètres porteurs de sens
3. Utilisation pertinente de l’espace/temps
– Langue spatio-temporelle
– Espace de signation : semi-sphère placée devant le signeur
– Structuration spatio-temporelle de l’énoncé
– Personnages, choses, notions, évènements organisés dans cet espace
– Ordre des signes moins important que leur arrangement dans l'espace
P.
Dalle
IRIT-TCI,
Workshop
“ACA
et
geste”,
ENSAM,
Paris,
7
mars
07

De l’analyse à la production des signes
A. Braffort, LIMSI-CNRS, Workshop “ACA et geste”, ENSAM, Paris, 7 mars 07
Patrice DALLE, IRIT

Génération d’unités gestuelles
A. Braffort, M. Filhol, LIMSI-CNRS, Workshop “ACA et geste”, ENSAM, Paris, 7 mars 07

1. Taxinomie
2. Têtes Parlantes
3. Agents Gestuels
4. Evaluation

Cinq critères d’évaluation
La Psychologie - Ergonomie des Interactions (PEI) a pour objet d’étude les phénomènes d’interaction
entre les usagers et les systèmes. Pour une tâche donnée et pour une fonction donnée (logicielle et/ou
matérielle) la PEI élabore des expériences qui permettent d’évaluer l’influence de la présence (ou de
l’absence) de cette fonction sur la relation usager – système, ceci selon cinq critères principaux :
Efficacité
(efficiency)
mesure de la performance effective du couple usager- agent
dans l’accomplissement de la tâche.
Utilisabilité
(usability)
facilité et capacité effective qu’a l’usager à bien comprendre
comment fonctionne le système et donc à bien le
commander.
Familiarité
(user-friendliness)
est le « sentiment » qu’a l’usager que le système est
agréable à utiliser (attrait, engagement, esthétique, confort).
Crédibilité
(believability)
est le « sentiment » qu’a l’usager que le l’agent peut
comprendre ses problèmes et qu’il peut l’aider.
Confiance
(trust)
est le « sentiment » qu’a l’usager que l’agent se comporte
comme une entité amicale et coopérative.
Objectif
Subjectif

Rapport réalisme/familiarité
%
Familiarité
Jouet
Vallée
mystérieuse
Marionnette
Bunraku
100 similitude
Masahito Mori, Institut Robotique de Tokyo in Jasia Reicardt, “Robots are coming”, Thames and Hudson Ltd, 1978
3D réalistes
2D cartoon
Eyeballs Humains

AVEC AGENT SANS AGENT
30 Sujets :
15 H & 15 F,
âge  28 ans
Présentation
Avec Agent
Présentation
Sans Agent
Amélioration objective sur les
variables mesurées :
- performance de compréhension
- performance de rappel
- questions subjectives
• Lester et al. (1997). The Persona Effect: Affective impact of Animated Pedagogical Agents. CHI’97.
• van Mulken et al. (1998). The Persona Effect: How substantial is it? HCI’98.
Résultats
Le “Persona Effect” de Lester

Persona effect : impact sur la mémorisation
61 Sujets :
39 H, 22 F
Performance objective :
Rappel mémoriel des histoires
Evaluation subjective :
Questionnaire d’anthropomorphisme
Exemple : “J’ai trouvé l’agent sensible”, etc.
Expérience : On raconte des petites histoires à des sujets selon trois
situations (pas d’agent, agent réaliste, agent cartoon). Ensuite, on pose
des questions aux sujet sur l’histoire et on compare les résultats entre
les trois situations.
Résultats : La présence d’un Agent Conversationnel Animé améliore la
mémorisation des informations.
Beun et al. (2003). Embodied conversational agents: Effects on memory performance and
anthropomorphisation. IVA’03.
Ik ben Annita, de assisterent
bj dit experiment
Agent réaliste
Pas d’agent
Agent cartoon

Expériences de présentation de fonctions
Trois agents différents :
– Deux hommes (Marco, Jules) , ayant des habits différents
– Une femme (Léa)
Trois stratégies de coopération :
– Redondance (Red)
– Complémentarité (Comp)
– Spécialisation (Spé)
Trois objets à présenter :
– Télécommande de magnétoscope (TVc)
– Panneau de photocopieuse (Pht)
– Application informatique de conception graphique (Log)
Lea Marco
Jules
33 = 27 expés
Stéphanie Buisine, LIMSI 2004

Résultats d’évaluation
Qualité de l’explication
- Pas d’effet de l’apparence (look)
- Effet du comportement multimodal :
– Il y a une différenciation
– Les agents redondants sont préférés
Impact sur le genre de l’utilisateur
- Les hommes réagissent de manière différenciée et
préfèrent les agents redondants,
-Les femmes ne réagissent pas de manière
différenciée.
1
1,5
2
2,5
3
Redundant Complementary Specialized
Quality
of
explanation
1
1,5
2
2,5
3
Redundant Complementary Specialized
Quality
of
explanation
Males
Females
Sympathie
- Pas d’effet du comportement multimodal
- Effet de l’apparence :
> >
Performance
- Même effet que pour l’apparence.
-Mais aucune corrélation entre sympathie et
performance.
Stéphanie Buisine, LIMSI 2004

Agent réaliste
réalisé avec
Poser 5 d’après
le codage des
émotions de
Ekman, 2003
Dialogue qui nécessite un
raisonnement pragmatique
Une des 3 affirmations correspond à une
interprétation littérale incorrecte du dialogue
L’expressions affichée
correspond à la réplique
sélectionnée
Etudes sur l’autisme : corrélation textuelle-faciale
Tiré de la thèse de Ouriel Grynspan LIMSI-CNRS 2004. Directeur J-C Martin

1. Taxinomie
2. Têtes Parlantes
3. Agents Gestuels
4. Evaluation

Typologie des Agents Conversationnels
Textuels / GUI Incarnés / Animés
Non langagiers • Aides contextuelles : pop ups, bulles
•Manuels en ligne : navigation
hypertextuelle
•Assistants de procédure à arbre de
décision
•Afficheurs d’états :
émotions, emotes
Langagiers
unidirectionnels
ENTREE
•Champs de requêtes incorporés
dans une fenêtre d’application : mots-
clés, questions libres
SORTIE
• Présentateurs de
fonctionnalités (sortie)
Conversationnels
(langagiers
bidirectionnels)
• Chat bots : Eliza
• Assistants dialogiques : InterViews,
Daft, Artemis, …
•Médiateurs : agissant en
lieu et place d’une application
ou d’un service
•Avatars : « masquant »
d’autres humains

Test de Turing : Intelligence conversationnelle
The Turing Test was introduced by Alan M. Turing (1912-1954) as
"the imitation game" in his 1950 article “Computing Machinery and
Intelligence” (Mind, Vol. 59, No. 236, pp. 433-460) which he so
boldly began by the following sentence:
I propose to consider the question "Can machines think?" This
should begin with definitions of the meaning of the terms
"machine" and "think."
Turing Test is meant to determine if a computer program has
intelligence. Quoting Turing, the original imitation game can be
described as follows:
The new form of the problem can be described in terms
of a game which we call the "imitation game." It is
played with three people, a man (A), a woman (B), and
an interrogator (C) who may be of either sex. The
interrogator stays in a room apart from the other two.
The object of the game for the interrogator is to
determine which of the other two is the man and which
is the woman. He knows them by labels X and Y, and at
the end of the game he says either "X is A and Y is B"
or "X is B and Y is A." The interrogator is allowed to
put questions to A and B.

La référence des chatbots : A. L. I. C. E.
Author: Richard S. Wallace
Website: http://www.alicebot.org
Documentation : http://alicebot.org/TR/2001/WD-aiml-1.0.1-20011025-006.html

Jabberwacky wins the Loebner Prize 2005
Jabberwacky entry to the Loebner Prize 2005.
Judge connected to local Jabberwacky.
….
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
Hello, my name is George and I am the human.
Hi George, cslkjslw weicmslw weos, right?
Don't repeat your name, csthiang!
If lsjkel lwehlx wouldn't you say?
No, he's still good.
Who.
You and me.
If you are human, tell me which is larger, a salt crystal or the
Empire State Building.
It's caring about another person's well being more than your
own.
What if I care about another person's well being more than I
PROGRAM:
JUDGE:
should?
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
question.
PROGRAM:
JUDGE:
How would you do that?
Which is further away from us, Queens or Inner Mongolia?
HA! HA! That was stupid. Tell me a GOOD joke this time.
You say you are human but you can't answer a simple
Because I am alive.
You are not following the rules. You are supposed to
convince me that you are a human, not convince me that you
are mysterious.
I can't very well convince one lacking a mind, can I?
It isn't my mind that is in question, it is yours!
No my name is not katie.
Which is larger, your brain or Belgium?
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PPROGRAM
JUDGE:
ROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
Oh the one on the far left without a doubt.
Francais.
Yes do you speak it?
Francais.
Francais?
Francais.
O well I don't speak french.
Who.
Mine.
The ljwli is what we want, right? PROGRAM: I can not do it right now
because I m talking to you a million miles away.
What do you think the ljwli.
Depends on the person.
But the ljwli.
So they can chuck more wood?
Chuck more wood, isn't it?
Good thing I didn't use it as one.
IF jlelsielx, right.
God will answer my prayers. Or I'll die. Whichever comes
Could they happen at the same time--if you are praying to die?
They?
God answering your prayers and your dieing. Two things,
Mere creations. Ideals toward which all minds strive.
You are changing the subject instead of answering.
What was the subject?
If you were human, you would know!
That's not true. I could be raised in an envoronment with a different
language.
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:
JUDGE:
PROGRAM:

Exemple de chatbot avec ACA
Sur la page de démos de J-P.
Sansonnet on trouve plusieurs
exemples de Chat bots en ligne,
utilisant la technologie Microsoft Agent.
Microsoft Agents©
Parmi ces démos, certaines font
intervenir des agents conversationnels
animés. Elles fonctionnent en mode
client et sont développées en
JavaScript 1.5 pour IE.6. Elles
nécessitent toutefois une connexion
avec le site MSagent de Microsoft. Elles
fonctionnent en mode ‘keyword’, en
français uniquement. Les agents sont
capables d’exprimer des ‘émotions’ (ou
EMOTES) associées aux phrases qu'ils
prononcent via des animations
spécifiques.
James de La Cantoche
Par exemple, « James », est un ACA
développé par la société « La
Cantoche » sous la technologie
Microsoft Agent et disponible
gratuitement en ligne pour être intégré
dans des applications.
Mode ‘bulle’
Expression de l’EMOTE
« ennui » par une animation :
James lit son journal
Enoncé de
l’usager

OddCast : Site de renseignement médical

La Cantoche : Agents Educatifs
WebSite de « La Cantoche »
Une des applications de « La Cantoche » : L’agent
Laura donne des conseils sur l’économie d’énergie,
sur le site de EDF. Le ‘dialogue’ est très canalisé :
l’agent propose des choix multiples et l’usager
répond en cliquant sur un lien.

Les WebLea bots du LIMSI
La technologie LEA (LIMSI
Embodied Agent a été
développée par Jean-Claude
Martin dans le cadre du projet
européen NICE.
La technologie LEA a servi de
support pour le développement
du toolkit WebLea qui permet
d’installer rapidement des
agents animés de type chat bot
sur des pages ou des sites web.
Outils disponibles en ligne :
- Quatre personnages,
- Moteur de ‘chatbot’ intégré,
- Éditeur de règles de dialogue,
- Éditeur d’animations,
- Gestion de la déictique,
- Exemples d’applications.
J-P Sansonnet [oct. 2005]

1. Taxinomie
2. Têtes Parlantes
3. Agents Gestuels
4. Evaluation

Vers les Mondes Mixtes …
© “Barbarella“, Jean-Claude Forest, Transworld Publishers, 1967, London
YOU’RE PERFECT,
EVEN THE WAY
YOU TALK …
OH! MADAME IS TOO KIND …
I KNOW MY SHORTCOMINGS
… THERE IS SOMETHING A
BIT MECHANICAL ABOUT MY
MOVEMENTS!
DIKTOR,
YOU HAVE
REAL STYLE!

Communautés mixtes
 Métaphore : la réunion
 Définition : Environnement fortement informatisé, intégrant de manière
transparente des sujets humains et des agents artificiels en réunion,
 Communautés Participatives : brainstorm, conception, organisation, décison, …
 Environnement d’Entrainement Virtuels (VTE) : training, simulation, …
 Espaces de déploiement
 Smart Room : lieu physique unique de réalité augmentée permettant de ‘monitorer’
et d’augmenter les échanges,
 Web-based : Environnement de médiation distribués, utilisant de plus en plus les
navigateurs web et la VoIP (ex: Skype).
 Personnages animés
 Avatars : personnages virtuels animés par les sujets humains,
 Agents : personnages virtuels personnifiant des agents artificiels.

Les Avatars Sociaux sur le web
Avatar = Masque ≠ Agent
L’évolution de la communication via le Web a débouché sur la création d’agents
conversationnels sous la forme d’avatars (figures graphiques généralement bi-
dimensionnelles) qui sont des agents médiateurs entre des humains qui
dialoguent à travers des « masques » dans des univers virtuels.
Ces agents peuvent représenter d’autres humains mais aussi des services
comme dans le « deuxième monde » de la société Canal+ (G. Chicoisne 2002).
Fish
Fox
Les avatars ne sont pas forcément anthropomorphiques. Dans cet exemple, deux
humains se rencontrent : ils voient chacun cette même fenêtre montrant eux-
même et l’autre respectivement sous l’apparence d’un pseudo-renard (fox) et
d’un pseudo poisson (fish).
Les environnement de rencontre de type CH2M2 ( Communication Homme-
Homme Médiée par Machine) actuels sont généralement à vocation ludique ou
sociale. Cependant, avec la venue de la réalité Virtuelle de nombreuses nouvelles
applications plus professionnelles sont envisageables dans un futur proche.

Second Life, Kaneva, etc.
Présenté comme un "metaverse" (un méta univers) par le
développeur Linden Lab, Second Life est une simulation
virtuelle de société. Le programme invite à "vivre une
seconde vie", parallèlement à la réalité et vise à recréer
une "utopie artificielle".
5 000 000 d’avatars créés
200 000 visiteurs en permanence
A mi-chemin entre l'espace Web 2.0 (très inspiré d'un
MySpace dédié au multimédia) et le monde virtuel en 3D
(semblable à Second Life), Kaneva se veut un support
communautaire en ligne. Kenava invite donc les
utilisateurs à héberger leur blog sur la plateforme, y
partager des photos, morceaux musicaux et vidéos, mais
aussi à créer un avatar en 3D évoluant dans le monde
virtuel, y acquérir un appartement et le décorer, y faire
les magasins ou rencontrer les autres intervenants dans
les café et théâtres virtuels.

Ateliers de conception d’avatars
Scripts en Python
Les scripts du logiciel Poser de la société Curious
Lab sont écrits dans le langage Python. Ils
permettent de contrôler les avatars et de les
incorporer dans les applications cible.
scene = poser.Scene()
scene.SetDisplayStyle (poser.kDisplayCodeTEXTURESHADED)
head = scene.Actor ("Head")
rightEye = scene.Actor ("rightEye")
leftEye = scene.Actor ("leftEye")
init()
head.SetParameter ("Eyes Surprise", 1)
head.SetParameter ("Brows Raise", 1.3)
head.SetParameter ("Mouth Surprise", 1)
head.SetParameter ("Eyes Wide", 1)
scene.DrawAll()

Projet « Le Deuxième monde »
• Participants
– Société Canal +
– Sylvie Pesty, Guillaume Chicoisne
(laboratoire Leibniz - IMAG – Grenoble).
• Environnement virtuel partagé
– Principe des “communautés virtuelles
mixtes”
– Lieux externes : quartiers de Paris
– Lieux internes (Magasins …)
• Moyens de communication
– Texte (chat)
– Expression corporelle
• Membres de la communauté mixte
– internaute + avatar
– agent animé (embodied agent)
• Activités possibles
– Conversation
– Clubs de rencontres
– Expositions
– Interviews
– Shopping
© CANAL+
Sur le site web expérimental du « deuxième monde » de la société Canal+, Les usagers humains
pouvaient naviguer dans un univers virtuel tridimensionnel depuis chez eux. Ils pouvaient s’y faire
représenter par des avatars et entamer des rencontres conversationnelles avec d’autres usagers
connectés au même moment et représentés eux aussi par des avatars.

Agents mixtes dans le « Deuxième monde »
Agent Conversationnel Animé
Avatars des
« usagers »
© CANAL+
Thèse de Guillaume Chicoisne, LEIBNIZ – Grenoble, Directeur Sylvie Pesty
• Application : Une boutique où un “vendeur virtuel” (en fait un ACA) est chargé de renseigner les usagers.
• Introduction d’agents artificiels (les ACA) dans une communauté virtuelle mixte
• L’ACA vendeur est spécialisé pour le dialogue finalisé de type “consultation d’expert”
• Consultation du vendeur en langue naturelle
• Aide à la formulation du besoin de l’utilisateur (de type “frontal” des moteurs de recherches)
• Utilisation de la Base de Données de films de Canal+
• Utilisation du système de recommandation « Mes Meilleurs Amis » [J-D. Zucker - LIP6]

Interaction sociale multi-agents en univers virtuel
 Environnements d’entrainement mixtes
 Avatars animés par les sujets humains,
 Agents Autonomes Expressifs Dialoguants.
 Tâche : pompiers virtuels
 Reconnaissence de feu,
 Rapport des activités.
 Interaction
 Gestion des émotions,
 Production des gestes,
 Production des expressions faciales,
 Gestion du dialogue en langue naturelle.
+
M. El Jed, N. Pallamin, L. Morales, C. Adam, B. Pavard, IRIT-GRIC, GT ACA, 15 nov 2005 — www.irit.fr/GRIC/VR/

Rôle prééminent de l’indexicalité in situ
L’étude de vidéos a permis de mettre en évidence l’importance des gestes déictiques et les
axes de regard en relation avec les items indexicaux en langue naturelle ( “ici”, “il”,
“maintenant”, …)
M. El Jed, N. Pallamin, L. Morales, C. Adam, B. Pavard, IRIT-GRIC, GT ACA, 15 nov 2005 — www.irit.fr/GRIC/VR/

Ambiant : La « Smart Room » du CLIPS
 Salle « intelligente » équipée de
matériel de capture
– Informatique, tableau tactile,
tablettes graphiques
– Audio, visuel, geste, mouvement
– Électronique, table de conception,
maquette
 Objectifs
– assistance interactive
multimodale
– capture audio, video, textuelle,
mouvement ...
 Domaines
– enseignement
– domotique
– recherche
Jean Caelen, La conception participative : principes et méthodes,
instrumentalisation » CLIPS-IMAG, 2004

1. Taxinomie
2. Têtes Parlantes
3. Agents Gestuels
4. Evaluation

Agent Assistant : définition
« Un Agent Assistant est un outil logiciel capable de répondre à des
requêtes d’assistance issues d’usagers novices au sujet de la structure
statique et du fonctionnement dynamique de composants logiciels ou de
services informatiques »
Usager
Requête
Composant
Agent
Médiateur
personne connaissant peu ou pas le composant (novice)
demande d’aide en langue naturelle (écrite ou orale)
application informatique, service web, dispositif ambiant
assistant, conversationnel, (éventuellement animé)
modèle symbolique de la structure et du fonctionnement
Projet InterViews – février 1999
Suivant Patti Maes MIT, 1994

Agent
Assistant
Usager
novice
Modèle
symbolique
Composant
Agent Assistant : illustration
Requête
???

Contre-exemple : le « Clippie effect »
Les Microsoft Agents
• Agents de type « 2D cartoon »
• Utilisés dans Microsoft Office pour les outils
d’assistance, de recherche etc.
• Utilisables dans les pages web,
• Possibilité de développer ses propres personnages,
• Technologie gratuite
Programmation
• API pour Java et Visual Basic,
• API pour JavaScript et VBScript.
Limites
• Entrées limitées (clics souris, menus),
• Pas de véritable modèle de dialogue,
• Pas de modèle de l’application
• Pas de synchronisation gestes paroles,
• Comportements et Émotions caricaturaux.

Quand parle t-on à une application ?
 Les hommes préfèrent les boutons !
 Pour les applications classiques, les études ergonomiques montrent que :
— La GUI est beaucoup plus directe (facile, rapide) pour commander une application,
— Au contraire, l’utilisation de la langue naturelle fatigue et ennuie les usagers.
 Mais dès que ça va mal …
 Les usagers ne peuvent s’empêcher d’exprimer leur désarroi langagièrement. Qu’ils soient
conscients ou non que la machine peut les « entendre », la frustration est toujours
verbalisée.
 … on se trouve alors dans la pire des situations dialogiques
 Le désarroi de l’usager provient de la dérive cognitive entre le modèle effectivement
implémenté et le modèle de fonctionnement que l’usager s’est construit au fil des
interactions.
 Le désarroi est toujours exprimé dans l’espace mental de l’usager et non en termes de
l’implémentation : les questions sont alors excessivement difficiles à interpréter, c’est-à-
dire à mettre en relation avec les entités et les états internes à l’application !

Exemples de réactions : le « ça »
! ?
– « ça va pas ça ! »
– « ça marche pas ! »
– « non ! pas ça ! »
– « c’est quoi ça !? »
– « je veux ça ! »
Pourquoi ?
– « pourquoi y a ça (ici) ? »
– « pourquoi ça marche pas ? »
– « pourquoi ça s’arrête pas (de faire ça) ? »
– « pourquoi ça fait (pas) ça ? »
– « pourquoi ça fait çà quand je fais ça ? »
Comment ?
– « comment faire (pour faire) ça ? »
– « comment ça marche (dedans) ? »
Quoi – Où - Quand ?
– « c’est quoi ça ? »
– « a quoi ça sert (de faire) ça? »
– « c’est où ça ? »
– « quand est-ce que ça fait ça ? »
– « quand est-ce qu’il faut faire ça ? »
Etats
– « est-ce que c’est ok (ou non)? »
– « est-ce que ça marche (toujours) ? »
– « est-ce que c’est fini ? »
– « est-ce que c’est comme ça ? »
Buts
– « je voudrais ça »
– « je voudrais que ça soit comme ça »
– « je voudrais que ça fasse ça »

Les agents du projet Daft
Agent
Humain
Agent
Logiciel
Agent Modeleur
Agent
Rationnel
Agent
Linguistique
Agent Présenteur
■ Ex em ple : un groupe nominal
§Gboxanalysis@"le tres pe tit bouton rouge"D
GRASP PHASE 1 RULELIST length = 74
GRASP PHASE 2 RULELIST length = 9
FL EX = l e
LE M = l e
PO S = D D
KE Y = TH E@ RD
TY PE = L EM
ID = 542 52
FLEX = tre s
LEM = t re s
POS = R R
KEY = I NT L A R GE @ RD
TYPE = LE M
ID = 5 42 53
FLE X = p et it
LEM = pe ti t
POS = J J
KEY = SI ZE SM A L L@ R D
TYP E = L EM
ID = 542 54
FLEX = bou to n
LEM = b ou t on
POS = N N
KEY = B UT T ON @R D
TYPE = LE M
ID = 54 25 5
FLEX = rou ge
LEM = r ou g e
POS = J J
KEY = R ED @ RD
TYPE = LE M
ID = 54 25 6
HI T : RR : R J = = 8tres , p etit <
FL EX = l e
LE M = l e
PO S = D D
KE Y = TH E@ RD
TY PE = L EM
ID = 542 52
FLEX = pet it
LEM = petit
POS = JJ
KEY = SIZES MALL@ RD
MODE = :
FLEX = t res
LEM = tr es
POS = RR
KEY = IN TLARGE@ RD
TYPE = LEM
ID = 542 53
SETK = 1
TYPE = LEM
ID = 5 4254
FL EX = b o ut o n
LE M = bo ut on
PO S = N N
KE Y = BU TT O N @ RD
TY PE = L EM
ID = 542 55
FL EX = r o ug e
LE M = r o ug e
PO S = J J
KE Y = R E D@ RD
TY PE = L EM
ID = 542 56
HI T : NN : D J N »E J = = 8le , petit , bouton , rouge <
FL EX = b o ut o n
LE M = bo ut on
PO S = N N
KE Y = BU TT O N @ RD
DE T =
FL EX = l e
LE M = l e
PO S = D D
KE Y = T HE @R D
TY PE = L EM
ID = 54 2 52
F LEX = p et i t
L EM = p et i t
P OS = J J
K EY = S IZ E S M ALL @ R D
FLE X = tr e s
LEM = t re s
ATTR = : M OD E = : POS = RR
KEY = I NT L AR G E @ RD
TYP E = LE M
ID = 54 2 5 3
S ET K = 1
T YP E = L EM
I D = 54 2 54
FLE X = ro u ge
LEM = r ou g e
POS = J J
KEY = R ED @ RD
TYP E = LE M
ID = 54 2 5 6
SE TK = 2
TY PE = L EM
ID = 542 55
Σ Hi
Comment je peux …
Hello !
MODEL[
ID[main]
PARTS[
TITLE,
FIELD,
GROUP[
ID[command],
PARTS[
BUTTON,
BUTTON,
BUTTON
]
]
],
USAGE["This
component is …" ]
]
Session
Dialogique
Profil

Agent Rationnel Assistant Daft
Le composant produit
un modèle qui lui est
spécifique
L’usager produit un
modèle d’interaction qui
lui est spécifique
Langage formel de réponses
Langage formel de requêtes
Modèle
d’interaction
- Session dialogique
- Profil usager
- Tâche en cours
Modèle du
composant
- Structure
- Actions
- Processus
Agent assistant
L’agent introspecte les
modèles, raisonne dessus et
peut même les modifier
pour résoudre la requête
Σ Hi
….
« y a combien de boutons? »
ASK[COUNT[REF(BUTTON)]]
TELL[EQUAL[COUNT[REF(BUTTON)]],3]]
« Il y a trois boutons »
….
Loop
1. Lire une requête formelle ;
2. Contextualiser la requête :
- Explorer le modèle d’interaction ;
- Explorer le modèle du composant.
3. Traiter la requête :
- Mettre à jour le modèle d’interaction ;
- Mettre à jour le modèle du composant.
4. Produire la réponse formelle.
Définition
L’agent assistant implémente la
fonction d’assistance :
•Il est constitué d’un ensemble de
règles symboliques qui sont des
heuristiques Hi ;
•Les heuristiques Hi sont canoniques
car elles ne dépendent ni de usagers ni
des composants qu’elles assistent.

Le projet InterViews : View Design Language
Web page of ‘Mike’, a microwave oven controlable online. [N. Sabouret, 2001]
// This applet corresponds to the VDL view
// CocoGraph was defined by: N. Sabouret 2001
view[definition[counter],
value[0],
speed[1],
running[true],
text["Coco the counter"],
H[text[value:],text[get[value]]],
H[text[speed:],text[get[speed]]],
H[text[running:],text[get[running]] ],
H[ button[text[stop]],
button[text[start]],
button[text[+]],
button[text[-]] ],
count[guard[get[running]],
put[path[value], plus[get[value],get[speed]]] ],
stop[event[stop,clic[stop]],put[path[running],false]],
start[event[start,clic[start]],
put[path[running], true]],
"speed up"[event[fast,+,clic[+]],
put[path[speed],plus[get[speed],1]] ],
"slow down"[event[slow,-,clic[-]],
put[path[speed],plus[get[speed],-1]] ]
]

Dialogisation de composants Java
Voici …
Cadre GUI standard
pouvant “embarquer”
divers applets codées
en Java.
Composant “Counter”
Composant “Hanoi”
Composant “ AMI web site”
… etc. …
LEA
counter
Synthèse de parole : Elan Speech
Agent Animé LEA développé en
Java par J-C Martin & S. Abrilian
Interface Java d’agent conversationnel assistant : DaftLea (K. LeGuern 2004)

Traitement d’une requête DAFT
« relance le compteur »
L’usager tape « relance le compteur » dans la boite dialogique, aussitôt il
voit que :
- le nombre passe à à 8, 10, 12, 14 …
- l’agent dit « voilà »
- l’agent exprime l’emote : ACKNOWLEDGE
Voilà !
1)L’objet représentant le concept de « application » est sélectionné
(cadre rouge global)
2) c’est lui qui ‘dispatche’ l’ordre de relance au bon objet (la valeur de
« running » passe à True (soit vert).
3)Un événement de mise à jour est envoyé au composant qui lui aussi
modifie son état et le processus de comptage repart avec une vitesse 2
4)Deux ordres SPEAK(« voilà ») + EMOTE(ACKNOWLEDGE) sont envoyés
à l’agent qui les exprime.
1
2
3
4

DaftSwing : Widgets dialogisés
MathLea : un toolkit Mathematica capable d’engendrer des GUI Java à partir d’un modèle symbolique,
DaftSwing : une librairie de 30 widgets issus du package Java Swing qui ont été « dialogisés »,
DaftLea : utilisation du moteur dialogique développé par J-P Sansonnet dans le cadre de DaftLea
Fenêtre Java générée par Mathematica [D. Leray, juin 2005]

Conclusion :
rejoignez le
GT ACA !

MEZE.sansonnet.pptx

Recommandé

Recommandé

Contenu connexe

Similaire à MEZE.sansonnet.pptx

Similaire à MEZE.sansonnet.pptx (20)

Dernier

Dernier (15)

MEZE.sansonnet.pptx