Conception et évaluation de nouvelles 
techniques d’interaction gestuelle pour la 
télévision interactive 
Thèse encadrée ...
Qu’est-ce que la télévision interactive ? 
2 
2
Qu’est-ce que la télévision interactive ? 
3 
3
Qu’est-ce que la télévision interactive ? 
4 
4
La télécommande du futur ? 
5 
5
Des menus complexes 
6 
6
Approche 
• Surface des télécommandes 
limité 
• Services interactifs de plus en 
plus nombreux 
• Eviter d’accaparer l’at...
Approche 
• Surface des télécommandes 
limité 
• Services interactifs de plus en 
plus nombreux 
• Eviter d’accaparer l’at...
Plan de la présentation 
1. Espace de classification des télécommandes 
2. Espace de classification du geste de la main 
3...
Plan de la présentation 
1. Espace de classification des télécommandes 
2. Espace de classification du geste de la main 
3...
1. Espace de caractérisation de la télécommande 
• De nombreux travaux ont tenté d’améliorer la 
télécommande 
11 
11
1. 1. Type des télécommandes 
12 
Dédiée 
Non 
Dédiée 
12
1. 1. Type des télécommandes 
13 
Dédiée 
Non 
Dédiée 
Traditionnelle 
Augmentée 
Tangible 
Dématérialisée 
13
1. 1. Type des télécommandes 
14 
Dédiée 
Non 
Dédiée 
Traditionnelle 
Augmentée 
Tangible 
Dématérialisée GesText [Jones ...
1. 1. Type des télécommandes 
15 
Dédiée 
Non 
Dédiée 
Traditionnelle 
Augmentée 
Tangible 
Dématérialisée 
[Block et al.,...
1. 1. Type des télécommandes 
16 
Dédiée 
Non 
Dédiée 
Traditionnelle 
Augmentée 
Tangible 
Dématérialisée 
[Bailly et al....
1. 1. Type des télécommandes 
17 
Dédiée 
Non 
Dédiée 
Traditionnelle 
Augmentée 
Tangible 
Dématérialisée 
Compagnon 
Obj...
1. 1. Type des télécommandes 
18 
Dédiée 
Non 
Dédiée 
Traditionnelle 
Augmentée 
Tangible 
Dématérialisée 
Compagnon 
Obj...
1. 1. Type des télécommandes 
19 
Dédiée 
Non 
Dédiée 
Traditionnelle 
Augmentée 
Tangible 
Dématérialisée 
Compagnon 
Obj...
Plan de la présentation 
1. Espace de classification des télécommandes 
2. Espace de classification du geste de la main 
3...
2. Espace de classification du geste 
21 
Type d’interaction 
Fonction 
Anatomie 
Combinaison 
Contexte 
21
2. Espace de classification du geste 
22 
Type d’interaction Surface 
Geste en l’air 
Non instrumenté Instrumenté 
22
2. Espace de classification du geste 
23 
Type d’interaction Surface 
Geste en l’air 
Non instrumenté Instrumenté 
23
2. Espace de classification du geste 
24 
Type d’interaction 
Fonction 
Anatomie 
Combinaison 
Contexte 
Epistémique 
Ergo...
2. Espace de classification du geste 
25 
Type d’interaction 
Fonction 
Anatomie 
Combinaison 
Contexte 
Epistémique 
Ergo...
2. Espace de classification du geste 
26 
Type d’interaction 
Fonction 
Anatomie 
Combinaison 
Contexte 
Epistémique 
Ergo...
2. Espace de classification du geste 
27 
Type d’interaction 
Fonction 
Anatomie 
Combinaison 
Contexte 
Délimiteur 
Traje...
2. Espace de classification du geste 
28 
Type d’interaction 
Fonction 
Anatomie 
Combinaison 
Contexte 
Séquentielle 
[Ru...
2. Espace de classification du geste 
29 
Type d’interaction 
Fonction 
Anatomie 
Combinaison 
Contexte 
Mécanique 
Percep...
Plan de la présentation 
1. Espace de classification des télécommandes 
2. Espace de classification du geste de la main 
3...
3. Interaction gestuelle avec télécommande 
31 
? 
31
32 
3.1. Six degrés de liberté 
Lacet 
Tangage 
Z 
Roulis 
X 
Y 
32
• 1 degré de rotation 
• Motion Marking Menus [Oakley et al., 2003] 
33 
Lacet 
X 
3.2. Quels degrés de liberté ? 
33
3.2. Quels degrés de liberté ? 
• 1 degré de liberté 
• Motion Marking Menus [Oakley et al., 2003] 
• 2 degrés de libertés...
• Quels gestes les utilisateurs réalisent spontanément 
pour atteindre une cible sur un écran ? 
35 
3.2. Quels degrés de ...
36 
0 1 2 3 4 5 6 7 8 9 
Smartphone Télécommande 
Nombre de participants 
Tangage & Roulis 
Tangage & Lacet 
Translation s...
37 
0 1 2 3 4 5 6 7 8 9 
Smartphone Télécommande 
Nombre de participants 
Tangage & Roulis 
Tangage & Lacet 
Translation s...
38 
0 1 2 3 4 5 6 7 8 9 
Smartphone Télécommande 
Nombre de participants 
Tangage & Roulis 
Tangage & Lacet 
Translation s...
Lacet 
• Optimiser l’espace 3D ? 
39 
Tangage 
X 
Y 
3.2. Quels degrés de liberté ? 
39
Lacet 
• Optimiser l’espace 3D ? 
40 
3.2. Quels degrés de liberté ? 
Roulis 
Z 
Tangage 
X 
Y 
40
3.3. Exploration de la dimension de roulis 
• Discrétisation de l’amplitude absolue de mouvement 
du poignet avec retour v...
3.3. Exploration de la dimension de roulis 
• Combien d’éléments peuvent contrôler les utilisateurs 
sans retour visuel et...
• Combien d’éléments peuvent contrôler les utilisateurs 
sans retour visuel et sans regarder la télécommande ? 
5 
7 
9 
4...
• Résultats 
• L’amplitude angulaire totale utilisée dépend des participants 
162° 326° 
44 
3.3. Exploration de la dimens...
• Résultats 
• L’amplitude angulaire totale utilisée dépend des participants 
• L’amplitude angulaire totale dépend du nom...
• Reconnaissance des éléments 
• Algorithme des k-PPV 
100 
75 
50 
25 
0 
63,1 
77,1 
87,7 
96,3 
5 élts 7 élts 9 élts 11...
• Reconnaissance des éléments 
• Algorithme des k-PPV 
• Taux très satisfaisant pour 5 élem. 
100 
75 
50 
25 
0 
63,1 
77...
• Reconnaissance des éléments 
• Algorithme des k-PPV 
• Taux très satisfaisant pour 5 élem. 
• Taux insuffisant pour 9 & ...
• Reconnaissance des éléments 
• Algorithme des k-PPV 
• Taux très satisfaisant pour 5 élem. 
• Taux insuffisant pour 9 & ...
• Reconnaissance des éléments 
• Algorithme des k-PPV 
• Taux très satisfaisant pour 5 élem. 
• Taux insuffisant pour 9 & ...
3.3. Menu hiérarchique gestuel à deux niveaux 
• Accès aux commandes 
• Accès à un nombre de commandes suffisant 
• Mode n...
3.4. Conception de nouvelles techniques 
52 
2nd Niveau 
1er Niveau 
52
53 
3.4. Conception de nouvelles techniques 
2nd Niveau 
1er Niveau 
Nombre d’actions 
trop important 
Difficile à réalise...
54 
3.4. Conception de nouvelles techniques 
2nd Niveau 
1er Niveau 
Nombre d’actions 
trop important 
Difficile à réalise...
• Réaliser le couple de gestes qui correspond au stimulus 
55 
3.4. Conception de nouvelles techniques 
55
56 
3.4. Conception de nouvelles techniques 
100,0 
80,0 
60,0 
40,0 
20,0 
0 
Taux moyen de précision par technique 
89,5...
57 
3.4. Conception de nouvelles techniques 
100,0 
80,0 
60,0 
40,0 
20,0 
0 
Taux moyen de précision par technique 
89,5...
3.4. Conception de nouvelles techniques 
• Résultats 
58 
2100 
1575 
1050 
525 
0 
Temps de sélection moyen par technique...
3.4. Conception de nouvelles techniques 
• Résultats 
59 
7 
6 
5 
4 
3 
2 
1 
0 
Rapide 
Précis 
Agréable 
Fatigante 
Sim...
3.4. Conception de nouvelles techniques 
• Résultats 
60 
7 
6 
5 
4 
3 
2 
1 
0 
Rapide 
Précis 
Agréable 
Fatigante 
Sim...
3.4. Conception de nouvelles techniques 
• Résultats 
61 
7 
6 
5 
4 
3 
2 
1 
0 
Rapide 
Précis 
Agréable 
Fatigante 
Sim...
3. Rappel des résultats 
• Expérience 1 
• Rotations avec un dispositif dans la main 
• Télécommande : le tangage et le la...
Plan de la présentation 
1. Espace de classification des télécommandes 
2. Espace de classification du geste de la main 
3...
4. Interaction gestuelle sur le corps 
64 
64
4.1. Travaux antérieurs 
• Essentiellement bras et mains 
65 
[Harrison et al., 2011] [Lin et al., 2011] [Gustafson et al....
• Essentiellement bras et mains 
• Problèmes 
• Parties du corps mobiles 
• Souvent impliquées dans une tâche 
66 
4.1. Tr...
4.1. Travaux antérieurs 
• Essentiellement bras et mains 
• Problèmes 
• Parties du corps mobiles 
• Souvent impliquées da...
68 
4.1. Travaux antérieurs 
«Le sternum pourrait être un 
endroit approprié pour contrôler 
du textile intelligent pendan...
69 
4.1. Travaux antérieurs 
«Le sternum pourrait être un 
endroit approprié pour contrôler 
du textile intelligent pendan...
4.2. Avantages de la surface de l’abdomen 
• Proprioception 
• Relativement large 
• Relativement stable 
• Facilement acc...
Interaction avec l’abdomen ? 
• Comment interagir avec l’abdomen lorsqu’on 
regarde la télévision ? 
71 
71
• La perception spatiale sur la peau [Parson et al., 1987]: 
• Orientation et la position de la surface 
• Représentation ...
• Dessiner le chiffre «deux» sur votre abdomen 
73 
4.3. Interaction sur l’abdomen 
73
• Dessiner le chiffre «deux» sur votre abdomen 
74 
4.3. Interaction sur l’abdomen 
74
4.3. Expérimentation : Principe 
• Faire dessiner sur l’abdomen le stimulus affiché sur un 
écran distant 
75 
75
4.3. Expérimentation : Facteurs 
• Lignes directionnelles 
• Chiffres 
76 
76
• Présentation graphique 
• Présentation textuelle 
77 
4.3. Expérimentation : Facteurs 
Facteurs Graphique Textuel 
Simpl...
4.3. Expérimentation : Facteurs 
• Stimuli de l’expérimentation 
78 
Haut Haut 
Droite 
Droite Bas 
Droite 
Bas Bas 
Gauch...
4.4. Etude 1 : Catégorisation de la représentation 
79 
Inversion gauche-droite 
Inversion haut-bas 79
4.4. Etude 1 : Catégorisation de la représentation 
• Inversion haut-bas 
quasi-constante 
80 
50 % 
40 % 
30 % 
20 % 
10 ...
4.4. Etude 1 : Catégorisation de la représentation 
• Inversion haut-bas 
quasi-constante 
• condition textuelle: 
inversi...
82 
4.4. Etude 1 : Catégorisation de la représentation 
50 % 
40 % 
30 % 
20 % 
10 % 
0 % 
Inversion 
Haut-Bas Gauche-Droi...
• Peu d’inversions haut-bas 
Inversion 
Haut-Bas Gauche-Droite 
83 
4.4. Etude 1 : Catégorisation de la représentation 
50...
• Peu d’inversions haut-bas 
• Pratiquement pas 
d’inversions gauche-droite 
Inversion 
Haut-Bas Gauche-Droite 
84 
4.4. E...
• Peu d’inversions haut-bas 
• Pratiquement pas 
d’inversions gauche-droite 
• Représentation stable 
Inversion 
Haut-Bas ...
4.4. Etude 1 : Catégorisation de la représentation 
• Préférences subjectives 
86 
5 
4 
3 
2 
1 
Facile 
Rapide 
Précis 
...
4.4. Etude 1 : Catégorisation de la représentation 
• Préférences subjectives 
87 
5 
4 
3 
2 
1 
Facile 
Rapide 
Précis 
...
4.4. Etude 1 : Catégorisation de la représentation 
• Préférences subjectives 
88 
5 
4 
3 
2 
1 
Facile 
Rapide 
Précis 
...
• Caractérisation des gestes linéaires 
• Temps d’exécution 
• Amplitude 
• Linéarité 
• Biais directionnel 
89 
4.4. Etud...
• Caractérisation des gestes linéaires 
• De 1 à 1.2 seconde en moyenne 
• De 15 à 20 cm environ en moyenne 
90 
4.4. Etud...
4.4. Etude 2 : Catégorisation des gestes directionnels 
• Linéarité 
• Tracés presque 
linéaires 
• Ouest plus linéaires 
...
! 
"# 
$! 
%&# 
%'! 
((# 
()! 
&%# 
*+,- 
,./-01*+,- 
,./-0 
,./-012*,- 
2*,- 
3.4-012*,- 
3.4-0 
3.4-01*+,- 
Angle moyen ...
Rappel des résultats 
• Représentation spatiale instable pour les chiffres 
• Représentation spatiale stable pour les gest...
Plan de la présentation 
1. Espace de classification des télécommandes 
2. Espace de classification du geste 
3. Interacti...
5. Conclusion et perspectives 
• Contributions 
• Espace de caractérisation de la 
télécommande (IHM 2011) 
• Espace de ca...
5. Conclusion et perspectives 
• Contributions 
• Techniques d’interaction sur l’abdomen 
(soumis à CHI 2014) 
• Représent...
5. Conclusion et perspectives 
• Perspectives 
• Amélioration des techniques d’interaction avec un meilleur 
algorithme 
9...
• Interaction sur l’abdomen : mobilité 
• Micro-interaction [Ashbrook,2010] 
• Interaction qui demande peu d’attention [Hu...
5. Conclusion et perspectives 
• Méthodes d’évaluation ? 
99 
100,0 
80,0 
60,0 
40,0 
20,0 
0 
97,4 98,4 
Taux de précisi...
5. Conclusion et perspectives 
• Méthodes d’évaluation ? 
100 
7 
6 
5 
4 
3 
2 
1 
0 
Rapide 
Précis 
Agréable 
Fatigante...
Questions ? 
101 
? 
101
Prochain SlideShare
Chargement dans…5
×

Conception et évaluation de nouvelles techniques d’interaction gestuelle pour la télévision interactive

459 vues

Publié le

Support de présentation utilisée lors de de la soutenance de thèse.

Publié dans : Sciences
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
459
Sur SlideShare
0
Issues des intégrations
0
Intégrations
3
Actions
Partages
0
Téléchargements
2
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Conception et évaluation de nouvelles techniques d’interaction gestuelle pour la télévision interactive

  1. 1. Conception et évaluation de nouvelles techniques d’interaction gestuelle pour la télévision interactive Thèse encadrée par Eric Lecolinet et Yves Guiard Dong-Bach Vo - 24 Septembre 2013 1
  2. 2. Qu’est-ce que la télévision interactive ? 2 2
  3. 3. Qu’est-ce que la télévision interactive ? 3 3
  4. 4. Qu’est-ce que la télévision interactive ? 4 4
  5. 5. La télécommande du futur ? 5 5
  6. 6. Des menus complexes 6 6
  7. 7. Approche • Surface des télécommandes limité • Services interactifs de plus en plus nombreux • Eviter d’accaparer l’attention visuelle des téléspectateurs 7 7
  8. 8. Approche • Surface des télécommandes limité • Services interactifs de plus en plus nombreux • Eviter d’accaparer l’attention visuelle des téléspectateurs • Augmenter la bande passante interactionnelle • Utiliser l’espace 3D disponible autour de la télécommande? • Utiliser la surface du corps? 8 8
  9. 9. Plan de la présentation 1. Espace de classification des télécommandes 2. Espace de classification du geste de la main 3. Interaction gestuelle avec télécommande 4. Interaction gestuelle sur le corps 5. Conclusion et perspectives 9 9
  10. 10. Plan de la présentation 1. Espace de classification des télécommandes 2. Espace de classification du geste de la main 3. Interaction gestuelle avec télécommande 4. Interaction gestuelle sur le corps 5. Conclusion et perspectives 10 10
  11. 11. 1. Espace de caractérisation de la télécommande • De nombreux travaux ont tenté d’améliorer la télécommande 11 11
  12. 12. 1. 1. Type des télécommandes 12 Dédiée Non Dédiée 12
  13. 13. 1. 1. Type des télécommandes 13 Dédiée Non Dédiée Traditionnelle Augmentée Tangible Dématérialisée 13
  14. 14. 1. 1. Type des télécommandes 14 Dédiée Non Dédiée Traditionnelle Augmentée Tangible Dématérialisée GesText [Jones et al., 2010] 14
  15. 15. 1. 1. Type des télécommandes 15 Dédiée Non Dédiée Traditionnelle Augmentée Tangible Dématérialisée [Block et al., 2004] [Kimman et al., 2011] 15
  16. 16. 1. 1. Type des télécommandes 16 Dédiée Non Dédiée Traditionnelle Augmentée Tangible Dématérialisée [Bailly et al., 2011] [Goto et al., 2003] 16
  17. 17. 1. 1. Type des télécommandes 17 Dédiée Non Dédiée Traditionnelle Augmentée Tangible Dématérialisée Compagnon Objet du quotidien 17
  18. 18. 1. 1. Type des télécommandes 18 Dédiée Non Dédiée Traditionnelle Augmentée Tangible Dématérialisée Compagnon Objet du quotidien [Berglund et al., 2005] 18
  19. 19. 1. 1. Type des télécommandes 19 Dédiée Non Dédiée Traditionnelle Augmentée Tangible Dématérialisée Compagnon Objet du quotidien Gestes 19
  20. 20. Plan de la présentation 1. Espace de classification des télécommandes 2. Espace de classification du geste de la main 3. Interaction gestuelle avec télécommande 4. Interaction gestuelle sur le corps 5. Conclusion et perspectives 20 ? 20
  21. 21. 2. Espace de classification du geste 21 Type d’interaction Fonction Anatomie Combinaison Contexte 21
  22. 22. 2. Espace de classification du geste 22 Type d’interaction Surface Geste en l’air Non instrumenté Instrumenté 22
  23. 23. 2. Espace de classification du geste 23 Type d’interaction Surface Geste en l’air Non instrumenté Instrumenté 23
  24. 24. 2. Espace de classification du geste 24 Type d’interaction Fonction Anatomie Combinaison Contexte Epistémique Ergotique Sémiotique [Casiez et al., 2011] 24
  25. 25. 2. Espace de classification du geste 25 Type d’interaction Fonction Anatomie Combinaison Contexte Epistémique Ergotique Sémiotique [Baglioni et al., 2011] 25
  26. 26. 2. Espace de classification du geste 26 Type d’interaction Fonction Anatomie Combinaison Contexte Epistémique Ergotique Sémiotique [Bailly et al., 2011] [Wilson et Shafer, 2003] 26
  27. 27. 2. Espace de classification du geste 27 Type d’interaction Fonction Anatomie Combinaison Contexte Délimiteur Trajectoire / Forme Orientation Vitesse Accélération 27
  28. 28. 2. Espace de classification du geste 28 Type d’interaction Fonction Anatomie Combinaison Contexte Séquentielle [Ruiz and Li, CHI’2011] Parallèle 28
  29. 29. 2. Espace de classification du geste 29 Type d’interaction Fonction Anatomie Combinaison Contexte Mécanique Perceptif Social 29
  30. 30. Plan de la présentation 1. Espace de classification des télécommandes 2. Espace de classification du geste de la main 3. Interaction gestuelle avec télécommande 4. Interaction gestuelle sur le corps 5. Conclusion et perspectives 30 30
  31. 31. 3. Interaction gestuelle avec télécommande 31 ? 31
  32. 32. 32 3.1. Six degrés de liberté Lacet Tangage Z Roulis X Y 32
  33. 33. • 1 degré de rotation • Motion Marking Menus [Oakley et al., 2003] 33 Lacet X 3.2. Quels degrés de liberté ? 33
  34. 34. 3.2. Quels degrés de liberté ? • 1 degré de liberté • Motion Marking Menus [Oakley et al., 2003] • 2 degrés de libertés • TiltText [Wigdor, 2003] • GesText [Jones et al., 2010] 34 GesText Z X TiltText Roulis Tangage 34
  35. 35. • Quels gestes les utilisateurs réalisent spontanément pour atteindre une cible sur un écran ? 35 3.2. Quels degrés de liberté ? 35
  36. 36. 36 0 1 2 3 4 5 6 7 8 9 Smartphone Télécommande Nombre de participants Tangage & Roulis Tangage & Lacet Translation selon l’axe X & Y 3.2. Quels degrés de liberté ? 36
  37. 37. 37 0 1 2 3 4 5 6 7 8 9 Smartphone Télécommande Nombre de participants Tangage & Roulis Tangage & Lacet Translation selon l’axe X & Y 3.2. Quels degrés de liberté ? Tangage Roulis Z X 37
  38. 38. 38 0 1 2 3 4 5 6 7 8 9 Smartphone Télécommande Nombre de participants Tangage & Roulis Tangage & Lacet Translation selon l’axe X & Y Lacet Tangage X Y 3.2. Quels degrés de liberté ? Tangage Roulis Z X 38
  39. 39. Lacet • Optimiser l’espace 3D ? 39 Tangage X Y 3.2. Quels degrés de liberté ? 39
  40. 40. Lacet • Optimiser l’espace 3D ? 40 3.2. Quels degrés de liberté ? Roulis Z Tangage X Y 40
  41. 41. 3.3. Exploration de la dimension de roulis • Discrétisation de l’amplitude absolue de mouvement du poignet avec retour visuel [Rahman et al. ’09] 41 Z Roulis 16 niveaux 41
  42. 42. 3.3. Exploration de la dimension de roulis • Combien d’éléments peuvent contrôler les utilisateurs sans retour visuel et sans regarder la télécommande ? • But : collecter des mesures d’amplitudes angulaires 42 ? Gauche Droite 42
  43. 43. • Combien d’éléments peuvent contrôler les utilisateurs sans retour visuel et sans regarder la télécommande ? 5 7 9 43 3.3. Exploration de la dimension de roulis Gauche Milieu Droite 11 Facteur : nombre d’éléments à discriminer 43
  44. 44. • Résultats • L’amplitude angulaire totale utilisée dépend des participants 162° 326° 44 3.3. Exploration de la dimension de roulis 7 éléments Minimum Maximum 44
  45. 45. • Résultats • L’amplitude angulaire totale utilisée dépend des participants • L’amplitude angulaire totale dépend du nombre d’éléments à discriminer 45 3.3. Exploration de la dimension de roulis Amplitude angulaire moyenne en degrés 371 318 265 212 159 106 53 0 371 343 306 159 5 élts 7 élts 9 élts 11 élts 45
  46. 46. • Reconnaissance des éléments • Algorithme des k-PPV 100 75 50 25 0 63,1 77,1 87,7 96,3 5 élts 7 élts 9 élts 11 élts Taux de précision (en %) Taux de précision moyen 46 3.3. Exploration de la dimension de roulis 46
  47. 47. • Reconnaissance des éléments • Algorithme des k-PPV • Taux très satisfaisant pour 5 élem. 100 75 50 25 0 63,1 77,1 87,7 96,3 5 élts 7 élts 9 élts 11 élts Taux de précision (en %) Taux de précision moyen 47 3.3. Exploration de la dimension de roulis 47
  48. 48. • Reconnaissance des éléments • Algorithme des k-PPV • Taux très satisfaisant pour 5 élem. • Taux insuffisant pour 9 & 11 élem. 100 75 50 25 0 63,1 77,1 87,7 96,3 5 élts 7 élts 9 élts 11 élts Taux de précision (en %) Taux de précision moyen 48 3.3. Exploration de la dimension de roulis 48
  49. 49. • Reconnaissance des éléments • Algorithme des k-PPV • Taux très satisfaisant pour 5 élem. • Taux insuffisant pour 9 & 11 élem. • 7 éléments à approfondir 100 75 50 25 0 63,1 77,1 87,7 96,3 5 élts 7 élts 9 élts 11 élts Taux de précision (en %) Taux de précision moyen 49 3.3. Exploration de la dimension de roulis 49
  50. 50. • Reconnaissance des éléments • Algorithme des k-PPV • Taux très satisfaisant pour 5 élem. • Taux insuffisant pour 9 & 11 élem. • Taux satisfaisant pour 7 élém. avec reco. intra-utilisateur 100 80 60 40 20 0 96 87,7 7 élem. inter-u 7 élem intra-u Taux de précision (en %) Taux de précision moyen 50 3.3. Exploration de la dimension de roulis 50
  51. 51. 3.3. Menu hiérarchique gestuel à deux niveaux • Accès aux commandes • Accès à un nombre de commandes suffisant • Mode novice et mode expert 51 51
  52. 52. 3.4. Conception de nouvelles techniques 52 2nd Niveau 1er Niveau 52
  53. 53. 53 3.4. Conception de nouvelles techniques 2nd Niveau 1er Niveau Nombre d’actions trop important Difficile à réaliser mécaniquement Résultats décevants Nombre d’actions trop important 53
  54. 54. 54 3.4. Conception de nouvelles techniques 2nd Niveau 1er Niveau Nombre d’actions trop important Difficile à réaliser mécaniquement Résultats décevants Nombre d’actions trop important 54
  55. 55. • Réaliser le couple de gestes qui correspond au stimulus 55 3.4. Conception de nouvelles techniques 55
  56. 56. 56 3.4. Conception de nouvelles techniques 100,0 80,0 60,0 40,0 20,0 0 Taux moyen de précision par technique 89,5 86,8 94,2 97,4 98,4 Taux en % 56
  57. 57. 57 3.4. Conception de nouvelles techniques 100,0 80,0 60,0 40,0 20,0 0 Taux moyen de précision par technique 89,5 86,8 94,2 97,4 98,4 Taux en % 57
  58. 58. 3.4. Conception de nouvelles techniques • Résultats 58 2100 1575 1050 525 0 Temps de sélection moyen par technique 2020 1653 1680 1401 1388 Temps en ms 58
  59. 59. 3.4. Conception de nouvelles techniques • Résultats 59 7 6 5 4 3 2 1 0 Rapide Précis Agréable Fatigante Simple Divertissante Préférences subjectives Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll 59
  60. 60. 3.4. Conception de nouvelles techniques • Résultats 60 7 6 5 4 3 2 1 0 Rapide Précis Agréable Fatigante Simple Divertissante Préférences subjectives Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll 60
  61. 61. 3.4. Conception de nouvelles techniques • Résultats 61 7 6 5 4 3 2 1 0 Rapide Précis Agréable Fatigante Simple Divertissante Préférences subjectives Pad /Pad Pad/P&Y Pad/Roll P&Y/P&Y P&Y / Roll 61
  62. 62. 3. Rappel des résultats • Expérience 1 • Rotations avec un dispositif dans la main • Télécommande : le tangage et le lacet pour interagir avec un écran distant • Roulis : 7 éléments sans regarder l’écran et la télécommande • Expérience 2 • Combinaison boutons directionnels et geste 3D performante 62 62
  63. 63. Plan de la présentation 1. Espace de classification des télécommandes 2. Espace de classification du geste de la main 3. Interaction gestuelle avec télécommande 4. Interaction gestuelle sur le corps 5. Conclusion et perspectives 63 63
  64. 64. 4. Interaction gestuelle sur le corps 64 64
  65. 65. 4.1. Travaux antérieurs • Essentiellement bras et mains 65 [Harrison et al., 2011] [Lin et al., 2011] [Gustafson et al., 2011] [Holz et al., 2012] 65
  66. 66. • Essentiellement bras et mains • Problèmes • Parties du corps mobiles • Souvent impliquées dans une tâche 66 4.1. Travaux antérieurs 66
  67. 67. 4.1. Travaux antérieurs • Essentiellement bras et mains • Problèmes • Parties du corps mobiles • Souvent impliquées dans une tâche 67 «Un endroit approprié pour l’informatique portée devrait être un endroit dont le mouvement et la flexibilité est minime et qui maximise la surface d’interaction.» [Gemperle et al., ISWC’98] 67
  68. 68. 68 4.1. Travaux antérieurs «Le sternum pourrait être un endroit approprié pour contrôler du textile intelligent pendant des activités sportives...» [Karrer et al., CHI’11] 68
  69. 69. 69 4.1. Travaux antérieurs «Le sternum pourrait être un endroit approprié pour contrôler du textile intelligent pendant des activités sportives...» [Karrer et al., CHI’11] «Les cibles sur la partie supérieure du corps étaient préférées [...] et celles sur le torse plus que sur le bras dominant...» [Wagner et al., CHI’13] 69
  70. 70. 4.2. Avantages de la surface de l’abdomen • Proprioception • Relativement large • Relativement stable • Facilement accessible • Repère physique • Intime 70 Thorax Abdomen Tronc 70
  71. 71. Interaction avec l’abdomen ? • Comment interagir avec l’abdomen lorsqu’on regarde la télévision ? 71 71
  72. 72. • La perception spatiale sur la peau [Parson et al., 1987]: • Orientation et la position de la surface • Représentation interne de la gravité • Informations collectées par la surface • Pas de référentiel privilégié pour les parties verticales sous le thorax 72 4.3. Interaction sur l’abdomen 72
  73. 73. • Dessiner le chiffre «deux» sur votre abdomen 73 4.3. Interaction sur l’abdomen 73
  74. 74. • Dessiner le chiffre «deux» sur votre abdomen 74 4.3. Interaction sur l’abdomen 74
  75. 75. 4.3. Expérimentation : Principe • Faire dessiner sur l’abdomen le stimulus affiché sur un écran distant 75 75
  76. 76. 4.3. Expérimentation : Facteurs • Lignes directionnelles • Chiffres 76 76
  77. 77. • Présentation graphique • Présentation textuelle 77 4.3. Expérimentation : Facteurs Facteurs Graphique Textuel Simple «Droite» Complexe «Deux» 77
  78. 78. 4.3. Expérimentation : Facteurs • Stimuli de l’expérimentation 78 Haut Haut Droite Droite Bas Droite Bas Bas Gauche Gauche Haut Gauche Un Deux Trois Quatre Cinq Six Sept Huit Neuf Zéro Textuel Graphique Textuel Graphique Matériel Directionnel Matériel Numéral 78
  79. 79. 4.4. Etude 1 : Catégorisation de la représentation 79 Inversion gauche-droite Inversion haut-bas 79
  80. 80. 4.4. Etude 1 : Catégorisation de la représentation • Inversion haut-bas quasi-constante 80 50 % 40 % 30 % 20 % 10 % 0 % Inversion Haut-Bas Gauche-Droite Graphique Textuel Reproduction des chiffres Inv. gauche-droite Inv. haut-bas 80
  81. 81. 4.4. Etude 1 : Catégorisation de la représentation • Inversion haut-bas quasi-constante • condition textuelle: inversions gauche-droite 81 50 % 40 % 30 % 20 % 10 % 0 % Inversion Haut-Bas Gauche-Droite Graphique Textuel Reproduction des chiffres Inv. gauche-droite Inv. haut-bas 81
  82. 82. 82 4.4. Etude 1 : Catégorisation de la représentation 50 % 40 % 30 % 20 % 10 % 0 % Inversion Haut-Bas Gauche-Droite Graphique Textuel «It might strongly be possible that I write on my belly as if I was looking at it.» «I performed the gesture if I was in front of a mirror without thinking too much.» Reproduction des chiffres 82
  83. 83. • Peu d’inversions haut-bas Inversion Haut-Bas Gauche-Droite 83 4.4. Etude 1 : Catégorisation de la représentation 50 % 40 % 30 % 20 % 10 % 0 % Graphique Textuel Reproduction des directions Inv. gauche-droite Inv. haut-bas 83
  84. 84. • Peu d’inversions haut-bas • Pratiquement pas d’inversions gauche-droite Inversion Haut-Bas Gauche-Droite 84 4.4. Etude 1 : Catégorisation de la représentation 50 % 40 % 30 % 20 % 10 % 0 % Graphique Textuel Reproduction des directions Inv. gauche-droite Inv. haut-bas 84
  85. 85. • Peu d’inversions haut-bas • Pratiquement pas d’inversions gauche-droite • Représentation stable Inversion Haut-Bas Gauche-Droite 85 4.4. Etude 1 : Catégorisation de la représentation 50 % 40 % 30 % 20 % 10 % 0 % Graphique Textuel Reproduction des directions Inv. gauche-droite Inv. haut-bas 85
  86. 86. 4.4. Etude 1 : Catégorisation de la représentation • Préférences subjectives 86 5 4 3 2 1 Facile Rapide Précis Agréable Fatigant Direction Chiffre 86
  87. 87. 4.4. Etude 1 : Catégorisation de la représentation • Préférences subjectives 87 5 4 3 2 1 Facile Rapide Précis Agréable Fatigant Direction Chiffre 87
  88. 88. 4.4. Etude 1 : Catégorisation de la représentation • Préférences subjectives 88 5 4 3 2 1 Facile Rapide Précis Agréable Fatigant Direction Chiffre 88
  89. 89. • Caractérisation des gestes linéaires • Temps d’exécution • Amplitude • Linéarité • Biais directionnel 89 4.4. Etude 2 : Catégorisation des gestes directionnels 89
  90. 90. • Caractérisation des gestes linéaires • De 1 à 1.2 seconde en moyenne • De 15 à 20 cm environ en moyenne 90 4.4. Etude 2 : Catégorisation des gestes directionnels 90
  91. 91. 4.4. Etude 2 : Catégorisation des gestes directionnels • Linéarité • Tracés presque linéaires • Ouest plus linéaires 91 0,99 0,97 0,95 0,93 0,91 EST N-E NORD S-O SUD N-O OUEST S-E Linéarité (max r²) N O E S 91
  92. 92. ! "# $! %&# %'! ((# ()! &%# *+,- ,./-01*+,- ,./-0 ,./-012*,- 2*,- 3.4-012*,- 3.4-0 3.4-01*+,- Angle moyen des gestes en degrés • Biais directionnel • EST difficile à atteindre • Extension du bras plus facile à réaliser 92 4.4. Etude 2 : Catégorisation des gestes directionnels N O E S 92
  93. 93. Rappel des résultats • Représentation spatiale instable pour les chiffres • Représentation spatiale stable pour les gestes directionnels • Les gestes qui permettent d’étendre le bras sont plus faciles à réaliser • Les gestes sur l’abdomen sont pratiques pour • Les actions qui requièrent un minimum de temps • Effectuer des actions sans accaparer l’attention visuelle 93 93
  94. 94. Plan de la présentation 1. Espace de classification des télécommandes 2. Espace de classification du geste 3. Interaction gestuelle avec télécommande 4. Interaction gestuelle sur le corps 5. Conclusion et perspectives 94 94
  95. 95. 5. Conclusion et perspectives • Contributions • Espace de caractérisation de la télécommande (IHM 2011) • Espace de caractérisation du geste • Techniques d’interaction pour télécommande augmentée (ICMI 2011) • Identification des degrés de liberté utilisées • Combinaison boutons-gestes 3D performante 95 95
  96. 96. 5. Conclusion et perspectives • Contributions • Techniques d’interaction sur l’abdomen (soumis à CHI 2014) • Représentation spatiale différente selon les utilisateurs • Instable pour les chiffres • Stable pour les directions • Directions plus performantes avec des mouvements d’extension du bras 96 2? 96
  97. 97. 5. Conclusion et perspectives • Perspectives • Amélioration des techniques d’interaction avec un meilleur algorithme 97 97
  98. 98. • Interaction sur l’abdomen : mobilité • Micro-interaction [Ashbrook,2010] • Interaction qui demande peu d’attention [Hudson et al, 2010] 98 5. Conclusion et perspectives 98
  99. 99. 5. Conclusion et perspectives • Méthodes d’évaluation ? 99 100,0 80,0 60,0 40,0 20,0 0 97,4 98,4 Taux de précision en % 1410 1057,5 705 352,5 0 1401 1388 Temps de sélection en ms 99
  100. 100. 5. Conclusion et perspectives • Méthodes d’évaluation ? 100 7 6 5 4 3 2 1 0 Rapide Précis Agréable Fatigante Simple Divertissante Préférences subjectives Pad /Pad Pad/P&Y 100
  101. 101. Questions ? 101 ? 101

×