Le but de cette conférence est de faire le point sur les différentes méthodes d'évaluation des interfaces. Le point de départ est l'affirmation de Jakob Nielsen : 5 utilisateurs suffisent pour trouver 85 % des problèmes d’ergonomie. Cette affirmation est souvent reprise en oubliant de préciser le contexte théorique qui date de 1993. Depuis les études sur le sujet, notamment une série d’études « Comparative usability evaluation » de Rolf Molich, ont été nombreuses ce qui permet de répondre à des questions comme : Combien de participants sont nécessaires pour trouver le plus de problèmes critiques ? Peut-on trouver tous les problèmes ? Est ce qu’il y a des différences de qualités entre les résultats obtenus par les différentes méthodes ? Dans un deuxième temps, nous aborderons une partie pratique en répondant à la question : Quelle méthode à quel moment du projet ? La réponse est donc basée sur trois méthodologies "simples et élégantes" : En début de projet : une méthode d'inspection des IHM "à ma façon". En cours de projet : des tests utilisateurs. En fin de projet, pour valider la prise en main : Une méthodologie d'évaluation basée sur la norme ISO 20282 "Facilité d’emploi des produits quotidiens." Pour conclure, nous répondrons de manière précise à la question "Combien d’utilisateurs faut-il pour trouver 85 % des problèmes d’ergonomie ?" avec l'aide d'un outil statistique.

1. Tester vos services,
mythes et réalités !
Raphaël Yharrassarry iErgo

2. 1993 Niels
en
1998 CU
E2
2000 Ale
rtb
ox
2001 Jare
dS
poo
2003 CU
E3 l
2004 CU
E4
CU
2009 E8
Insp
Tes ectio
Aujourd’hui ISO t U. n Heu
202 rist
i qu
e
iErgo
82-
3

3. 5 utilisateurs suffisent pour
trouver 85 % des problèmes
d’ergonomie.
Jakob Nielsen
2000 : http://www.useit.com/alertbox/20000319.html
iErgo
1993 : A Mathematical Model of the Finding of Usability Problems

4. 1993 Nie
lsen
1998 CU
E2
2000 Ale
2001 Jare
rtb
dS
poo
ox
2003 CU
E3 l
2004 CU
E4
CU
2009 E8
Insp
Tes ectio
Aujourd’hui ISO t U. n Heu
202 rist
i qu
e
iErgo
82-
3

5. P
(i)
=
N(1-­‐(1-­‐L)+)
Proportion de
Nombre de problèmes Nombre total de
Nombre d’utilisateurs problèmes rencontrés
trouvés problèmes
par un utilisateur
iErgo

6. 16,87
=
20(1-­‐(1-­‐0,31)⁵)
85
%
un utilisateur rencontre
16,87 problèmes
20 problèmes au total en moyenne 31% des 5 utilisateurs
trouvés iErgo
problèmes.

7. {
5 tests utilisateurs :
L de 0,12 à 0,32
L
=
0,31
?
6 évaluations
heuristiques :
L de 0,21 à 0,58
Proportion de A Mathematical Model of the Finding of Usability
problèmes rencontrés Problems, Jakob Nielsen and Thomas K. Landauer,
iErgo
par un utilisateur InterCHI 1993

8. N
?
Comment connaître le nombre N total de problèmes ?
iErgo

9. 1993 Niels
en
1998 CU
E2
2000 Alertb
ox
2001 Ja
red
2003 CUE
3
Spo
2004 CUE ol
4
CU
2009 E8
Insp
Tes ectio
Aujourd’hui ISO t U. n Heu
202 rist
i qu
e
iErgo
82-
3

10. En pratique, 5 utilisateurs, ça ne
suffit pas !
Testing Web sites : Five user is nowhere near enough,
Jared Spool, Will Schroeder. CHI 2001 iErgo

11. L est spécifique à chaque site.
L : Proportion de
P
(i)
=
N(1-­‐(1-­‐L)i) problèmes rencontrés
par un utilisateur
iErgo

12. Que sait on des méthodes
d’évaluations ?
iErgo

13. CUE
Comparative Usability Evaluation
http://www.dialogdesign.dk/CUE.html
iErgo

14. 8 études scientifiques de 1998 à
aujourd’hui,
comparant divers méthodes
d’évaluations.
iErgo

15. Peut-on trouver tous les
problèmes ?
iErgo

16. 1993 Niels
en
1998 CU
E2
2000 Ale
rtb
ox
2001 Jare
dS
poo
2003 CU
E3 l
2004
CU
E4
CU
2009 E8
Insp
Tes ectio
Aujourd’hui ISO t U. n Heu
202 rist
i qu
e
iErgo
82-
3

17. CUE 4 : 17 équipes ; Des méthodes différentes.
iErgo

18. 250
Nombre de problèmes
205
200
150
100
51
50
31
17
6 11
0 2 1 3 3 5 5
0
16 ; 17 14 ; 15 12 ; 13 10 ; 11 9 8 7 6 5 4 3 2 1
Problèmes trouvés par x équipes sur 17.
CUE 4 : 17 équipes ; Des méthodes différentes ; 340 problèmes ;
61 problèmes critiques trouver par une seule équipe. iErgo

19. Plus on test, plus on trouve !
N
reste théorique.
N : Nombre total de
P
(i)
=
N(1-­‐(1-­‐L)i) problèmes iErgo

20. Que faire pour trouver les
problèmes critiques ?
iErgo

21. 1993 Niels
en
1998 CU
E2
2000 Alertb
ox
2001 Jared
Spo
2003 C ol
2004
UE
CU 3
E4
CU
2009 E8
Insp
Tes ectio
Aujourd’hui ISO t U. n Heu
202 rist
i qu
e
iErgo
82-
3

22. Mineur
Sérieux
Critique
Un problème critique peut engendrer une catastrophe ; Une
situation où le site Web met en échec l’utilisateur. iErgo

23. 400
340
320 310
240 220
160
80 61
29 24
0
CUE-2 CUE-3 CUE-4
Nombre total de problèmes.
Problèmes critiques ou sérieux trouvés par une seule équipe. iErgo

24. 1993 Niels
en
1998 CU
E2
2000 Ale
rtb
ox
2001 Jare
dS
poo
2003 CU
E3 l
2004 CU
E4
2009 CU
E8
Insp
Tes ectio
Aujourd’hui ISO t U. n Heu
202 rist
i qu
e
iErgo
82-
3

25. CUE 8 :
Un même site,
Une même consigne,
Trois mesures imposées : temps,
succès et satisfaction,
15 équipes.
http://www.dialogdesign.dk/CUE.html
iErgo

26. 60 secondes, Accroche marketing ou réalité ?
iErgo

27. De 60s à 1244 s pour la réalisation des tâches.
iErgo

28. Rent a car in just 60 secondes ?
2 équipes : Reformuler
3 équipes : Plus de recherches
4 équipes : Ok
5 équipes : 90, 120, 180,180,240s
iErgo

29. Définir strictement les procédures
de mesures.
iErgo

30. Toujours mesurer :
le temps de réalisation des tâches,
le taux de succès,
la satisfaction.
iErgo

31. Exclure les temps des échecs du
calcul des moyennes.
iErgo

32. Recruter des utilisateurs
strictement représentatif de la
population cible.
iErgo

33. A retenir des études CUE
iErgo

34. Les analyses d’experts sont aussi
efficaces que les tests utilisateurs.
iErgo

35. Même avec des moyens faibles, il
est possible d’alimenter le
processus de conception.
iErgo

36. P
(i)
=
N(1-­‐(1-­‐L)+)
N
et
L
doivent
être
dé@inis
sur
la
base
d’un
pré-­‐test.
iErgo

37. 5 utilisateurs suffisent pour
conduire un processus de
conception.
iErgo

38. 1993 Niels
en
1998 CUE
2
2000 Alert
box
2001 Jared
Spo
2003 CUE ol
3
2004 CUE
4
2009 CUE
8
Insp
ect
ion
heu
rist
iqu
Tes e
t U.
Aujourd’hui
ISO
202
8 2-3
iErgo

39. Quelle méthode à quel
moment du projet ?
iErgo

40. 1993 Niels
en
1998 CUE
2
2000 Alert
box
2001 Jared
Spo
2003 CUE ol
3
2004 CUE
4
2009 CUE
8
Insp
heu ect
rist ion
Tes iqu
tU
.
e
Aujourd’hui
ISO
202
82-3
iErgo

41. Une méthode d’inspection
heuristique «à ma façon».
iErgo

42. Méthodologie,
Préparation > passation > synthèse
Retrouver la méthodologie sur http://wp.me/pKaTq-yD iErgo

43. Préparation
1 à 3 inspecteurs.
4 tâches en fonction des usages. La 5éme tâche est un
parcours libre.
Déterminer plus ou moins précisément le parcours suivant le
résultat attendu.
la grille d’évaluations.
Retrouver la méthodologie sur http://wp.me/pKaTq-yD iErgo

44. Description de la tâche Sur Google Mail, à partir de l’adresse http://mail.google.com/, avec un
compte existant, Envoyer un email avec une pièce jointe à xx@gmail.com
Ecran et description du problème
Critères Occurren E-mail/boite de réception E-mail/nouveau message
ces
Compatibilité 0
Guidage 0
- Incitation 0
- Groupement/distinction 1 La barre d’outils de gauche
présente un contenu hétérogène :
des contacts, des messages, des
tâches mais aussi des dossiers et
des actions.
- Feedback Immédiat 0
- Lisibilité 0
Les critères de Bastien
un problème par case,
et Scapin, par ordre Le nombre de Rappel de la tâche et
sur plusieurs colonnes
d’usage. (Bach, Scapin, problème par critères étapes (écrans).
iErgo
si besoin.
2003)

45. Passation
Passez en revue les 5 tâches décrites, sur la base de la
méthode de l’inspection cognitive, en se plaçant dans la
position de l’utilisateur.
Inscrire dans la case correspondante dans la grille en prenant
en compte l’aspect le plus important du défaut.
Retrouver la méthodologie sur http://wp.me/pKaTq-yD iErgo

46. Un exemple avec Gmail, sur une tâche simple «Envoyer un
email». iErgo

47. Description de la tâche Sur Google Mail, à partir de l’adresse http://mail.google.com/, avec un compte existant, Envoyer
un email avec une pièce jointe à xx@gmail.com
Ecran et description du problème
Critères Occurrences E-mail/boite de réception E-mail/nouveau message
Compatibilité 0
Guidage 0
- Incitation 0
- Groupement/distinction 1 La barre d’outils de gauche
présente un contenu
hétérogène : des contacts, des
messages, des tâches mais
aussi des dossiers et des
actions.
- Feedback Immédiat 0
- Lisibilité 0
Contrôle explicite 0
- Actions Explicites 0
- Contrôle Utilisateur 0
Signifiance des codes et dénominations 0
0
Charge de travail 0
- Brièveté 0
+ Concision 0
+ Actions minimales 0
- Densité informationnelle 1 Le bandeau «Publicité»
présente des informations sans
liens avec le contenu.
Adaptabilité 0
- Flexibilité 0
- Prise en compte de l'expérience utilisateur 1 Aucun raccourcis clavier
Homogénéité/cohérence 0
Gestion des erreurs 0
- Protection contre les erreurs 0
- Qualité des messages d'erreur 0
- Correction des erreurs 0
Total pour la tâche 3
Une fois le problème détecter, il est classé suivant le
critères principale. iErgo

48. Suite de la tâche : «Envoyer un email»
iErgo

49. Description de la tâche Sur Google Mail, à partir de l’adresse http://mail.google.com/, avec un compte existant, Envoyer
un email avec une pièce jointe à xx@gmail.com
Ecran et description du problème
Critères Occurrences E-mail/boite de réception E-mail/nouveau message
Compatibilité 0
Guidage 0
- Incitation 0
- Groupement/distinction 1 La barre d’outils de gauche présente un
contenu hétérogène : des contacts, des
messages, des tâches mais aussi des
dossiers et des actions.
- Feedback Immédiat 0
- Lisibilité 0
Contrôle explicite 0
- Actions Explicites 0
- Contrôle Utilisateur 0
Signifiance des codes et dénominations 0
0
Charge de travail 0
- Brièveté 0
+ Concision 0
+ Actions minimales 0
- Densité informationnelle 1 Le bandeau «actualité» présente des
informations sans liens avec le contenu.
Adaptabilité 0
- Flexibilité 0
- Prise en compte de l'expérience utilisateur 1 Aucun raccourcis clavier
Homogénéité/cohérence 1 Les actions «Ajouter»,
«Joindre» sont présentées
comme des liens et non des
actions comme «Envoyer».
Gestion des erreurs 0
- Protection contre les erreurs 0
- Qualité des messages d'erreur 0
- Correction des erreurs 0
Total pour la tâche 4
iErgo

50. Synthèse
La grille permet de réaliser facilement une synthèse entre
inspecteurs.
Comparer deux versions d’une même service.
Comptabiliser les défauts par critère ?
Défauts ponctuels, d’autres transverses.
Retrouver la méthodologie sur http://wp.me/pKaTq-yD iErgo

51. Quand ?
Au début, sur les maquettes ;
Lors de la recette, dans un processus de qualité.
iErgo

52. 1993 Niels
en
1998 CUE
2
2000 Alert
box
2001 Jared
Spo
2003 CUE ol
3
2004 CUE
4
2009 CUE
8
Insp
ect
ion
heu
rist
iqu
Tes e
t U.
Aujourd’hui
ISO
202
8 2-3
iErgo

53. Les tests U.
iErgo

54. Test U.
Utilisateur ou Utilisabilité ?
iErgo

55. Quand ?
En cours de projet.
iErgo

56. Comment ?
Avec les ressources dont vous disposez !
Des «Test kitchen», des cobayes recrutés
dans le couloir, à la cantine, dans la famille,...
Des tests à distances.
iErgo

57. Adapter la volumétrie des tests à
vos capacités de correction.
iErgo

58. Comment optimiser le nombre
d’utilisateur ?
iErgo

59. http://www.measuringusability.com/
problem_discovery.php
iErgo

60. Saisir les résultats du pré-test.
iErgo
http://www.measuringusability.com/problem_discovery.php

61. Saisir, par utilisateur, les problèmes et calculer !
iErgo
http://www.measuringusability.com/problem_discovery.php

62. Contempler le résultat !
iErgo
http://www.measuringusability.com/problem_discovery.php

63. 1993 Niels
en
1998 CUE
2
2000 Alert
box
2001 Jared
Spo
2003 CUE ol
3
2004 CUE
4
2009 CUE
8
Insp
ect
ion
heu
rist
iqu
Tes e
t U.
Aujourd’hui
ISO
202
iErgo
82-
3

64. ISO 20282-3
Disponible sur le site de l’AFNOR
iErgo

65. Facilité d'emploi des produits quotidiens
Partie 3:
Méthode d'essai pour produits de
consommation courante
iErgo

66. Efficacité Efficience Satisfaction
iErgo

67. Exemple, accéder à une info. (TV connectée LG, par Orange)
iErgo

68. Effectif de l'échantillon : 48
Nombre de succès : 45
Taux de succès de l'échantillon : 93,75 %
Le taux de succès minimal inféré à la population
mère est de : 90,06 %
avec une confiance de : 80 %
Efficacité, exemple de résultats obtenu pour un scénario.
iErgo

69. La durée moyenne de réalisation inférée à la
population mère
est comprise entre : 15,59 et 20,07 secondes
avec une confiance de : 80%
Efficience, exemple de résultats obtenu pour un scénario.
iErgo

70. -2 -1 0 1 2
Le taux de satisfaction sur l'objectif est : 1,54
Satisfaction, exemple de résultats obtenu pour un scénario.
iErgo

71. a) Identifier le produit à soumettre à essai,
b) Identifier le contexte d’utilisation prévu (utilisateurs, tâches et environnement),
c) Vérifier que le produit est compatible avec les caractéristiques des utilisateurs cibles,
d) Décider d’essayer un ou plusieurs groupes,
e) Identifier les mesures requises et si des valeurs sont requises pour ces mesures, ou bien
s’il s’agit de comparer deux résultats,
f) Sélectionner un groupe d’utilisateurs représentatif du groupe d’utilisateurs cible du produit,
g) Établir un mode opératoire d’essai comprenant un groupe représentatif d’utilisateurs pour
utiliser le produit afin d’atteindre les objectifs principaux d’utilisation,
h) Mesurer le taux de succès et, éventuellement, le temps de réalisation de la tâche et la
satisfaction (par l’intermédiaire d’un questionnaire),
i) Calculer l’efficacité d’emploi (taux de succès en pourcentage) et, éventuellement,
l’efficience d’emploi (temps médian de réalisation de la tâche) et la satisfaction lors de
l’emploi (moyenne des notes du questionnaire),
j) Élaborer un rapport complet et/ou un court résumé,
Mode opératoire d’essai, étapes devant être suivies
iErgo

72. Quand ?
En fin de projet, pour «certifier» un
service avant la mise en production.
iErgo

73. Une norme internationale.
iErgo

74. Reproductibles
Généralisables à la population cible
Comparables
Les avantages d’une norme
iErgo

75. 20 à 50 utilisateurs
Mais ça va plus vite qu’un test U !
Autres avantages et inconvénients
iErgo

76. Le dépouillement est plus simple,
plus rapide !
Par scénario : réussite ou échec,
temps et satisfaction.
Autres avantages et inconvénients
iErgo

77. Un fichier Excel peut simplifier la vie ! source : Daniel Bailleul
iErgo
http://www.measuringusability.com/products/

78. 1993 Niels
en
1998 CUE
2
2000 Alert
box
2001 Jared
Spo
2003 CUE ol
3
2004 CUE
4
2009 CUE
8
Insp
ect
ion
heu
rist
iqu
Tes e
t U.
Aujourd’hui
ISO
202
8 2-3
iErgo

79. Questions ?
Retrouvez cette présentation : http://wp.me/pKaTq-Gx
iErgo

80. Raphaël
Yharrassarry
www.iergo.fr
raphael@iergo.fr
iergo
Retrouvez cette présentation : http://wp.me/pKaTq-Gx
iErgo