Le document traite des tests utilisateurs et des évaluations expertes en ergonomie, présentant différentes méthodes telles que l'évaluation heuristique, l'inspection cognitive et les expérimentations. Il souligne l'importance de la présence d'utilisateurs dans les tests et la nécessité d'adapter les méthodes aux besoins spécifiques du projet, tout en abordant les avantages et inconvénients de chaque approche. Enfin, le document aborde également le rôle du facilitateur et fournit des conseils pratiques pour conduire des tests utilisateurs efficaces.

1. Les tests utilisateurs
pour les petits budgets
Assistance à la Maîtrise d’ouvrage (AMOA)
Ergonomie
Design

2. Sondage
1) Qui a déjà organisé des tests utilisateurs ?
2) Qui compte le faire ?

3. Plan
Méthodes d'amélioration
ergonomiques
Les évaluation expertes
Les expérimentations
Les tests
utilisateurs

4. Les évaluations expertes
●
Se basent sur l’avis d’un ou plusieurs
experts.
●
●
Ne nécessitent pas la présence
d’utilisateurs.
Nielsen conseille 3 évaluateurs car
c’est meilleur rapport entre le nombre
de défauts trouvés et le coût.
L’expérience des évaluateurs influe
sur la qualité des résultats.
➔
Évaluation heuristique.
➔
●
Inspection cognitive.
➔
L’analyse de conformité aux
recommandations.

5. Les évaluations expertes
Évaluations heuristiques
Principe : Technique réalisée par des experts évaluateurs qui inspectent une
interface et jugent sa conformité avec un ensemble de principes d'utilisation.
L'objectif est de détecter les aspects positifs et négatifs du point de vue de
l’utilisabilité et à en déduire des recommandations d’amélioration adaptées.
Avantages :
●
Pas d’utilisateur.
●
Inconvénients :
Organisation rapide et feedback rapide
●
●
Les évaluateurs (formés à la méthode)
ne sont pas nécessairement des experts
en ergonomie.
●
●
Coût réduit
●
Il n’y a pas vraiment de liens avec l’activité
réelle.
L’évaluateur n’est pas un utilisateur, il peut
donc passer à côté de certains défauts, par
exemple en ce qui concerne la
compréhension des libellés.
Cette méthode à tendance à produire des
faux-positifs c’est-à-dire des défauts
d’ergonomie qui n’en sont pas réellement.

6. Les évaluations expertes
Évaluation heuristique
Références :
●
Les critères ergonomiques de Bastien & Scapin chez ErgoLab
●
Les critères ergonomiques de Bastien & Scapin chez Ergoweb.ca
●
Les heuristiques de Nielsen
●
Exemple d'évaluation Heuristique sur un jeu Ipad

7. Les évaluations expertes
Inspection cognitive
Principe : Les évaluateurs passent en revues l’ensemble des écrans se posant quatre questions et relèvent les défauts
d’ergonomie. Le but étant que l’évaluateur se mette dans la position d’un utilisateur :
●
Les utilisateurs vont-ils tenter d’exécuter les actions appropriées ?
●
Les utilisateurs sauront-ils que les actions appropriées sont permises ou disponibles ?
●
Les utilisateurs vont-ils associer aux effets souhaités les actions appropriées ?
●
Lorsque les actions seront effectuées l’utilisateur pourra-t-il se rendre compte des traitements en cours ?
Avantages :
●
●
●
La méthode ne nécessite pas
d’utilisateur.
Elle peut être mise œuvre facilement et
rapidement.
Le coût est réduit
Inconvénients :
●
●
Il n’y a pas vraiment de liens avec l’activité
réelle.
L’évaluateur n'est pas forcement compétent
pour comprendre le contexte métier (lexique,
enjeux, motivation, etc...) des « vrais »
utilisateurs.
Références : L'inspection cognitive (Cognitive walkthrough) sur wikipédia

8. Les évaluations expertes
L’analyse de la conformité aux recommandations
Principe : On évalue la conformité des éléments de l’interface aux recommandations publiées dans
des guides de conception.
Exemples :
●
Web Style Guide Online de Patrick J. Lynch & Sarah Horton
●
User interface guideline Android
●
User interface guidelines Iphone
●
Windows User Experience Interaction Guidelines
●
Guidelines for Designing User Interface Software de Smith & Mosier (SAM)
Avantages :
●
●
L’analyse est peu dépendante de
l’expertise de l’évaluateur.
Elle est exhaustive et précise.
Inconvénients :
●
Le contexte d’utilisation et l’utilisateur ne sont
pas pris en compte.

9. Les expérimentations
●
Les expérimentations se basent sur
une démarche scientifique
expérimentale.
Cette démarche consiste à formuler
des hypothèses qui sont validées ou
non par un protocole de tests.
Eyetracking
➔
●
➔
A/B testing et tests multivariés
➔
Expérimentations scientifiques
➔
●
Le protocole de tests compare
différentes conditions en mesurant
certaines variables.
Outils d'évaluation
automatiques

10. Les expérimentations
L’eye tracking
Principe : L’eye tracking consiste à enregistrer les déplacements oculaires de l’utilisateur sur l’écran. On
peut tirer de ces enregistrements différentes données, notamment une représentation graphique avec les zones
les plus regardées et le parcours « moyen » du regard. Attention, ce sont les déplacements oculaires que l’on
enregistre et non l’activité du cerveau ! On peut regarder, sans voir, voir sans comprendre, comprendre sans en
tenir compte. C’est une technique adaptée pour réaliser des expérimentations et non des tests
utilisateurs.
Avantages :
●
●
On obtient des données précises sur le
parcours oculaire de l’utilisateur.
il est possible d’obtenir des réponses précises
et valides à certaines hypothèses complexes.
Inconvénients :
●
●
●
Souvent utilisé à mauvais escient, par
exemple, pour trouver des défauts
d’ergonomie.
Nécessite du matériel spécifique et un labo
aménagé > Processus coûteux.
Il faut faire passer un nombre important
d’utilisateurs.
Références : Définition de l'eyetracking sur Wikipédia (eng)

11. Les expérimentations
A/B testing et tests multivariés
Principe : Généralement utilisée sur les sites d’e-commerce, cette technique, issue du marketing,
consiste à mettre en ligne plusieurs versions d'un gabarit en modifiant des éléments, comme le
libellé, la taille et la couleur d’un bouton, l’organisation d’une fiche produit, etc… On mesure alors
certaines variables comme le taux de transformation, le panier moyen, etc…
Avantages :
●
●
La situation est réelle et non une situation
de laboratoire.
Les résultats obtenus sont facilement
généralisables à la population cible (nombre
important d’utilisateur et public réel), voir
c’est la population cible qui est testée.
Inconvénients :
●
●
Nécessite des modifications techniques sur le
site en production afin de générer les
différentes pages et le suivi.
Il faut faire varier les bons facteurs et donc
faire des hypothèses en amont.
Références : Définition de l'A/B testing sur Wikipédia

12. Les expérimentations
Expérimentations scientifiques
Principe : Les expérimentations scientifiques sont des protocoles de tests qui ont pour but de valider ou non des
hypothèses. La forme de ces expérimentations peut être très variable suivant les cas, mais le but est de répondre à une
question précise. Pour cela, on fixe l’environnement, on compare différents dispositifs et on mesure différentes
variables.
Avantages :
●
La validité des réponses obtenues.
Inconvénients :
●
●
La mise en place nécessite une métrologie
précise et donc une expertise certaine.
Le coût est assez élevé car l’ensemble du
processus est relativement long.

13. Les expérimentations
Exemple : quel dispositif pour la saisie du texte sur la TV ?
Protocole :
Tests avec 3 dispositifs :
●
Mode SMS simple
●
Mode SMS avec une représentation à l’écran.
●
Clavier virtuel
36 utilisateurs :
●
des experts du mode SMS (multi-press).
●
des non-experts.
Temps de réalisation des tâches.
2 tâches :
●
Tâche 1 : saisie d’une adresse mail : «pippo@libero.com ».
●
Tâche 2 : la saisie d’un texte court : «Le soleil et la neige».
Tous les utilisateurs passaient sur tous les dispositifs et toutes
les tâches.
Pourcentages de tâches incomplètes.

14. Les expérimentations
Outils d'évaluation automatiques
●
ERGOVAL
●
KRI/AG
●
CHIMES
●
SYNOP
●
Mahajan et Shneiderman

15. Les tests utilisateurs
●
●
●
Nécessitent la présence des
utilisateurs-testeurs.
➔
Les testeurs passent chacun leur
tour.
Les testeurs doivent suivre des
scénarios déterminés à l'avance en
fonction de ce que l'on cherche à
tester.
➔
➔
Les tests utilisateurs
«classiques» en laboratoire.
Les tests avec l'entourage.
Les tests utilisateurs à
distance.
Objectif :
Identifier les problèmes d'utilisabilité
●
Attention, les tests ne sont pas des focus groups ! Les testeurs ne sont pas là
pour proposer des améliorations.
●

16. Les tests utilisateurs
Tester quoi ?
●
Wireframes
●
A quel moment ?
Compos graphiques
●
Des prototypes HTML/ serveur
de test
●
Un site existant en production
●
Une application
●
Un système embarqué
●
Un logiciel
●
...
●
●
●
En avant vente, comme
argumentaire commercial
En conception
En production / Comme outil
d'amélioration du site dans son
cycle de vie.

17. Les tests utilisateurs : Tuer le mythe
« Avec 5 testeurs, on décèle 85 % des problèmes d'utilisabilité »
0/20
Modèle de Nielsen : Permet d'identifier le nb minimum de testeurs afin de permettre de déceler un nombre suffisant de problèmes.
i
P(i) = N(1-(1-L) )
Nb de problèmes
trouvés
●
Nb d'utilisateurs
Nb total de problèmes
Proportion de problèmes du site
rencontrés par un utilisateur
« N» est prédictible grâce à un modèle mathématique, mais uniquement sur la base d'un pré-test
et il reste théorique
●
« L » est une variable spécifique à chaque site, chaque type de test et chaque équipe de test
Référence : Un calculateur en ligne

18. Les tests utilisateurs : Tuer le mythe
Questions fréquentes :
Combien de testeurs sont nécessaires pour trouver le plus de problèmes
critiques ?
●
Il est possible de le définir grâce au modèle mathématique de Nielsen, sur la
base d'un pré-test.
Peut-on trouver tous les problèmes ?
●
●
Non, car plus on teste, plus on trouve de problèmes. Par contre, la
probabilité d'identifier les problèmes critiques augmente.
Plus il y a de testeurs, plus vous identifier de problèmes.
Quelle méthodes choisir ?
En fonction de son contexte. Toutes les méthodes ont des objectifs, des
résultats et des applications différentes.
●
Plus vous utilisez de types de tests, plus vous améliorer les résultats.
●

19. Les tests utilisateurs
Cycle de l'amélioration continue
1
●
●
●
●
●
●
3
4
5
Phase
préparatoire
●
2
Récolte des
données
Analyse des
données
Implément.
des solutions
Analyse des
résultats
Identification des
pts clefs à tester
Scénarios
Recrutement des
utilisateurs
Mode de
rémunération
Matériel
Lieu
Logiciels
●
●
●
●
●
●
Accords de
participation et de
confidentialité.
Pilotage des
cessions par un
facilitateur
Questionnaire
Test scénarisé
Enregistrement de
cession
Debriefing
●
Analyses
d'experts
●
●
●
●
A/B testing
Modifications
Évolutions
Mise en place
de marqueurs
de contrôle.
●
●
Analyses
d'experts
Ça a
fonctionné ou
pas ?

20. Les tests utilisateurs
Test utilisateurs « classiques » en laboratoire
Principe : Les tests utilisateurs se passent dans un environnement dédié, généralement constitué
d’une « régie »séparée de la salle de test par une vitre sans teints et Piloté par un facilitateur.
Les sessions de tests sont filmées (écran, utilisateurs,… ). Ces enregistrements sont, par la suite,
étudiés en détails.
Avantages :
●
●
Tous types de service, sur différents
supports peuvent être testés
(Téléphone, tablette, TV) voir avec des
interactions croisées entre les supports.
La qualité des résultats obtenus.
Inconvénients :
●
●
C’est relativement long à mettre en place
(recrutement, préparation de l’environnement
de test, dépouillement).
Le rapport coût/résultat n’est pas toujours
celui attendu notamment si les hypothèses
initiales ont mal été posées.

21. Les tests utilisateurs
Test de proximité avec l'entourage
Principe : Réaliser soi-même les tests afin d’en réduire le coût. Les tests peuvent être réalisés dans
les locaux de l’entreprise avec les moyens existant (salle de réunion, ordinateur portable, etc…). Le
recrutement se fait au mieux, à la cantine, chez les étudiants, les collègues.
Le but est de détecter des défauts d’ergonomie à corriger et pas nécessairement tous les défauts.
Avantages :
●
●
La mise en place est relativement
simple et légère.
Le coût est très réduit, quelques
dizaines d’euros par utilisateur et
éventuellement un logiciel de capture
d’écrans (50 € maximum).
Inconvénients :
●
●
●
Les utilisateurs vont avoir tendance à faire
plaisir et donc à avoir un avis
majoritairement favorable.
Les résultats observés se limitent à
l’échantillon.
Ils ne sont pas généralisables.

22. Quelques logiciels de capture vidéo
EXPRESSION ENCODER
Gratuit
Gratuit
CAMTASIA STUDIO
SILVERBACK
282,00€
$69.95
Gratuit

23. Les tests utilisateurs
Rôle du facilitateur
●
Pilote la session de tests
●
Pas forcement un ergonome.
●
Se présenter en tant qu'observateur indépendant (pas en tant que personne impliquée
dans le projet)
●
Aider l'utilisateur à rester dans le scénario prévu.
●
Résoudre les problèmes d'ordre technique (plantage du navigateur, etc..).
●
Inciter l'utilisateur à penser à haute voix.
●
Donner la compensation au testeur en début de test pour que les testeurs ne cherchent
pas à faire plaisir pendant le test pour mériter la compensation.
●
Réinitialiser le test, notamment l'historique du navigateur: liens visités, autocomplétion...
●
Surveiller le temps des actions et limiter la session à 20 minutes.

24. Les tests utilisateurs
Quelques astuces
●
Pour les tests avec de « faux » utilisateurs : N'hésitez pas à créer des personas
pour que les testeurs se glissent mieux dans la peau des utilisateurs finaux.
●
Les testeurs proches (famille, amis...) : attention aux avis positifs pour faire plaisir
●
Les testeurs chez le client : attention aux avis métier
●
●
●
●
Les testeurs qui ont participer à la conception : attention aux avis qui minimisent
les problèmes.
Précisez que l'objet de l'étude c'est la qualité de l'interface et pas leur
compétences.
Si vous avez déjà un site en production n'hésitez pas à solliciter vos « vrais »
utilisateurs pour tester vos version futures. Ils sont en général assez partants
pour participer aux tests.
Rémunérer les utilisateurs ne bons d'achat, bon de réduction.

25. Les tests utilisateurs
Questions génériques avant de commencer le test
●
L'objectif du site est-il clair ?
●
L'audience du site peut-elle clairement s'identifier ?
●
Le site est-il utile et pertinent pour ce public ?
●
Le site est-il intéressant et attirant ?
●
Le site permet-il aux visiteurs de réaliser toutes les tâches qu'ils veulent accomplir ?
●
Les visiteurs peuvent-ils accomplir facilement ces tâches ?
●
Le contenu et l'organisation des informations sont-ils cohérents avec l'objectif du site ?
●
L'information importante est-elle facile à trouver ?
●
Toutes les informations sont-elles claires, faciles à comprendre et à lire ?
●
Le visiteur sait-il toujours où il est et comment faire pour aller où il veut ?
●
Le graphisme est-il agréable ?
●
Les pages se chargent-elles suffisamment vite ?

26. Les tests utilisateurs
Test utilisateur à distance
Principe : Les utilisateurs réalisent les tests à partir de leur ordinateur chez eux. Les parcours sont
enregistrés sous la forme généralement d’une capture de l’écran et de la webcam de l’utilisateur.
Avantages :
●
●
●
Des services notamment anglophones
proposent des outils complets pour faire
l’ensemble des tests.
Le coût par utilisateur est relativement
bas (30/50€). Il varie en fonction de la
spécificité du public recherché.
Les résultats sont obtenus généralement
rapidement (sous une semaine).
Inconvénients :
●
●
●
●
●
Il faut avoir un service fonctionnel et
accessible à partir d’internet.
Le mode de recrutement des testeurs pose
question
La motivation des testeurs pose questions.
Pas de facilitateur / contrôle aléatoire du
respect des scénarios.
Certains publics ne sont pas accessibles
par ce canal (personnes âgées, enfants,
etc…).

27. Quelques services de tests online
Services anglophones :
– usertesting.com
– trymyui.com
– gweezy.com
– userlytics.com
– intuitionhq.com
Service francophones :
– evalyzer.com, le service de testing
à distance de Christian Bastien
– appili.com et supergonomie.com ou
les utilisateurs semblent moins
impliqués, moins réactifs
– usabilla.com
Divers :
• possibilité un peu différente:
testapic.com: ce ne semble pas
vraiment être un test utilisateur,
plutôt un test marketing.
• youeye.com permettrait de
réaliser une carte de chaleur du
site analysé; ce n'est pas encore
disponible mais ça semble
intéressant.
• userzoom.com
• loop11.com
• utetool.com

28. Conclusion
Faites des tests !