Évaluer l’UX : des méthodes simples mais efficaces !
Carine Lallemand

Université du Luxembourg
@carilall
Guillaume Gronier...
Carine
« J’étudie et développe
des méthodes de
conception et
d’évaluation de l’UX »
Travaille à l’Université de
Luxembourg...
Travaille dans un centre de
recherche (LIST)
au Luxembourg
A réalisé une thèse sur la
conception collaborative
Pratique la...
Carine Lallemand
Guillaume Gronier
Méthodes
de design
30 MÉTHODES FONDAMENTALES POUR CONCEVOIR
ET ÉVALUER LES SYSTÈMES INT...
Que doit-on évaluer ? Les facteurs constitutifs de l’UX
Les facteurs constitutifs de l’UX
Contexte
Utilisateur Système
Les facteurs constitutifs de l’UX - Système
Qualités pragmatiques
Qualités hédoniques
Contexte
Utilisateur Système
Attract...
Les facteurs constitutifs de l’UX - Contexte
Contexte Social
Contexte Technique
Contexte
Utilisateur Système
Contexte Temp...
Les facteurs constitutifs de l’UX - Utilisateur
Avant l’interaction = produit perçu
Pendant l’interaction = produit expéri...
Le 4e facteur de l’UX
Dynamique temporelle de l’UX
L’expérience utilisateur après usage est une reconstruction mentale. Elle subit des biais cog...
Concevoir et évaluer l’expérience temporelle
Souvent, nous considérons les produits que nous concevons et évaluons dans
le...
Panorama des méthodes
d’évaluation UX
Découvrir l’existant
Type de méthode
Phase de développement Période de l’expérience
Evaluateur / Source
Type de méthode
Etudes de terrain
En laboratoire
Etudes online
Questionnaire
Evaluateur / Source
Experts
Utilisateurs
Groupes d’experts
Groupes d’utilisateurs
Phase de développement
Maquettes
Phase conceptuelle
Produits sur le marché
Prototypes fonctionnels
Période de l’expérience
Durant l’usage
Avant l’usage
Après l’usage
http://www.allaboutux.org/
Test des 5 secondes Evaluer la première impression
Qu’est-ce que la
première impression ?
• Le choix d’utiliser un système plutôt
qu’un autre que l’on découvre pour
la premi...
Contexte de l’étude
• Un foisonnement d’applis mobiles
avec des fonctionnalités similaires, et
de sites web proposant des ...
La première impression en psychologie sociale
Faire bonne
impression !
• Un mécanisme socio-
cognitif complexe

• Un processus subjectif

• Repose sur des éléments
cent...
Faire bonne
impression !
Les concepts clés :

• les théories implicites de la
personnalité

• la formation d’impression

•...
Théories implicites de
la personnalité
• Nous nous forgeons une
impression globale d’une
personne à partir de
quelques car...
La formation d’impression
Une expérience d’un psychologue : Asch (1946)

• 4 groupes doivent donner leur opinion d’une per...
L’effet de Halo
• L’effet de Halo consiste à
généraliser la première
impression que l’on a de
quelqu’un, à d’autres
caracté...
L’effet de Halo en
psychologie sociale
L’expérience de Cliford (1975) :

• des enseignants doivent
décrire des enfants d’a...
Le biais de
confirmation
• Le biais de confirmation
d’hypothèse est la tendance à
chercher ou à interpréter
toute preuve com...
Pour résumer
Traits
(Informations)
Impression
générale
Inférence de
traits
Biais de
confirmation
La première impression
lors de la découverte d’un site web
La formation
d’impression en IHM
• La formation d’impression se
forge en 50 ms (Lindgaard et
Fernandes, 2006)

• La premiè...
Le biais de
confirmation en IHM
• Plus l’utilisateur s’attend à ce
qu’un site web soit facilement
utilisable, plus il évalu...
Favoriser la première
impression
Bonnardel et
al., 2011
Pour résumer
Eléments
graphiques
Impression
générale
Inférence des
caractéristique
Biais de
confirmation
Pour résumer
• Ce sont les éléments
graphiques qui sont à
privilégier (au moins au début
de l’interaction)

• La première ...
Pour résumer
What is beautiful is usable*
(Tractinsky et al., 2000)

*Ce qui est beau est utilisable
Test des 5 secondes
Le test permet de mesurer la
première impression d’un site
web, en 5 secondes !
Le test des 5
secondes
Application !
Terminé !
Terminé !
Le test des 5
secondes
Application !
Terminé !
Terminé !
Le test des 5 secondes - Protocole
1. Afficher auprès de plusieurs utilisateurs l’écran d’un système (maquette HD,
capture d...
Présentation et analyse des résultats
Présentation et analyse des résultats
0
1
3
8
3
0
1
2
3
4
5
6
7
8
9
Très laid
 Laid
 Ni laid ni beau
 Beau
 Très beau
Disp...
Le test des 5 secondes
Avantages de la méthode :
• en ne s’intéressant qu’aux aspects visuels de l’interface, il est possi...
Le questionnaire UX
AttrakDiff
Une mesure standardisée de l’UX
Les questionnaires standardisés
Ensemble de questions présentées dans un ordre
spécifique, selon un format spécifique, et su...
Le modèle de l’UX d’Hassenzahl
Pour Hassenzahl, les gens perçoivent les produits interactifs selon
deux dimensions :

Qual...
Modèle d’Hassenzahl (2003)
Ce	
  modèle	
  théorique	
  illustre	
  
comment	
  les	
  qualités	
  
pragmatiques	
  et	
  ...
Le questionnaire AttrakDiff
Développé en allemand par une technique de génération
participative d’items par des experts

E...
Types d’évaluation AttrakDiff
Evaluation unique : adaptée pour une évaluation unique ou
temporaire d’un produit ou système...
Exercice pratique
passation et
scoring AttrakDiff
Sous-échelle Items (dans l’ordre de passation)
QP_1 Humain Technique
QHI...
Codage des items
Echelle Qualité Pragmatique (QP)
Item - 3 - 2 -1 0 + 1 + 2 + 3
QP1* Humain ☐ ☐ ☐ ☐ ☐ ☐ ☐ Technique
QP2* S...
Représentation des résultats
Graphique des paires de mots

Technique - Humain
Compliqué - Simple
Pas pratique - Pratique
F...
Représentation des résultats
qualité pragmatique
qualitéhédonique
0
-3
-3
3
3
trop
orienté
vers le soi
orienté
vers le soi...
AttrakDiff utilisé dans une étude longitudinale
0"
1"
2"
3"
4"
5"
6"
7"
1" 2" 3" 4" 5" 6" 7" 8" 9" 10"
Score&à&l'A+rakDiff&...
Courbes
d’évaluation UX
Etudier la dynamique temporelle de l’UX
Maintenir un usage
prolongé : un enjeu actuel
Les systèmes et produits sont de
plus en plus intégrés sous forme
de service...
Temporalité de l’UX
Modèle de Karapanos
Attentes
Anticipation
Attentes
Orientation
Identification
Incorporation
Stimulatio...
Evaluer l’UX à long terme : paradigmes possibles
Transversal
Longitudinal
Mesures répétées
Rétrospectif
Karapanos, Martens...
Approche
constructiviste
La reconstruction en mémoire se
fait dans un ordre temporel
chronologique
Le rappel d’un évènemen...
Validité et fiabilité des méthodes rétrospectives
A quel point ces données rétrospectives souffrent-elles de biais liés à l...
L’évaluation
rétrospective
Réalisée en situation d’entretien

S’adresse à des utilisateurs
« experts » (ayant utilisé le p...
Comment évaluer l’UX à l’aide de courbes ?
Procédure globale
Au moment présent, comment
évaluez vous l’utilisabilité de vo...
:
Exercice pratique
UX Curve
• Vise à aider les utilisateurs à
rapporter rétrospectivement
comment et pourquoi leur
expérien...
Analyse des courbes
• Si tracé des courbes sur papier, la première tâche est de transférer les
données sous format électro...
Représentation courbes d’amélioration
Fig. 4. The deteriorating and stable general UX Curves with user IDs.
Fig. 5. The im...
Représentation courbes détérioration ou stabilité
Fig. 5. The improving Attractiveness curves with user IDs.
Fig. 6. The d...
Représentation courbes moyennes
Ensuite, on crée des courbes moyennes d’amélioration et de détérioration
basées sur les mo...
Analyse des rapports
d’expérience
• Les commentaires et
annotations des participants au
sujet de leurs expériences font
l’...
IScale - http://www.iscale.nl/

Karapanos et al.
Merci de votre attention !
Commentaires ?
Questions ?
Suggestions ?
carine.lallemand@gmail.com
@carilall
guillaume.gronier...
Références
Karapanos, E., Martens, J.-B., Hassenzahl, M. (2012) Reconstructing Experiences with iScale. International Jour...
Paris Web 2015 Atelier "Evaluer l'UX : des méthodes simples mais efficaces !"
Paris Web 2015 Atelier "Evaluer l'UX : des méthodes simples mais efficaces !"
Prochain SlideShare
Chargement dans…5
×

Paris Web 2015 Atelier "Evaluer l'UX : des méthodes simples mais efficaces !"

3 608 vues

Publié le

Atelier Paris Web 2015
"Evaluer l'UX des méthodes simples mais efficaces"
animé par Carine Lallemand et Guillaume Gronier

Publié dans : Design
0 commentaire
19 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
3 608
Sur SlideShare
0
Issues des intégrations
0
Intégrations
575
Actions
Partages
0
Téléchargements
0
Commentaires
0
J’aime
19
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Paris Web 2015 Atelier "Evaluer l'UX : des méthodes simples mais efficaces !"

  1. 1. Évaluer l’UX : des méthodes simples mais efficaces ! Carine Lallemand Université du Luxembourg @carilall Guillaume Gronier Luxembourg Institute of Science and Technology @guillaumgronier ATELIER PARIS WEB 2015
  2. 2. Carine « J’étudie et développe des méthodes de conception et d’évaluation de l’UX » Travaille à l’Université de Luxembourg A réalisé une thèse sur les méthodes de conception et d’évaluation UX Pratique la montgolfière de compétition Voyage partout, souvent
  3. 3. Travaille dans un centre de recherche (LIST) au Luxembourg A réalisé une thèse sur la conception collaborative Pratique la voile Voyage un peu, quelquefois Guillaume « Je conçois et évalue des systèmes centrés sur l’utilisateur »
  4. 4. Carine Lallemand Guillaume Gronier Méthodes de design 30 MÉTHODES FONDAMENTALES POUR CONCEVOIR ET ÉVALUER LES SYSTÈMES INTERACTIFS DESIGN 32€ ConceptionNordCompo SIGN Articulant théorie et pratique, cet ouvrage présente 30 fiches méthodologiques couvrant l’essentiel du design UX et de l’ergonomie des interactions homme-machine (IHM). Vous serez guidé pas à pas à travers les étapes de réalisation de chaque méthode et accompagné pour prendre les décisions les plus adaptées à votre projet. Chaque fiche méthode intègre égale- ment une partie théorique et des illustrations concrètes pour faciliter la compréhension. Véritable portfolio théorique et méthodologique, cet ouvrage est un guide indispensable à toute personne impliquée dans la conception de systèmes interactifs. Professionnels, chefs de projets, étudiants, enseignants et chercheurs y trouveront de précieuses ressources pour mener à bien leurs projets. Grâce aux méthodes d’UX design, créez des produits et des services qui attirent, qui captivent, qui enchantent et inspirent pour améliorer la vie de ceux qui les utilisent ! AU SOMMAIRE Introduction au design UX ⍟ Planification ⍟ Définition du projet ⍟ Recrute- ment des utilisateurs ⍟ Déontologie et éthique ⍟ Exploration ⍟ Entretien ⍟ Focus group ⍟ Observation ⍟ Questionnaire exploratoire ⍟ Sondes culturelles ⍟ Idéation ⍟ Brainstorming ⍟ Cartes d’idéation ⍟ Design studio ⍟ Experience maps ⍟ Personas ⍟ Techniques génératives ⍟ Génération ⍟ Design persuasif ⍟ Gamification ⍟ Iconographie ⍟ Maquettage ⍟ Storyboarding ⍟ Tri de cartes ⍟ Évaluation ⍟ Complétion de phrases ⍟ Courbes d’éva- luation UX ⍟ Échelles d’utilisabilité ⍟ Échelles UX ⍟ Éva- luation des émotions ⍟ Évaluation experte ⍟ Inspection cognitive ⍟ Journal de bord UX ⍟ Test des 5 secondes ⍟ Tests utilisateurs CodeG14143 ISBN978-2-212-14143-6 ucun ouvrage francophone ne rassemble autant de savoir-faire ! Simple, pratique et pédagogique, c’est LE guide essentiel de l’UX au quotidien. » Corinne Leulier, Psychologue - Ergonome, directrice UX chez Klee Group « Ergonomie, psychologie, énierie, design, sociologie, ethnographie… Ce livre est une formidable proposition pragmatique, claire et ualisée des méthodes pour conception et l’évaluation l’expérience utilisateur ! » Julien Kahn, responsable pôle ergonomie chez Orange Chercheur à l’université de Luxembourg, Carine Lallemand est spécialisée dans les méthodes de conception et d’évaluation de l’expérience utilisateur (UX). Impliquée depuis 2010 dans l’association FLUPA, elle est également conférencière et enseigne l’UX design. Guillaume Gronier est chercheur ergo- nome au Luxembourg Institute of Science and Technology. Ses principales activités portent sur l’amélioration de l’expérience utilisateur, l’acceptation technologique et l’implication des utilisateurs dans le processus de conception. Il est l’un des fondateurs de l’association FLUPA. Méthodes de design UX UXCarineLallemand GuillaumeGronierMéthodesdedesignUX Préface d’Alain Robillard-Bastien Retrouvez les méthodes de cet atelier (et 27 autres) dans Méthodes de Design UX Sortie début novembre 2015 dans toutes les bonnes librairies
  5. 5. Que doit-on évaluer ? Les facteurs constitutifs de l’UX
  6. 6. Les facteurs constitutifs de l’UX Contexte Utilisateur Système
  7. 7. Les facteurs constitutifs de l’UX - Système Qualités pragmatiques Qualités hédoniques Contexte Utilisateur Système Attractivité globale Focus sur le produit (utilité, utilisabilité, réalisation des tâches) Focus sur le soi (pourquoi on possède et on utilise un produit) Stimulation, Evocation, Identité Découle de l’évaluation des qualités hédoniques et pragmatiques et donne naissance à des comportements et émotions
  8. 8. Les facteurs constitutifs de l’UX - Contexte Contexte Social Contexte Technique Contexte Utilisateur Système Contexte Temporel Contexte de la Tâche Contexte Interne Contexte Physique
  9. 9. Les facteurs constitutifs de l’UX - Utilisateur Avant l’interaction = produit perçu Pendant l’interaction = produit expérimenté Contexte Utilisateur Système Après l’interaction = produit évalué Attentes / Besoins / Expériences antérieures Connaissances / Humeur Motivation / Ressources / Etat mental Compétences / Emotions / Humeur Attractivité / Satisfaction / Comportement Intention d’usage / Humeur
  10. 10. Le 4e facteur de l’UX
  11. 11. Dynamique temporelle de l’UX L’expérience utilisateur après usage est une reconstruction mentale. Elle subit des biais cognitifs. UX White Paper, 2010 Les différentes phases temporelles se superposent et s’intercalent, il n’y a pas de séquence fixe entre anticipation et rappel de plusieurs périodes d’usage. Avant usage ! UX anticipée ! Imaginer une expérience Pendant usage ! UX momentanée ! Vivre une expérience Après usage ! UX épisodique ! Penser à une expérience A travers le temps ! UX cumulative ! Se souvenir de multiples périodes d’usage
  12. 12. Concevoir et évaluer l’expérience temporelle Souvent, nous considérons les produits que nous concevons et évaluons dans leur contexte d’usage. Il faut aussi penser à l’objet dans le temps. Contexte temporel Après usageAvant usage Un produit fabriqué Un produit acheté Un produit déballé Un produit utilisé Un produit aimé et adopté Un produit qui devient obsolète Un produit jeté ou recyclé Un produit amélioré Un produit transmis à une autre génération L’accessoire d’un produit Kolko, 2014
  13. 13. Panorama des méthodes d’évaluation UX Découvrir l’existant
  14. 14. Type de méthode Phase de développement Période de l’expérience Evaluateur / Source
  15. 15. Type de méthode Etudes de terrain En laboratoire Etudes online Questionnaire
  16. 16. Evaluateur / Source Experts Utilisateurs Groupes d’experts Groupes d’utilisateurs
  17. 17. Phase de développement Maquettes Phase conceptuelle Produits sur le marché Prototypes fonctionnels
  18. 18. Période de l’expérience Durant l’usage Avant l’usage Après l’usage
  19. 19. http://www.allaboutux.org/
  20. 20. Test des 5 secondes Evaluer la première impression
  21. 21. Qu’est-ce que la première impression ? • Le choix d’utiliser un système plutôt qu’un autre que l’on découvre pour la première fois repose sur plusieurs critères dont la première impression. • La première impression est un concept très fort en psychologie sociale, mais peu étudié dans le domaine des IHM. • Elle intervient avant la phase d’acceptation technologique (utilité perçue, utilisabilité perçue, etc.), et y contribue.
  22. 22. Contexte de l’étude • Un foisonnement d’applis mobiles avec des fonctionnalités similaires, et de sites web proposant des contenus identiques (produits, informations...). • Selon une étude de Pinch Media (2014), seules 20% des applications pour smartphone téléchargées sont encore utilisées le jour suivant. 30 jours après le téléchargement, ce pourcentage tombe à 5%. • On compte aujourd’hui : • 1,43 million d’appli sur Google Play • 1,21 million d’appli sur l’App Store
  23. 23. La première impression en psychologie sociale
  24. 24. Faire bonne impression ! • Un mécanisme socio- cognitif complexe • Un processus subjectif • Repose sur des éléments centraux (i.e. le sourire, la coiffure, la tenue vestimentaire) et périphériques (i.e. porter des lunettes, la manucure, la couleur de la cravate)
  25. 25. Faire bonne impression ! Les concepts clés : • les théories implicites de la personnalité • la formation d’impression • l’effet de Halo • Le biais de confirmation
  26. 26. Théories implicites de la personnalité • Nous nous forgeons une impression globale d’une personne à partir de quelques caractéristiques • La construction d’une impression globale s’appuie également sur ce que nous attendons de la personne
  27. 27. La formation d’impression Une expérience d’un psychologue : Asch (1946) • 4 groupes doivent donner leur opinion d’une personne décrite à partir de 7 adjectifs. 1 seul adjectif est modifié entre les 4 groupes Intelligent habile travailleur chaleureux déterminé pratique prudent Intelligent habile travailleur froid déterminé pratique prudent Intelligent habile travailleur poli déterminé pratique prudent Intelligent habile travailleur insensible déterminé pratique prudent Groupe 1 Groupe 2 Groupe 3 Groupe 4
  28. 28. L’effet de Halo • L’effet de Halo consiste à généraliser la première impression que l’on a de quelqu’un, à d’autres caractéristiques que ceux perçues • Si la première impression est favorable, la généralisation est positive • Si la première impression est défavorable, la généralisation est négative
  29. 29. L’effet de Halo en psychologie sociale L’expérience de Cliford (1975) : • des enseignants doivent décrire des enfants d’après une photo sur plusieurs dimensions (intelligence, évaluation des chances de succès à l’école, etc.) • Résultats : un enfant jugé «beau» est perçu par les enseignants comme plus intelligent et ayant plus de chance de succès à l’école, qu’un enfant jugé «laid».
  30. 30. Le biais de confirmation • Le biais de confirmation d’hypothèse est la tendance à chercher ou à interpréter toute preuve comme étant en faveur d'une croyance préexistante • A l’inverse, elle cherche à ignorer ou réinterpréter tout élément qui n'est pas favorable à ces croyances
  31. 31. Pour résumer Traits (Informations) Impression générale Inférence de traits Biais de confirmation
  32. 32. La première impression lors de la découverte d’un site web
  33. 33. La formation d’impression en IHM • La formation d’impression se forge en 50 ms (Lindgaard et Fernandes, 2006) • La première impression se construit à partir des éléments graphiques et visuels (design de la page) • La formation d’impression conditionne (effet de Halo) (Liu, White & Dumais, 2010) : • la crédibilité (Kim et Fesenmaier, 2008) • la facilitée d’utilisation perçue (Raita & Oulasvirta, 2011) • la loyauté de l’utilisateur envers le système
  34. 34. Le biais de confirmation en IHM • Plus l’utilisateur s’attend à ce qu’un site web soit facilement utilisable, plus il évaluera positivement l’utilisabilité de ce site (Raita & Oulasvirta, 2011) • Effet «screen-and-glean» (Liu, White & Dumais, 2010): • l’utilisateur explore tout d’abord la page très rapidement afin de s’en faire une première impression • il décide ensuite d’y rester ou non pour rechercher plus précisément les informations qui seraient susceptibles de l’intéresser
  35. 35. Favoriser la première impression Bonnardel et al., 2011
  36. 36. Pour résumer Eléments graphiques Impression générale Inférence des caractéristique Biais de confirmation
  37. 37. Pour résumer • Ce sont les éléments graphiques qui sont à privilégier (au moins au début de l’interaction) • La première impression affecte directement l’Expérience Utilisateur • Le site web doit présenter clairement ses objectifs • La première impression conditionne l’acceptation ou non du site
  38. 38. Pour résumer What is beautiful is usable* (Tractinsky et al., 2000) *Ce qui est beau est utilisable
  39. 39. Test des 5 secondes Le test permet de mesurer la première impression d’un site web, en 5 secondes !
  40. 40. Le test des 5 secondes Application !
  41. 41. Terminé !
  42. 42. Terminé !
  43. 43. Le test des 5 secondes Application !
  44. 44. Terminé !
  45. 45. Terminé !
  46. 46. Le test des 5 secondes - Protocole 1. Afficher auprès de plusieurs utilisateurs l’écran d’un système (maquette HD, capture d’écran...) pendant exactement 5 secondes. 2. Demander aux utilisateurs de répondre aux questions suivantes : • De manière générale, quelle est votre impression vis-à-vis de ce système ? Très mauvaise O O O O O Très bonne • De manière générale, comment jugez-vous l’esthétisme de ce système ? Très laid O O O O O Très beau • Selon vous, quels sont les objectifs visés par ce système ? • Quels éléments de l’interface avez-vous retenus (texte, logo, couleur, image, menus…) ? Si possible, merci de les reproduire sur la feuille blanche qui vous a été fournie.
  47. 47. Présentation et analyse des résultats
  48. 48. Présentation et analyse des résultats 0 1 3 8 3 0 1 2 3 4 5 6 7 8 9 Très laid Laid Ni laid ni beau Beau Très beau Dispersion des réponses des 5 utilisateurs concernant leur jugement de l'esthétisme du système 0 0 3 9 3 0 1 2 3 4 5 6 7 8 9 10 Très mauvaise Mauvaise Moyenne Bonne Très bonne Dispersion des réponses des 5 utilisateurs concernant leur impression vis-à-vis du système
  49. 49. Le test des 5 secondes Avantages de la méthode : • en ne s’intéressant qu’aux aspects visuels de l’interface, il est possible de tester une maquette statique (image) • prend peu de temps (environ 2 minutes par utilisateur) • le test sur prototype permet ainsi de valider les pages d’un site dès les premières phases de leur conception Limites de la méthode : • lorsque la page est trop chargée d’informations (comme une page d’accueil qui peut servir une multitude d’objectifs), sa consultation peut nécessiter de prendre plus de 5 secondes. Les résultats recueillis auprès de l’utilisateur peuvent donc être incomplets
  50. 50. Le questionnaire UX AttrakDiff Une mesure standardisée de l’UX
  51. 51. Les questionnaires standardisés Ensemble de questions présentées dans un ordre spécifique, selon un format spécifique, et suivant des règles spécifiques pour produire des métriques basées sur les réponses des participants Les questionnaires standardisés ont des qualités psychométriques (validité, fidélité) Les questionnaires « fait maison » peuvent quant à eux poser problème au niveau de leur qualité et leur capacité à mesurer le construit visé.
  52. 52. Le modèle de l’UX d’Hassenzahl Pour Hassenzahl, les gens perçoivent les produits interactifs selon deux dimensions : Qualités pragmatiques Qualités hédoniques Capacité à soutenir l’accomplissement de « do-goals » Focus sur le produit (utilité, utilisabilité, réalisation des tâches) Exemples « do-goals » : passer un appel, trouver un livre dans une librairie online, commander un article Capacité à soutenir l’accomplissement de « be-goals » Focus sur le Soi (pourquoi on possède et on utilise un produit particulier ?) Exemples « be-goals » : être compétent, être en relation avec les autres, être spécial,…
  53. 53. Modèle d’Hassenzahl (2003) Ce  modèle  théorique  illustre   comment  les  qualités   pragmatiques  et  hédoniques   in6luencent  la  perception   subjective  de  l'attractivité   donnant  naissance  à  des   comportements  et  des  émotions. Caractéristiques du produit Contenu Présentation Fonctionnalité Interaction Caractère particulier visé Attributs pragmatiques Manipulation Attributs hédoniques Stimulation Identification Évocation Conséquences Attrait Plaisir Satisfaction Point de vue du concepteur Point de vue de l’utilisateur Caractéristiques du produit Contenu Présentation Fonctionnalité Situation Interaction Caractère apparent du produit Attributs pragmatiques Manipulation Attributs hédoniques Stimulation Identification Évocation Conséquences Attrait Plaisir Satisfaction (©  User  Interface  Design  GmbH).  http://attrakdiff.de/sience-­‐en.html
  54. 54. Le questionnaire AttrakDiff Développé en allemand par une technique de génération participative d’items par des experts Evalue les qualités pragmatiques et hédoniques des systèmes interactifs Composé de 28 items • 7 items pour les aspects pragmatiques • 7 items pour les aspects hédoniques - identification • 7 items pour les aspects hédoniques - stimulation • 7 items pour l’évaluation de l’attractivité 10 items en version abrégée
  55. 55. Types d’évaluation AttrakDiff Evaluation unique : adaptée pour une évaluation unique ou temporaire d’un produit ou système Comparaison avant-après : ce type d’évaluation permet de tester le produit 2x : avant et après l’implémentation de changements. Vous aurez ainsi un résumé détaillé des effets des changements. Comparaison Produit A - Produit B : ce type d’évaluation implique deux produits qui sont évalués et comparés. Vous serez en mesure de voir comment les utilisateurs perçoivent les différents produits.
  56. 56. Exercice pratique passation et scoring AttrakDiff Sous-échelle Items (dans l’ordre de passation) QP_1 Humain Technique QHI_1 M’isole Me sociabilise ATT_1 Plaisant Déplaisant QHS_1 Original Conventionnel QP_2 Simple Compliqué QHI_2 Professionnel Amateur ATT_2 Laid Beau QP_3 Pratique Pas pratique ATT_3 Agréable Désagreable QP_4 Fastidieux QHI_3 De bon goût De mauvais goût QP_5 Prévisible Imprévisible QHI_4 Bas de gamme Haut de gamme QHI_5 M’exclut M’intègre QHI_6 Me rapproche des autres Me sépare des autres QHI_7 Non présentable Présentable ATT_4 Rebutant Attirant QHS_2 Sans imagination Créatif ATT_5 Bon Mauvais QP_6 Confus Clair ATT_6 Repoussant Attrayant QHS_3 Audacieux Prudent QHS_4 Novateur Conservateur QHS_5 Ennuyeux Captivant QHS_6 Peu exigeant Challenging ATT_7 Motivant Décourageant QHS_7 Nouveau Commun QP_7 Incontrôlable Maîtrisable Note : Les items QP_1, ATT_1, QHS_1, QP_2, QHI_2, QP_3, ATT_3, QHI_3, QP_5, QHI_6, ATT_5, QHS_3, QHS_4, ATT_7 et QHS_7 sont inversés.
  57. 57. Codage des items Echelle Qualité Pragmatique (QP) Item - 3 - 2 -1 0 + 1 + 2 + 3 QP1* Humain ☐ ☐ ☐ ☐ ☐ ☐ ☐ Technique QP2* Simple ☐ ☐ ☐ ☐ ☐ ☐ ☐ Compliqué QP3* Pratique ☐ ☐ ☐ ☐ ☐ ☐ ☐ Pas pratique QP4 Fastidieux ☐ ☐ ☐ ☐ ☐ ☐ ☐ Efficace QP5* Prévisible ☐ ☐ ☐ ☐ ☐ ☐ ☐ Imprévisible QP6 Confus ☐ ☐ ☐ ☐ ☐ ☐ ☐ Clair QP7 Incontrôlable ☐ ☐ ☐ ☐ ☐ ☐ ☐ Maîtrisable
  58. 58. Représentation des résultats Graphique des paires de mots Technique - Humain Compliqué - Simple Pas pratique - Pratique Fastidieux - Efficace Imprévisible - Prévisible Confus - Clair Incontrôlable - Maîtrisable Conventionnel - Original Sans imagination - Créatif Prudent - Audacieux Conservateur - Novateur Ennuyeux - Captivant Peu exigeant - Challenging Commun - Nouveau M'isole - Me sociabilise Amateur - Professionnel De mauvais goût - De bon goût Bas de gamme - Haut de gamme M'exclut - M'intègre Me sépare des autres - Me rapproche des autres Non présentable - Présentable Déplaisant - Plaisant Laid - Beau Désagréable - Agréable Rebutant - Attirant Mauvais - Bon Repoussant - Attrayant Décourageant - Motivant Qualité pragmatique Qualité hédonique- stimulation Qualité hédonique- identification Attractivité globale -3 -2 -1 0 1 2 3 Diagramme des valeurs moyennes 1,2 -1,35 1,9 1,5 -3 -2 -1 0 1 2 3 QP QHS QHI ATT Valeurmoyenne Dimension
  59. 59. Représentation des résultats qualité pragmatique qualitéhédonique 0 -3 -3 3 3 trop orienté vers le soi orienté vers le soi désiré neutre superflu orienté tâche trop orienté tâche Légende Intervalle de confiance Score à l’AttrakDiff Portfolio des résultats
  60. 60. AttrakDiff utilisé dans une étude longitudinale 0" 1" 2" 3" 4" 5" 6" 7" 1" 2" 3" 4" 5" 6" 7" 8" 9" 10" Score&à&l'A+rakDiff& Jour& Qualité"hédonique" Qualité"pragma=que" Évalua=on"globale"
  61. 61. Courbes d’évaluation UX Etudier la dynamique temporelle de l’UX
  62. 62. Maintenir un usage prolongé : un enjeu actuel Les systèmes et produits sont de plus en plus intégrés sous forme de services Le focus passe donc de favoriser l’acceptance initiale (l’achat) à maintenir un usage prolongé ! De nombreux projets appellent désormais des études longitudinales de l’UX Plus l’impact envisagé sur l’expérience des gens et leurs pratiques sociales est ambitieux, plus le besoin est fort d’étudier l’UX sur de longues périodes
  63. 63. Temporalité de l’UX Modèle de Karapanos Attentes Anticipation Attentes Orientation Identification Incorporation StimulationApprenabilité PersonnelSocial Utilisabilité à long terme Utilité Expérience Jugem ent L’anticipation d’une expérience donne lieu à des attentes. Les expériences initiales sont dominées par les sentiments d’excitation et de frustration au fur et à mesure que l’utilisateur expérimente de nouvelles fonctionnalités et rencontre des problèmes d’apprenabilité. Le produit commence à prendre du sens dans le quotidien. L’utilisabilité à long terme devient ici plus importante que l’apprenabilité initiale et l’utilité du produit devient le facteur majeur impactant les jugements d’évaluation. Le produit est accepté dans la vie, il contribue aux interactions sociales, communique des parts de l’identité de l’utilisateur, qui le différencient ou le rapprochent des autres. Familiarité Attachementémotionnel Dépendance fonctionnelle Extrait de Lallemand et Gronier, 2015
  64. 64. Evaluer l’UX à long terme : paradigmes possibles Transversal Longitudinal Mesures répétées Rétrospectif Karapanos, Martens & Hassenzahl, 2010
  65. 65. Approche constructiviste La reconstruction en mémoire se fait dans un ordre temporel chronologique Le rappel d’un évènement sert d’indice à la reconstruction d’autres évènements et apporte des détails contextuels L’expérience émotionnelle ne peut être ni stockée ni récupérée en mémoire. Elle peut être reconstruite sur base des indices contextuels rappelés. Exemple : Le souvenir de vos dernières vacances
  66. 66. Validité et fiabilité des méthodes rétrospectives A quel point ces données rétrospectives souffrent-elles de biais liés à la mémoire ? Le côté véridique et réaliste (validité) des expériences reconstruites est finalement peu important car ces « souvenirs » • vont guider les comportements ultérieurs des individus • vont être communiqués à autrui En revanche, il est important que ces méthodes soient fiables : Il importe peu que ce dont on se souvient diffère de ce que nous avons vécu tant que ces souvenirs sont consistants à travers de multiples rappels, alors ils donnent une information pertinente.
  67. 67. L’évaluation rétrospective Réalisée en situation d’entretien S’adresse à des utilisateurs « experts » (ayant utilisé le produit depuis plusieurs mois / années) Etudie l’UX à travers le temps selon plusieurs dimensions : utilité, utilisabilité, stimulation, beauté, identité, attractivité… 2 types de données recueillies : - des rapports d’expériences expliquant les changements de l’UX à travers le temps - un pattern de changement remémoré sous forme de courbe
  68. 68. Comment évaluer l’UX à l’aide de courbes ? Procédure globale Au moment présent, comment évaluez vous l’utilisabilité de votre produit sur une échelle de 0 (pas du tout) à 10 (extrêmement) ? Au début de l’usage, comment évaluiez vous l’utilisabilité de votre produit sur une échelle de 0 (pas du tout) à 10 (extrêmement) ? Si les deux évaluation diffèrent, alors on explore la forme de la courbe et les incidents éventuels. Exemple étude sur téléphones mobiles (n=8)
  69. 69. :
  70. 70. Exercice pratique UX Curve • Vise à aider les utilisateurs à rapporter rétrospectivement comment et pourquoi leur expérience avec un produit a changé au fil du temps • Plusieurs types de courbes : • UX générale • Attractivité • Facilité d’usage • Utilité • Volume d’usage
  71. 71. Analyse des courbes • Si tracé des courbes sur papier, la première tâche est de transférer les données sous format électronique. • Catégorisez les courbes selon 3 tendances : • amélioration (point d’arrivée plus haut que celui de départ sur l’axe vertical), • détérioration (point d’arrivée plus bas que départ) • stabilité. • Représentez séparément les courbes montrant une amélioration de l’UX et celles qui montrent une détérioration ou stabilité. • Chaque courbe est nommée selon l’identifiant du participant, afin de pouvoir la lier au rapport d’expérience correspondant.
  72. 72. Représentation courbes d’amélioration Fig. 4. The deteriorating and stable general UX Curves with user IDs. Fig. 5. The improving Attractiveness curves with user IDs. Fig. 8
  73. 73. Représentation courbes détérioration ou stabilité Fig. 5. The improving Attractiveness curves with user IDs. Fig. 6. The deteriorating and stable Attractiveness curves with user IDs.
  74. 74. Représentation courbes moyennes Ensuite, on crée des courbes moyennes d’amélioration et de détérioration basées sur les moyennes des courbes individuelles de chaque catégorie Mean attractiveness curves 8
  75. 75. Analyse des rapports d’expérience • Les commentaires et annotations des participants au sujet de leurs expériences font l’objet d’une analyse de contenu. • On les regroupe généralement par dimension étudiées et par valence (distinction négatif, positif, ambivalent) • On crée ensuite des catégories de facteurs similaires que l’on peut représenter visuellement sur un graphique ou nuage de mots.
  76. 76. IScale - http://www.iscale.nl/ Karapanos et al.
  77. 77. Merci de votre attention ! Commentaires ? Questions ? Suggestions ? carine.lallemand@gmail.com @carilall guillaume.gronier@gmail.com @guillaumgronier
  78. 78. Références Karapanos, E., Martens, J.-B., Hassenzahl, M. (2012) Reconstructing Experiences with iScale. International Journal of Human-Computer Studies, 70 (11), pp. 849-865, http://dx.doi.org/10.1016/j.ijhcs.2012.06.004 Karapanos, E., Zimmerman, J., Forlizzi, J., & Martens, J. (2010). Measuring the Dynamics of Remembered Experience Over Time. Interacting with Computers, 22 (5), doi: 10.1016/j.intcom.2010.04.003 Karapanos, E., Martens, J.-B., Hassenzahl, M. (2010) On the Retrospective Assessment of Users’ Experiences Over Time: Memory or Actuality?. CHI’10 extended abstracts on Human factors in computing systems. Atlanta, ACM Press. Karapanos E., Zimmerman J., Forlizzi J., Martens J.-B. User Experience Over Time: An Initial Framework, In Proceedings of the 27th international Conference on Human Factors in Computing Systems (Boston, MA, USA, April 04 – 09, 2009). CHI’09. ACM, New York, NY, 729-738. DOI= http:// doi.acm.org/10.1145/1518701.1518814 Hassenzahl, Marc (2013): User Experience and Experience Design. In: Soegaard, Mads and Dam, Rikke Friis (eds.). "The Encyclopedia of Human- Computer Interaction, 2nd Ed.". Aarhus, Denmark: The Interaction Design Foundation. Hassenzahl, M., Burmester, M., Koller, F. (2003) AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität. In: Ziegler, J., Szwillus, G. (eds.) Mensch & Computer 2003. Interaktion in Bewegung, pp. 187–196. B.G. Teubner, Stuttgart. / AttrakDiff. Internet Resource http://www.attrakdiff.de. Hassenzahl, M. (2003). The thing and I: Understanding the relationship between user and product. In M. A. Blyth, A. F. Monk, K. Overbeeke, & P. C. Wright (Eds.), Funology: From usability to enjoyment, 1-12 (chap. 3). Kluwer Academic Publishers. Kujala, S., Roto, V., Vaananen-Vainio-Mattila, K., Karapanos, E., Sinnela, A.: UX Curve: A Method for Evaluating Long-Term User Experience. Interacting with Computers (2011). http://dx.doi.org/10.1016/j.intcom.2011.06.005 Lallemand, C., Koenig, V., & Gronier, G. (soumis) Création et validation d’une version française du questionnaire AttrakDiff pour l’évaluation de l’expérience utilisateur des systèmes interactifs. Roto, V., Law, E., Vermeeren, A., & Hoonhout, J. (2011). User Experience White Paper: Bringing clarity to the concept of user experience. Result from Dagstuhl Seminar on Demarcating User Experience, Finland. von Wilamowitz-Moellendorff, M., Hassenzahl, M., and Platz, A. (2006). Dynamics of user experience: How the perceived quality of mobile phones changes over time. In User Experience - Towards a unified view, Workshop at the 4th Nordic Conference on Human-Computer Interaction, pp. 74-78.

×