Ce document explore la conceptualisation de l'utilisabilité appliquée aux sites intranets, mettant en évidence la nécessité d'un cadre de réflexion et d'outils de mesure. La recherche vise à approfondir la compréhension du concept d'utilisabilité et à développer un modèle théorique avec des indicateurs contrôlables. Des méthodologies de recherche rigoureuses et des analyses des résultats sont présentées pour tester ce cadre dans un contexte pratique.

1. Conceptualisation du construit d’utilisabilité: application au cas des sites intranets Projet de recherche de MSc, HEC Montréal Camille Grange Étudiante au Doctorat, UBC 22 Février 2008

2. 0. Plan Origine et objectifs Revue de littérature Modèle de recherche Méthodologie Analyses et résultats Contributions 0 2 3 4 1 5 6

3. 1. Origine du projet Utilisabilité dans l’industrie  Besoins d’un cadre de réflexion, d’un outil de mesure Utilisabilité dans la recherche (IHM, SI) Beaucoup de listes ad hoc Dans l’ensemble confus “… a hodgepodge collection of do-it-yourself categories and various collections of rules-of-thumbs.” Gray et Salzman 1998 ‘… a fuzzy concept …difficult to evaluate and impossible to measure”. Bevan et MacLeod 1994 “… a multidimensional creature that changes its nature according to prevailing circumstances.” McClelland (dans Olson et Moran 1998 ) 0 2 3 4 1 5 6

4. 1. Objectifs de recherche … et pourtant l’utilisabilité est considéré comme un facteur clé de succès des SI Landauer (1996) McQueen (2005) Nielsen (2000 et 2006) Objectifs de cette recherche: Approfondir la compréhension du concept d’utilisabilité Déveloper une conceptualisation “utile”: critères de conception contrôlables, c'est-à-dire évaluables et corrigeables Appliquer et tester ce cadre dans un contexte ‘Intranet’ 0 2 3 4 1 5 6

5. 2. Utilisabilité: différentes perspectives 0 2 3 4 1 5 6 Intrinsèque Shahizan (2005) Keenan et al. (1999) Keevil (1998) Bastien & Scapin (1995) Performance ISO 9241-11 (1998) Bevan (1994-1995) Nielsen (1993) Shackel (1991 ) Mixe Seffah Donyaee Kline Padda (2006) Agarwal et Venkatesh (2002) Palmer (2002) Qualité des messages d’erreur Taille des menus Temps de téléchargement Qualité du contenu Flexibilité de l’interface Densité informationnelle (…) Efficacité Efficience Satisfaction Facilité d’apprentissage Effort mental Rétention (…) - Seffah et al .: par ex. Navigabilité et lisibilité versus efficacité et satisfaction - Agarwal et Venkatesh : Contenu et Flexibilité versus Facilité d’utilisation et Émotion Facilité d’utilsation perçue Utilité d’utilisation perçue Davis (1986, 1989)

6. 2. Utilisabilité: différentes perspectives Mesures Intrinsèques Mesures de Performance 0 2 3 4 1 5 6 Palmer (2002)

7. 2. Revue de littérature: récapitulatif Perspective « Performance » A + : Décisions ‘Go/No go’ sur la base d’un critère de score A - : On ne sait pas quel élément TI cause une bonne / mauvaise performance Perspective « Intrinsèque » A + : Inspection d’éléments contrôlables A + : Les scores de ces indicateurs permettent d’identifier les progrès à apporter Perspective « Mixte » A - : On n’aime pas ça comparer des pommes et des oranges! A + : Le modèle de Palmer (2002) sépare causes (indicateurs intrinsèques) et effets (indicateurs de performance) Conceptualisation intrinsèque  Construit formatif plutôt que réflexif ( les 7 critères de Jarvis et al., 2003 )  Besoin d’un cadre théorique  Inclusion des indicateurs de performance dans un réseau nomologique 0 2 3 4 1 5 6

8. 3. Choix et adaptation du cadre théorique Structure du modèle Garrett (2004 )  Le cas d’un type de SI: les intranets Spécification des indicateurs et classification Agarwal et Venkatesh (2002) Palmer (2002) Shahizan (2005) Bastien et Scapin (1995) Entrevues avec 5 experts de l’utilisabilité Validation Spécification Complétude 0 2 3 4 1 5 6

9. 3. Modèle de recherche 0 2 3 4 1 5 6

10. 3. Modèle de recherche 0 2 3 4 1 5 6

11. 3. Modèle de recherche 0 2 3 4 1 5 6

12. 3. Modèle de recherche 0 2 3 4 1 5 6

13. 4. Méthodologie Diamantopoulos et Winkhlofer (2001) : MIMICs Variables dépendantes Facilité d’utilisation perçue (PEOU) Utilité perçue (PU) Développement des items Échelles de type Likert : (1 à 5 – de ’fortement en désaccord’ à ‘fortement en accord’) 0 2 3 4 1 5 6 Indicateurs formatifs Indicateurs réflexifs Indicateurs réflexifs Indicateurs formatifs

14. 4. Méthodologie Enquête électronique Pré-tests Clarté des questions (N=12) Tests technologiques Échantillonnage de convenance: 3 entreprises Québécoises Collecte: de Septembre à Novembre 2006 Taille finale de l’échantillon: N=159 (27 – 89 – 48) 0 2 3 4 1 5 6

15. 5. Analyses et Résultats Analyses LISREL  modèles MIMICs de premier ordre Analyses de la convergence du modèle (“fit”) Paramètres lambdas Validité nomologique (beta et R 2 )  Exemples pour la dimension “Contenu informationnel” Analyses PLS  modèles de second ordre Weights / loadings analysis Validité externe (betas et R 2 ) Exemples pour le modèle global avec PEOU Synthèse et comparaison des résultats 0 2 3 4 1 5 6

16. 5. Analyses et Résultats MIMIC 1 – Contenu informationel Back 0 2 3 4 1 5 6

17. 5. Analyses et Résultats MIMIC nomologique 1.1 – Contenu informationel et PEOU Back 0 2 3 4 1 5 6

18. 5. Analyses et Résultats Modèle global : l’utilisabilité en tant que construit formatif de second ordre Back 0 2 3 4 1 5 6

19. 5. Analyses et résultats 0 2 3 4 1 5 6 Pour la dimension contenu informationnel Autres comparaisons

20. 6. Contributions 0 2 3 4 1 5 6

21. Questions et Discussions Merci pour votre attention! Camille Grange Chargée du projet de recherche [email_address] Henri Barki Professeur superviseur Titulaire de la chaire de recherche du Canada en implantation et gestion des technologies de l’information [email_address]

22. References Agarwal, R., et Venkatesh, V. "Assessing a firm's web presence: a heuristic evaluation procedure for the measurement of usability," Information Systems Research (13:2) 2002, pp 168-186. Bastien, J., et Scapin, D. "Evaluating a user interface with ergonomic criteria," International Journal of Human-Computer Interaction (7) 1995, pp 105-121. Diamantopoulos, A., et Winklhofer, H. "Index construction with formative indicators: An alternative to scale development," Journal of Marketing Research (38:2) 2001. Garrett, J. J. The Elements of User Experience: User-Centered Design for the Web Riders Publishing in conjunction with the American Institute of Graphic Arts New York, NY, 2003. Gray, W., et Salzman, M. "Damaged merchandise? A review of experiments that compare usability evaluation methods," Human Computer Interaction (13) 1998, pp 203-261. Jarvis, C. B., MacKenzie, S. B., et Podsakoff, P. M. "A critical review of construct indicators and measurement model misspecification in marketing and consumer research," Journal of Consumer Research (30:2) 2003, pp 199-218. McQueen, H. "Développer un projet de portail gagnant : Étude de la gouvernance opérationnelle chez US Foods&Drugs Administration," Sixième conférence internationale sur les intranets et les technologies de l'information (Intracom), Québec, Canada, 2005. Nielsen , J. Designing Web Usability New Riders Publishing, 2000, p. 432. Palmer "Web site usability, design, and performance metrics," Information Systems Research (13:2) 2002, pp 151-167. Shahizan, H. "Evaluating the Usability and Content Usefulness of Web Sites: A Benchmarking approach," Journal of Electronic Commerce in Organization (3::2) 2005.

23. Agarwal and venkatesh (2002) Back

24. Palmer (2002) Back

25. Bastien and Scapin (1995) Back - 8. Compatibilité - 7.Signifiance des codes et dénominations - 6. Homogénéité / cohérence 5.1 Protection contre les erreurs 5.2 Qualité des messages d’erreurs 5.3 Correction des erreurs 5. Gestion des erreurs 4.1 Flexibilité 4.2 Prise en compte de l’expérience utilisateur 4. Adaptabilité 3.1 Actions explicites 3.2 Contrôle utilisateur 3. Contrôle explicite 2.1Brièveté 2.1.1 Concision 2.1.2 Actions minimales 2.2 Densité informationnelle 2. Charge de travail 1.1 Incitation 1.2 Groupement/Distinction entre items 1.2.1 Par la localisation 1.2.2 Par le format 1.3 Feedback immédiat 1.4 Lisibilité 1. Guidage Sous critère Critère principal

26. Jesse James Garrett: “The elements of user experience” (2004) Back + Contenu informationnel + Fonctionnement du système

27. Jarvis and al. criteria for choosing formative conceptualisation The indicators are viewed as defining characteristics of the construct Changes in the indicators are expected to cause changes in the construct Changes in the construct are not expected to cause changes in the indicators The indicators do not necessarily share a common theme Eliminating an indicator may alter the conceptual domain of the construct, A change in the value of one of the indicators is not necessarily expected to be associated with a change in all of the other indicators, and The indicators are not expected to have the same antecedents and consequences.” (Jarvis et al. 2003, p. 203) Back

28. Comparaison des modèles Pour la dimension Performance technologique Retour

29. Comparaison des modèles Pour la dimension Design d’interface

30. Comparaison des modèles Pour la dimension Design d’interaction

31. Comparaison des modèles Pour la dimension design d’information

32. Comparaison des modèles Pour la dimension design de navigation

33. Comparaison des modèles Pour la dimension design visuel