présentation à atelier "Conception et évaluation de tableaux de bord d’apprentissage"

1. 1
PadLAD
un outil de
Conception participative
de tableaux de bord d’apprentissage (TBA)
Atelier RJC-EIAH, Lille 2022
Jean-Marie Gilliot
Madjid Sadallah, Sébastien Iksal

2. 2
Cadre
⚪ Premiers travaux dans le cadre du projet ANR Hubble
⚪ AT-41 (de l’appropriation des outils numériques à la transformation des
pratiques)
◊ Projet de recherche-action académie 41 (Orléans-Tours)
◊ Partenaires : ERCAE Orléans, Lab-STICC, LIUM

3. 3
Contexte : Learning Analytics
3
Data gathering
Data
Production
Data Preprocessing
and analysis
Indicators
Other information
Dashboard
Presentation
1
2
3
4
New Knowledge
Feedbacks
Other information
Data
Production
Data gathering
Data Preprocessing
and analysis
Take action
TBA

4. 4
TBA : Pourquoi c’est important ?
⚪ Des principes de conception mal compris
⚪ Conception difficile
◊ Nécessité d’y associer les utilisateurs
⚪ Les utilisateurs manquent d’expérience des TBA et de litéracie des données
◊ Nécessité de visualisation adaptées
◊ Nécessité de donner plus de capacité d’agir aux utilisateurs
⚪ Difficulté de transformer la compréhension en action
◊ Nécessité d’accompagner la prise de décision

5. 5
Associer les utilisateurs
Conception participative – co-design
(Prieto-Alvarez, et al. 2018)
Co-designing learning analytics tools with learners.
Encourager
l’explicitation des
besoins

6. 6
Reprise du Kit de capture des besoins de TBA

7. 7
Mieux cerner les TBA
⚪ Une grande diversité de TBA
⚪ Définition de
l’espace de conception
(Kay 2012)
⚪ Pour accompagner la conception de
TBA
◊ Capture de besoins
◊ Outil de conception participative
⚪ Pour proposer des outils d’aide à la
génération de TBA
⚪ Pour capitaliser sur les TBA

8. 8
Espace de conception : les acteurs
⚪ Qui ?
◊ Niveau Utilisateur : apprenant,
enseignant, programme,
institution, gouvernance
◊ TBA : un outil de communication
(Sarikaya 2019)
◊ Audience - Circulation :
publique, organisationnelle,
sociale, individuelle
⚪ Quand ?
◊ Temps réel ou historique

9. 9
Accompagner la prise de décisions
Modélisation du processus décisionnel
Processus décisionnel capacité à observer l’environnement, et à le comprendre
(Conscience de la situation) en tirant du sens des observations (Construction du
sens)
Conscience de la situation (SA*)
Situational Awareness Model (Endsley 1995)
Construction de sens (SM**)
Data/Frame Model (Klein 2007)
*SA : connaître ce qui se passe dans l'environnement et évaluer ses implications pour le présent et l'avenir
**SM: processus de création d'une conscience et d'une compréhension de la situation pour soutenir la prise de décision
Etats - Niveaux
Notion de schème
Activité – Processus

10. 10
Espace de conception : le pourquoi
◊ Focus
niveau d’intervention étudiant
visé (Sedrakayan et al. 2019)
◊ Cognitif, orienté résultat ou processus,
behavioral, meta-cognitif
◊ Émotion
Enseignant
◊ Intervention étudiants
◊ Gestion : personnes (student at risk),
ressources, activités (dont évaluation),
expérience
Autres ?
◊ Niveau de « Situation awareness »
◊ Perception (suivi, monitoring, …)
◊ Compréhension (analyse, réflexion)
◊ Projection (prédiction)
◊ Action (décision, intervention, feedback,
évaluation)
⚪ Pourquoi ? L’objectif du TBA
◊ Dépasser la liste simple

11. 11
Espace de conception :
la visualisation et l’interaction
⚪ Quoi ?
◊ Data
◊ Data scope :
◊ Apprenant
◊ Enseignant
◊ Classe
◊ Cohorte
◊ Institution
◊ Pays
⚪ Comment ?
◊ Visualisation
◊ Interaction
Mantra de recherche
d’information de Shneiderman
◊ Overview
◊ Zoom
◊ Filter
◊ Details on demand
◊ Relate
◊ History
◊ Extract

12. 12
Outiller la conception participative
⚪ Workshop – focus groups
⚪ Personae
⚪ Cartes de conception (Lucero et al., 2016)
◊ Inspiration
◊ technologiques

13. 13
Atelier Rennes 20/10/21
⚪ Avec
◊ Jean-Marie Gilliot, Madjid Sadallah – IMT Altantique / Lab-STICC
◊ Sébastien Iksal, Rémi Venant – LIUM
◊ Laurent Neyssensas, Gabriel Trouvé – EDNA
◊ Olivier Aubert, LS2N
◊ Katia Quelennec, Katy Fronton – U Lille
◊ Mathieu Vermeulen – IMT Nord Europe

14. 14
Kit de capture des besoins – V2

15. 15
Cadre : Utilisateur(s) et Objectif

16. 16
Données et visualisations

17. 17
Exemple Données

18. 18
Exemple Visualisation

19. 19
Retours utilisateurs
⚪ Une première expérimentation avec des professeurs de collège
◊ Session d’idéation avec PadLAD
◊ Session de démonstration
◊ Amélioration – validation du design
⚪ Une deuxième hier
avec Hype13 et FUN_MOOC
⚪ Questionnaires expérimentaux
◊ Utilisabilité
◊ Qualité de la collaboration

20. 22

21. 23
Conclusion
⚪ Un outil de conception participative
◊ Pour mieux associer les utilisateurs de TBA
◊ Intégrant : audience, prise de décision
◊ Point d’entrée pour une approche générative des TBA
⚪ Support pour d’autres recherches
◊ Permettre la définition de TBA
◊ Adaptation aux publics
◊ Capitalisation des TBA
⚪ Besoin de Collecte de retours utilisateurs

22. 24
Références
⚪ Endsley, M.: Toward a theory of situation awareness in dynamic systems: Situation awareness. Human
factors 37(1), 32–64 (1995)
⚪ Klein, G., Moon, B., Hoffman, R.R.: Making sense of sensemaking 1: Alternative perspectives. IEEE
intelligent systems 21(4), 70–73 (2006)
⚪ Lucero, A., Dalsgaard, P., Halskov, K., Buur, J.: Designing with cards. In: Collaboration in Creative
Design, pp. 75–95. Springer (2016)
⚪ Prieto-Alvarez, C.G., Martinez-Maldonado, R., Anderson, T.D.: Co-designing learning analytics tools with
learners. In: Lodge, J.M., Horvath, J.C., Corrin, L. (eds.) Learning Analytics in the Classroom, pp. 93–
110. Routledge, Abingdon, Oxon ; New York, NY : Routledge, 2019., 1 edn. (Oct 2018)
⚪ Sarikaya, A., Correll, M., Bartram, L., Tory, M., Fisher, D.: What do we talk about when we talk about
dashboards? IEEE Transactions on Visualization and Computer Graphics 25(1), 682–692 (2019)
⚪ Shneiderman, B.: The eyes have it: A task by data type taxonomy for information visualizations. In:
The craft of information visualization, pp. 364–371. Elsevier (2003)
⚪ Sedrakyan, G., Mannens, E., Verbert, K.: Guiding the choice of learning dashboard visualizations:
Linking dashboard design and data visualization concepts. Journal of Computer Languages 50, 19–38
(2019)

23. 25
Voulez vous Participer ?