Introduction aux Learning Analytics, présentée au Techne dans les cadre des séminaires scientifiques, le 21/03/2019.
Présentation fondée notamment sur le rapport de Hugues Labarthe et Vanda Luengo "L'analytique des apprentissages numériques.".
2. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Améliorer l’apprentissage
• Évaluer les capacités d’abstraction des apprenants
• Détecter leur perte d’attention
• Adopter une pédagogie différenciée
• Dresser un bilan personnalisé au fil de l’apprentissage
• …
Introduction 2
3. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Approche méthodique
• Observer les traces comportementales et
cognitives d’un apprentissage
• Analyser ces traces
• Réinvestir les résultats obtenus dans
l’apprentissage
• Problème : observation humaine non
instrumentée limitée et fragile
3Introduction
4. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Le numérique comme support
• Accroissement permanent de l’utilisation du
numérique dans l’éducation
• Diversification des traces : en temps réel ou en
différée, à distance ou en présentiel
• Collecte et analyse des traces numériques pour
aider tous les acteurs de la communauté
éducative : apprenants, enseignants, parents,
personnel de l’éducation, gestionnaires.
4Introduction
5. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Agenda
1. Émergence et définition des Learning Analytics
• Historique des L.A. dans la recherche
• Définitions des L.A.
2. Pratiques des Learning Analytics
3. Perspectives et enjeux
1. Émergence et définition des Learning Analytics 5
6. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Définitions des termes usuels en Sciences des Données
1. Émergence et définition des Learning Analytics > 1.1. Historique
Intelligence
Artificielle
Machine Learning
Deep
Learning
Data Mining
Pattern
Mining
Rule
Mining
Process
Mining
Application d’algorithmes, issus des statistiques et
de l’intelligence artificielle pour l’extraction d’information
De gros volumes de données.
Big Data
Statistiques
Collecte ?
Stockage ?
Restitution ?
Interprétation ?
6
7. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Analytics
• Analytics : techniques informatiques et mathématiques pour révéler
une information pertinente à partir de larges ensembles de données.
• Analytics vs. Data Mining:
• Data Mining : la structure de données serait indissociable des données
elles-mêmes.
• Analytics : Dépasser la description et l’extrapolation, pour leur substituer
la modélisation, la recommandation et la prédiction [Davenport et al. 2010]
• Analytique : néologisme, encore inconnu des dictionnaires généralistes
1. Émergence et définition des Learning Analytics > 1.1. Historique 7
8. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Et l’apprentissage dans tout ça ?
Données d’apprentissage déjà intensivement exploitées pour les EIAH
• 1973 : analyse exploratoire de donnée, modélisation de l’apprenant
• 1994 : groupe Intelligence artificielle et Didactique [Balacheff, 1994]
• 1999 : 1ère conférence AIED
• 2003 : 1ère conférence EIAH, incluant la communauté EIAO francophone
1. Émergence et définition des Learning Analytics > 1.1. Historique 8
9. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Facteurs de développement de l’analyse des données
d’apprentissage
• Augmentation rapide du volume des données mis à disposition des chercheurs
• Archives publiques (Pittsburg Science of Learning Center DataShop)
• Multiplication des dispositifs d’apprentissage numériques (LMS, MOOCs)
• Données plus structurées et interopérables
• Accroissement des capacités de calcul
• Démocratisation de frameworks (Hadoop) et d’outils d’analyse (R, Weka, Scipy)
• Diffusion des compétences d’analyste dans divers domaines des Sciences
1. Émergence et définition des Learning Analytics > 1.1. Historique 9
10. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Émergence de communautés scientifiques
1. Émergence et définition des Learning Analytics > 1.1. Historique
Journal of Analytics
Educational Data Mining
2008
Society for Learning Analytics
Research (SoLAR)
Learning Analytics and
Knowledge
2011
Journal of EDM
2009
Educational Data Mining @
ITS
2000
10
11. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Émergence de communautés scientifiques
1. Émergence et définition des Learning Analytics > 1.1. Historique
EDM LA
International Educational Data Mining Society Society for Learning Analytics Research (SoLAR)
Améliorer les expériences d’apprentissage et leurs environnements
Développement de nouveaux outils et algorithmes
pour révéler les modèles enfouis dans les données
d’apprentissage.
modélisation et visualisation des données sont
transmises aux acteurs de l’apprentissage (apprenant,
personnels d’éducation, enseignants…)
Fouille de donnée automatisée : méthode de
découverte automatisée en vue d’établir les meilleures
prédictions possibles
Outils d’aide à la décision : méthode de découverte
des données par les acteurs de l’apprentissage, via des
modules d’Analytics et de visualisation.
procède en réduisant le système d'apprentissage à ses
composantes principales, en modélisant séparément les
apprenants, les tuteurs, le domaine enseigné etc.
privilégie une approche systémique, appréhendant la
situation d'apprentissage comme un ensemble.
Journal of Educational Data Mining Journal of Learning Analytics
International Education Data Mining Conference Conference on Learning Analytics and Knowledge (LAK)
11
12. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Définition des Learning Analytics
L’évaluation, l’analyse, la collecte et la communication
des données relatives aux apprenants et leurs
contextes d’apprentissage,
dans la perspective d’une compréhension et d’une
optimisation de l’apprentissage et de son
environnement
[Long, Siemens 2011]
Objectif : ne pas noyer les acteurs dans les données, mais leur donner
des moyens pertinents de les explorer [Charleer et al. 2014] et de
faciliter leur prise de décision
1. Émergence et définition des Learning Analytics > 1.2. Définition 12
13. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Spécificité et objectifs des Learning Analytics
• Proposer des méthodes, visualisations, algorithmes en vue d’améliorer les
résultats des apprenants, renforcer leur engagement, optimiser leurs
expériences d’apprentissage
=> Learning Analytics
• Analyser et améliorer la conception pédagogique et la dispense
d’enseignements par l’exploitation des données générées par l’enseignant
=> Teaching Analytics
• Soutenir la représentation de minorités ethniques, augmenter la productivité
de l’organisation, allouer des ressources aux établissements en déficits de
résultats
=> Academic Analytics
1. Émergence et définition des Learning Analytics > 1.2. Définition 13
14. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Spécificité et objectifs des Learning Analytics
1. Émergence et définition des Learning Analytics > 1.2. Définition
Niveau Analyses Bénéficiaires
Individuel Compréhension de la performance
personnelle en relation avec des objectifs
d’apprentissage,
habitude de travail des camarades
Apprenants
Personnels d’éducation
Enseignants
Cohortes Réseaux sociaux, développement
conceptuel, analyse de discours
Enseignants
Équipe pédagogique Modélisation prédictive, modèle
d’échec/succès
Personnels d’éducation
Enseignants
[Long, Siemens 2011]
14
15. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Learning Analytics : Quoi ?
1. Émergence et définition des Learning Analytics > 1.2. Définition
d’après A. Boyer, 12/2015
Données collectées à partir des actions explicites
ou implicites des étudiants et des enseignants
15
16. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Learning Analytics : Quand ?
1. Émergence et définition des Learning Analytics > 1.2. Définition
http://www.gartner.com/
Descriptive
Analytics
Diagnostic
Analytics
Predictive
Analytics
Prescriptive
Analytics
Comment pouvons
nous le provoquer ?
Que va-t-il
se passer ?
Pourquoi
est-ce arrivé ?
Que s’est-t-il
passé ?
Difficulté
Intérêt
Reporting
Alert
Modélisation,
Conception
expérimentale
Extrapolation
Simulation
Recommandation
Optimisation
16
17. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Learning Analytics : Quand ?
1. Émergence et définition des Learning Analytics > 1.2. Définition
Reporting Extrapolation
Alert
17
18. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Learning Analytics : Comment ?
1. Émergence et définition des Learning Analytics > 1.2. Définition
Classification
Régression
Estimation de
connaissances
latentes
Clustering
Analyse
factorielle
Detéction de
signaux faibles
Découverte de
structure du
domaine
Analyse de
Graph
Règles
d’association
Corrélations
Motifs
séquentiels
Causalités
Process Mining
NLP specific
Approches
multimodales
Prédictions
Découvertes
structurelles
Analyse de
relations
Autres
méthodes
18
19. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Agenda
1. Émergence et définition des Learning Analytics
2. Pratiques des Learning Analytics
• Questions principales de recherche
• Cas d’étude : LA pour l’engagement et la réflexion des apprenants
3. Perspectives et enjeux
2. Pratiques des Learning Analytics 19
20. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Questions principales de recherche
• 4 « grands » thèmes de recherche
• Exploités par 2 méthodes différentes :
• Recherche fondamentale : étudier les
interactions de l’apprenant au niveau le plus fin
; recherche de causalités.
• Recherche appliquée : donner aux acteurs
les moyens d’observer et mesurer
l’apprentissage en vue de son amélioration.
2. Pratiques des L.A. > 2.1. Questions principales de recherche
Prédire la progression
de l’apprenant
Mesurer les
interactions sociales
Voir l’apprentissageAnalyser le discours
20
21. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Prédire la progression de l’apprenant
• Un des plus anciens problèmes des EIAH
• Classer des profils ; les orienter en fonction des capacités estimées ;
adapter les contenus ; déployer des stratégie d’engagement ; lutter contre
le décrochage
• Utile pour :
• L’institution : prévenir l’échec et améliorer les résultat
• La recherche : trouver des modèles plus fins de l’apprenant
2. Pratiques des L.A. > 2.1. Questions principales de recherche 21
22. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Prédire la progression de l’apprenant
• [Zimmermann et al. 2015] A Model-Based Approach to Predicting Graduate-Level Performance Using
Indicators of Undegraduate-Level Performance
• Évalue la puissance de prédiction des résultats scolaires comme indicateurs de performance.
• Les résultats de licence peuvent expliquer 54% de la variance dans les résultats de cycles supérieurs. La
moyenne de notation globale de la 3ème année est la plus signifiante. Une base méthodologique pour
dresser les lignes générales pour les comités d’admissions.
• [Knowles 2015] Of Needles and Haystacks: Building an Accurate Statewide Dropout Early Warning
System in Wisconsin
• Évalue la probabilité de passage de 225 000 collégiens dans 100 écoles.
• Le système fournit une probabilité de passage, un classement (bas, modéré, haut) dans 4 sous-domaines
: scolarité, présence, comportement et mobilité. 65% des échecs et retards dans l’avancement avant
l’entrée au lycée sont identifiés par le système.
2. Pratiques des L.A. > 2.1. Questions principales de recherche 22
23. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Mesurer les interaction sociales
• Socio-constructivisme : la cognition et l’action humaine sont socialement et
culturellement médiées.
• Objectif : comprendre et valoriser les processus d’apprentissage collectif.
• Analyse de l’apprentissage social -> analyse des réseaux sociaux
• Détection de communautés
• Identification de sous-ensembles cohésifs, étude de la densité des réseaux
• Identification de rôles particuliers chez les individus et de leurs interactions
• Analyse de l’apprentissages social pour révéler les régimes d’engagement des
apprenant dans une activité sociale ou dans la création de traces réutilisables
2. Pratiques des L.A. > 2.1. Questions principales de recherche 23
24. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Mesurer les interaction sociales
• [Schneider et al. 2013] Toward collaboration
sensing: applying network analysis
techniques to collaborative eye-tracking data
• Analyse séquentielle des regards et évaluation
de la robustesse de cette métrique pour prédire
l’apprentissage
• Importance de considérer le regard comme un
indice d’attention soutenue mutuelle.
• Adaptation de la théorie des graphes pour
identifier de nouveaux indicateurs permettant
d’évaluer l’intensité d’une collaboration et la
compréhension réciproque des apprenants
2. Pratiques des L.A. > 2.1. Questions principales de recherche 24
Sans indicateur du regard
du partenaire
Avec indicateur du regard
du partenaire
25. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Mesurer les interaction sociales
• Travaux de thèses de Laëtitia Pierrot
• Circulation sociale des pratiques numériques juvéniles et genèse
instrumentale
• Modèle conceptuel pour l’identification des pratiques juvéniles
• Indications sur la manière dont circulent les pratiques numériques
juvéniles
• Mise en évidence du rôle central de certains jeunes au seins de groupes
sociaux
2. Pratiques des L.A. > 2.1. Questions principales de recherche 25
26. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Analyser le discours
• Le langage fait partie de la situation d’apprentissage
• Un des premiers vecteurs par lequel les apprenants construisent du sens
• L’analyse du discours
• tend à rendre les processus d’apprentissage visible
• Ouvre la possibilité de les améliorer à différents niveaux (individuel, groupe restreint,
cohorte)
• Analyser une conversation entre apprenants => Appréhender leur degré d’ouverture,
leur capacité de décentrement et leur propension à reformuler leur pensée
• Learning Analytics : identifier et montrer les types d’échanges
2. Pratiques des L.A. > 2.1. Questions principales de recherche 26
27. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Analyser le discours
• [De Liddo et al 2011] Discourse-centric learning
analytics
• Extension de la plateforme de délibération Cohere
par des L.A. pour identifier :
• Des sujet de conversation et du point de vue des
apprenants
• Des types de contributions des apprenants et de
leurs accords/désaccords
• De l’organisation du réseau discursif et du rôle
des apprenants dans ce réseau
(propositions/discussion)
• Des liens sémantiques entre apprenants
2. Pratiques des L.A. > 2.1. Questions principales de recherche 27
28. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Voir l’apprentissage
• Donner aux acteurs de la communauté éducative un pouvoir de décision par l’exploration du
modèle qui sous-tend les données d’apprentissage elles-mêmes [Duval 2011]
• Tableaux de bord : mode d’expression le plus courant dans les Learning Analytics, issu des
systèmes d’aide à la décision
• Présents dans les LMS, de plus en plus mis en avant (Blackboard analytics, Brightspace,
Signals…)
• Interprétation visuelle de larges ensembles de données pour
• découvrir, interroger, comprendre les modèles portés par les données
• Modifier ses représentations
• 1500 étudiants ont obtenu de meilleurs résultats d’assiduité en comparaison avec des cohortes
similaires [Arnold, Pistilli 2012]
2. Pratiques des L.A. > 2.1. Questions principales de recherche 28
29. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Voir l’apprentissage
• [Charleer et al. 2014] Improving teacher awareness through activity, badge
and content visualizations.
• LARAe (Learning Analytics Reflection & Awareness environment)
• Tableau de bord pour l’enseignant
• Utilisation de « badges » pour abstraire de l’abondance de traces les
aspects essentiels du cours tels que les objectifs pédagogiques ou l’activité
sociales
292. Pratiques des L.A. > 2.1. Questions principales de recherche
30. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Voir l’apprentissage
• [Charleer et al. 2014] Improving teacher awareness through activity, badge
and content visualizations.
• LARAe (Learning Analytics Reflection & Awareness environment)
• Tableau de bord pour l’enseignant
• Utilisation de « badges » pour abstraire de l’abondance de traces les
aspects essentiels du cours tels que les objectifs pédagogiques ou l’activité
sociales
302. Pratiques des L.A. > 2.1. Questions principales de recherche
31. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Voir l’apprentissage
312. Pratiques des L.A. > 2.1. Questions principales de recherche
32. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Cas d’étude
Promouvoir l’engagement et la réflexion
des apprenants en situation
d’apprentissage pratique
2. Pratiques des L.A. > 2.2. Cas d’étude 32
33. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Les Travaux Pratiques (TP)
332. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.1. Les VRL
Très importants dans l’apprentissage des Sciences,
de la Technologie, de l’Ingénierie et des Mathématiques
Ressource
• Dispositif manipulé par les
apprenants
• Physique ou virtuelle
Laboratoire
• Espace pour réaliser des
expériences scientifiques et héberger les ressources
• Conditions et paramètres
des ressources
Expérience
• Scénario pédagogique
• Savoirs
Comprendre une loi
physique, etc.
• Savoirs-faire
Manipulation, méthode,
travail en équipe, etc.
34. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
2. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.1. Les VRL
• Contraintes économiques et logistiques :
• Coût important des laboratoires et équipements de TP
• Taux d’utilisation faible
• Contraintes pédagogiques :
• Difficile de réfléchir a posteriori sur l’expérience réalisée
• Impossible de refaire une expérience à volonté
Passage à l’échelle des TP
34
X
€
€
?
X
35. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
2. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.1. Les VRL
• Les Laboratoires virtuels et distants (VRL) :
• Une solution envisagée début 90
• Un engouement depuis une dizaine d’années
• Une recherche centrée sur les problématiques technologiques
Passage à l’échelle des TP
35
€
€
36. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
2. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.1. Les VRL
• Contraintes économiques et logistiques :
• Coût important des laboratoires et équipements de TP
• Taux d’utilisation faible
• Contraintes pédagogiques :
• Difficile de réfléchir a posteriori sur l’expérience réalisée
• Impossible de refaire une expérience à volonté
• Les Laboratoires virtuels et distants (VRL) :
• Une solution envisagée début 90
• Un engouement depuis une dizaine d’années
• Une recherche centrée sur les problématiques technologiques
Passage à l’échelle des TP
36
X
€
€
?
X
Prise en compte très faible des théories de l’apprentissage dans
les VRL !
37. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Questions de recherche
372. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.1. Les VRL
Comment aligner un environnement d’apprentissage pratique
aux théories d’apprentissage ?
Dans un contexte pratique, quels impacts ont les outils de support
à l’apprentissage sur le comportement et la performance des
apprenants ?
38. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Théories pour les VRL : quels critères pour les EIAH ?
382. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.1. Les VRL
Interactions sociales
implique(nt)
Apprentissage par les pairs
repose sur
Socio-Constructivisme
Travaux Pratiques
Apprentissage exploratoire
sont
Réflexion
Awareness
A. Support aux interactions (3)
B. Engagement dans les interactions (4)
C. Gestion des interactions (3)
• Communication synchrone
• Vision commune
• Contrôle partagé
• Réflexion pendant
• Réflexion après
• Conscience de
l’environnement
• Conscience du concept
• Interactions spontanées
• Expérience adaptée
• EIAH
adapté
39. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Lab4CE : Laboratory for Computer Education
• Pour l’apprentissage de l’Informatique
• Des expériences :
• sur mesure et à la demande
• en tout temps et en tout lieu
• Un environnement :
• modulaire
• évolutif
392. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.2. Lab4CE
Cloud Lab4CE
Mon_TP
Lab4CE/Mon_TP
40. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
L’application d’expérimentation
402. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.2. Lab4CE
41. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
L’application d’expérimentation
412. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.2. Lab4CE
42. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Framework de learning analytics
422. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.3. L.A. et Lab4CE
Moteur d’enrichissement
Forge d’enregistrements
Base de règles
d’inférence
LRS
1. L’apprenant exécute une commande
2. Un enregistrement xAPI est créé
3. Des indicateurs sont inférés
4. Un enregistrement xAPI est stocké et
disponible pour restitution
+
43. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Awareness de la performance
• Awareness du concept -> Awareness de la performance
• Awareness de la performance : capacité à démontrer des
aptitudes spécifiques et la maîtrise des connaissances
• Traditionnellement :
• Evaluation avec des QCM, des résultats aux examens
• En apprentissage pratique :
• Mesure immédiate, fonction des actions
de l’apprenant sur les ressources
• Dans Lab4CE : des commandes saisies par l’apprenant dans
le terminal, des réponses de la machine suite à leur exécution
• Justesse technique d’une commande :
• Echec ou réussite de l’exécution de la commande
• Inférée via analyse de la commande et de sa réponse
432. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.3. L.A. et Lab4CE
$ lsa
-bash: lsa: command not found
$ ls
dossier1/ dossier2/
fichier1 fichier2
LRS
Règles de calcul de la
justesse technique
44.
45.
46.
47. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Comportement et réussite académique
• IUT « A » Paul Sabatier, département Informatique
• Enseignement de l’architecture matérielle, des systèmes
d’exploitation et des réseaux
• 85 Étudiants de 1ère année
• En présentiel et à distance
472. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.4. Expérimentation
48. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Comportement et réussite académique
• Approche de fouille de données réutilisable dans d’autres disciplines
• 4 stratégies significatives
• Progression, Succès-et-réflexion, Réflexion-et-succès, Echec-et-réflexion
• Caractéristiques des étudiants de moyen et haut niveaux
• Ils construisent leurs actions progressivement
• Ils multiplient les épisodes de réflexion par l’accès aux sources d’aide
• Pas de stratégie significative pour les étudiants de faible niveau
482. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.4. Expérimentation
49. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Exploitation des résultats
492. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.4. Expérimentation
Moteur d’enrichissement
Forge d’enregistrements
Base de règles
d’inférence
Base
d’enregistrements
+
Règles d’identification de
stratégies
Stratégie
xAPI
Détection des stratégies à la
volée
50. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Exploitation des résultats
502. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.4. Expérimentation
Interface de suivi des comportements en temps réel pour l’enseignant
Réflexion et succès
Succès et réflexion
51. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Exploitation des résultats
512. Pratiques des L.A. > 2.2. Cas d’étude > 2.2.4. Expérimentation
Système de tuteur intelligent (STI)
• Détection de stratégies à la
volée
• Recommandation d’aide
• Recommandation de pairs
• stratégies appliquées
• charge d’aide
• performance in situ
52. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Bilan
• Comment aligner un environnement d’apprentissage pratique
aux théories socio-constructivistes ?
Des fonctionnalités identifiées à partir de l’état de l’art
Un framework de learning analytics pour une utilisation en temps réel et a posteriori
• Dans un contexte d’apprentissage exploratoire, quels impacts ont les outils de support à
l’engagement et à la réflexion sur les pratiques et la performance des apprenants ?
5 expérimentations, 400 étudiants
Des corrélations trouvées entre engagement, comportement et performance
Utilisabilité de la plateforme validée par les apprenants
522. Pratiques des L.A. > 2.2. Cas d’étude
53. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Agenda
1. Émergence et définition des Learning Analytics
2. Pratiques des Learning Analytics
3. Perspectives et enjeux
• Perspectives de recherche
• Enjeux des L.A. : en 2025
3. Perspectives et enjeux 53
54. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Perspectives de recherche
• Transferability : mon modèle fonctionne-t-il sur un autre système ?
Comment mesurer et comparer les résultats ?
• Effectiveness : quel impact ont les LA à long terme (~3 ans) ? Quid de
l’éthique si un groupe contrôle est utilisé ?
• Interpretability : Comment rendre les algorithmes compréhensibles ?
• Generability : Jusqu’où doit-on tenter de généraliser ? Comment éviter les
données biaisées ?
3. Perspectives et enjeux > 3.1. Perspectives de recherche 54
D’après R. Baker, 2019
55. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Learning Analytics en 2025
• Méthode Delphi
• Décideurs et experts interrogés
• Experts mandatés : écoles, apprentissage au
travail, enseignement supérieur
• 103 avis à propos d’une ou plusieurs des 8
visions proposées
• 3 thèmes : technologies, confidentialité &
éthique, pédagogie
• Étude a posteriori sur l’ordre de la faisabilité et
du désirable
3. Perspectives et enjeux > 3.2. Enjeux des L.A. 55
56. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Learning Analytics en 20251. En 2025, dans les classes l’environnement physique
est sous surveillance pour soutenir l’apprentissage
et enseignement
2. En 2025, le traçage des données personnelles
supporte l’apprentissage
3. En 2025, les LA sont rarement utilisés dans
l’éducation
4. En 2025, les individus contrôlent leurs propres
données
5. En 2025, les système ouverts de LA sont largement
adoptés
6. En 2025, les L.A. sont devenus des outils
incontournables pour la gestion de l’éducation
7. En 2025, la plupart des enseignement sont guidés
par la technologie
8. En 2025, les LA soutiennent un apprentissage
autonome et auto-dirigé
3. Perspectives et enjeux > 3.2. Enjeux des L.A. 56
57. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Learning Analytics en 2025
• Les décideurs devraient sensibiliser à, et soutenir, une recherche ouverte,
ancrée sur des modèles pédagogiques humanistes.
• Les puissances publiques et organismes de règlementation doivent imposer
un cadre législatif à la collecte et à l’usage des données.
• Le déploiement d’une pédagogie constructiviste est souhaité, plutôt que de
se focaliser sur les compétences et la maîtrise des contenus.
• Le contrôle des données personnelles est un facteur essentiel pour la
viabilité des LA.
• Le développement de la recherche-action autour des LA est une priorité.
3. Perspectives et enjeux > 3.2. Enjeux des L.A. 57
58. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
58
Merci à toutes et à tous !
Pour une version écrite étayée:
Labarthe, H. & Luengo, V. (2016). L'analytique des apprentissages numériques.
Rapport de recherche, LIP6 - Laboratoire d'Informatique de Paris 6.
59. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Références (1/3)
• Arnold, K. E & Pistilli, M. D. (2012). Course signals at Purdue: using learning analytics to
increase student success . Dans Proceedings of the 2nd international conference on learning
analytics and knowledge (p. 267-270), New York, NY : ACM.
• Balacheff, N. (1994). Didactique et intelligence artificielle. Recherches en Didactique des
Mathematiques, La Penseée Sauvage, 14, 9-42.
• Broisin, J., Venant, R. & Vidal, P. (2017). Awareness and reflection in virtual and remote
laboratories : the case of computer education. International Journal of Technology Enhanced
Learning, 9(2-3):254–276, 2017.
• Charleer, S., Santos, J. L., Klerkx, J. & Duval E. (2014). Improving teacher awareness through
activity, badge and content visualizations. Dans Y. Cao, T. Väljataga, J. K. T. Tang, H. Leung
and M. Laanpere (dir.), New Horizons in Web Based Learning: Proceedings of the 1st
International Workshop on Open Badges in Education (p. 143-152), Springer International
Publishing.
• Davenport, Th. H., Haris, J. G. & Morison, R. (2010). Analytics at Work. Smarter Decisions,
Better Results. Boston, MA : Harvard Business Press.
59Annexes
60. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Références (2/3)
• De Liddo, A., Buckingham Shum, S., Quinto, I., Bachler, M. & Cannavacciuolo, L.
(2011). Discourse-centric learning analytics. Dans LAK 2011: 1st International
Conference on Learning Analytics & Knowledge , 27 Feb - 01 Mar 2011, Banff, Alberta
(p. 23-33), New-York, NY : ACM.
• Duval, E. (2011). Attention Please! Learning Analytics for Visualization and
Recommendation. Dans LAK '11 Proceedings of the 1st International Conference on
Learning Analytics and Knowledge (p. 9-17), New- York, NY : ACM.
• Griffiths D. (2015). Visions of the Future. Horizon Report. Récupéré de
http://www.laceproject.eu/wp- content/uploads/2016/02/LACE_D3_2.pdf
• Knowles, J. E. (2015). Of Needles and Haystacks: Building an Accurate Statewide
Dropout Early Warning System in Wisconsin. JEDM, 7(3), 18-67.
• Labarthe, H. & Luengo, V. (2016). L'analytique des apprentissages numériques.
Rapport de recherche, LIP6 - Laboratoire d'Informatique de Paris 6.
60Annexes
61. Rémi Venant
Learning Analytics : définition, pratiques et enjeux
Références (3/3)
• Long, P. D. & Siemens G. (2011). Penetrating the Fog: Analytics in Learning and Education. Educause
Review, 46(5), 30-40. Récupéré de https://net.educause.edu/ir/library/pdf/ERM1151.pdf
• Pierrot, L., & Cerisier, J. F. (2016). Collecte, traitement et analyse de traces pour identifier la circulation de
pratiques numériques des lycéens. In Rencontres Jeunes Chercheurs en EIAH 2016.
• Schneider, B., Abu-El-Haija, S., Reesman, J., & Pea, R. (2013). Toward collaboration sensing: applying
network analysis techniques to collaborative eye-tracking data. Dans Proceedings of the Third International
Conference on Learning Analytics and Knowledge (p. 107-111), New York, NY : ACM.
• Venant, R., Sharma, K., Vidal, P., Dillenbourg, P. & Broisin, J. (2017). Using sequential pattern mining to
explore learners’ behaviors and evaluate their correlation with performance in inquiry-based learning. Dans
Data Driven Approaches in Digital Education : 12th European Conference on Technology Enhanced
Learning, pages 286–299. Springer International Publishing, 2017.
• Zimmermann, J., Brodersen K. H., Heinimann, H. R. & Buhmann, J. M. (2015). A Model-Based
Approach to Predicting Graduate-Level Performance Using Indicators of Undergraduate-Level Performance.
JEDM, 7(3), 151-176.
61Annexes
Notes de l'éditeur
IA : Peut être le termes le plus complexe aujourd’hui à défini
Terme Intelligence étant lui-même un catalyseur de débats ontologiques
Techniques Informatiques pour permettre à la machine d’effectuer un raisonnement sur des données et d’en produire une connaissance
À partir de quel seuil dit-on que le raisonnement est intélligent ? -> Dynamisme de la définition
IA symbolique : coder la connaissance dans le programme (système expert)
IA numérique : le programme s’adapte au fur et à mesure des données qui lui sont fourni (Pas magique : exemple de la régression)
Business Intelligence , Système d’Aides à la décision
Knowledge Discovery in Databases (KDD) : Data Mining à pris le dessus
Analytics : Analyse de donnée
Analytics, Data Mingin : trouve ses source dans le monde de l’entretreprise, et connait notamment un succès dans les département marketing
Ex. EIAH : tuteurs intelligents
Enseignement Intelligemment Assisté par Ordinateur
Exemple donnée plus structurée et interopérables : SCORM (va plus loin qu’un format txt ou dox)
Il y encore encore beaucoup de confusion,
Notamment parce que l’on manque de consensus sur un terme parapluie : « Sciences de données de l’apprentissage »
Données : qualitative et traces
Qualitatives : réponses à des formulaire des usagers
Traces : ensemble des interactions d’un usager avec son environnement d’apprentissage
Divers format : traces brut, csv, xAPI, tables…
Divers granularité : sur une plateforme comme Moodle : l’action (acces à un cours, reponse à une question), sur des Mooc : n’importe quel clic, sur un jeu serieux : le mouvement même de la souris
Que s’est-t-il passé ou en temps réel, que se passe-t-il ?
N’est pas abordé dans cette présentation, donné à titre indicatif
Systèmes expert, Mooc
Évolution des modèles prédictifs
Modèles experts (90): Knowledge tracing, Constraint-based modeling, Control-based diagnostic
Modèle orientés données: Additive Factor Model, Performance Factor Model
Facilite la comparaison de modèles d’apprenant et maintiennent la possibilité de réplicabilité
Activité sociale : envoyer un message, sympatiser, suivre un tiers
Création de traces : publier, rechercher, taguer , évaluer
Capture des moment de collaboration dans une diade :
Nœud : zones de l’écran ou les 2 étudiants ont regardé en « même temps » (fenetre de 2s)
Plus le nœud est gros, plus de fois ils ont regardé ensemble
Arc : saccade entre deux zone, plus c’est gros, plus il y a de comparaison entre les zones
Des graph où les nœud sont petits montre une faible collab et ceux avec avec des nœuds très connectés montrent une forte collab
1er cas : les partenaire travaille à distance, en communicant avec un micro, sans voir ce que fait l’autre
Collab pauve, étudiants rarement concentrés sur la même partie du document
2ème cas : : les partenaire travaille à distance, en communicant avec un micro, en voyant ou regarde l’autre
Attention soutenu et simultanée
Les dimensions du graphe informent donc la qualité de l’apprentissage collaboratif : la taille d’ensemble permet de mesurer la réciprocité d’un apprentissage
la taille des noeuds permet d’évaluer à quel point une dyade a travaillé à dégager un consensus ;
enfin la centralité intermédiaire (mesure de centralité d’un sommet au sein d’un graphe) permettrait de comprendre à quel point des étudiants se comprennent
Construisent du sens : son usage est influencé par les buts, les sentiments et les relations, très variables selon les contexte
Construisent du sens : son usage est influencé par les buts, les sentiments et les relations, très variables selon les contexte
Tableau de bord permettant d’accéder aux données pertinents sur la progression des apprenant
6 zones :
1 marice de badges, colonne : etudiant, ligne : badge
2 ligne de temps des activité
3 liste des activité
4 détail activité
5 ensemble des badges décerné
6 outils de filtrage
Tableau de bord permettant d’accéder aux données pertinents sur la progression des apprenant
6 zones :
1 marice de badges, colonne : etudiant, ligne : badge
2 ligne de temps des activité
3 liste des activité
4 détail activité
5 ensemble des badges décerné
6 outils de filtrage
Tableau de bord permettant d’accéder aux données pertinents sur la progression des apprenant
6 zones :
1 marice de badges, colonne : etudiant, ligne : badge
2 ligne de temps des activité
3 liste des activité
4 détail activité
5 ensemble des badges décerné
6 outils de filtrage
Exemple : partage & fédération, standardisation, gestion des accès concurrentiels
Exemple : partage & fédération, standardisation, gestion des accès concurrentiels
Exemple : partage & fédération, standardisation, gestion des accès concurrentiels
vue partagé : le phénomène observé, source importante d’info
contrôle : pair peut agir sur la ressource d’un autre pour démontrer, aider, confronter / enseignant peut agir pour forcer de nouvelles observation chez l’apprenant
awareness : prendre conscience d’un élément du contexte d’apprentissage / pas de définition formelle, plusieurs taxonomies -> un support à l’engagement, aux interactions sociales et à la réflexion
réflexion : un processus qui consiste à revenir sur les expériences passées, les ré-évaluer et apprendre de cette ré-évaluation pour adapter son comportement futur. Pedant / après l’action
Gestion des interactions : différents paradigmes d’apprentissage s’appuient sur interactions sociales : collab, coop, entraide
Intéractions spontanées : certains interactions sont spontanées et doivent être permises
Outils auteurs : permettre à l’enseignant de définir l’expérience en fonction des objectifs pédagogiques à un niveau fin
paramétrage : Ne pas brider les possibilités d’utilisation des interactions sociales par l’environnement, mais laisser l’enseignant choisir
fleche retour + bleu
Awareness : prevenir les étudiants que des pairs ont ou regardent leur travaux
DELPHI : permet de mesurer l’impact de la technologie
La méthode de Delphes est une méthode de prévision, utilisée en particulier en gestion de projet ou en prévision économique. Le principe de cette méthode est que des prévisions réalisées par un groupe d'experts structuré sont généralement plus fiables que celles faites par des groupes non structurés ou des individus.
1. Tout en classe a des capteurs (biometrique), l’enseignant est omnipresent
plutôt primaire / secondaire pour la faisabilité
2. Vision très libérale : Nos appareil perso trace tout (glicemie, stress) les données sont collectée, vendu, les institution les rachete pour améliorer leur enseignement, en revendent..;
3. Après des débacles sur la gestion de la vie privée, le fait que l’on puisse jouer avec le système : consensus sur l’abandon
4. Education et outils pour le contrôle, participation de l’institution
5. Les institutions veulent comprendre et controler les sys : vers des sys, algo et visu ouverts
pour enseignement secondaire et formation au travail : inategnable
7 : automatisation du parcours d’apprentissage
moins désirable par experts du secondaire
8 : disparition des curriculum, le prof devient tuteur, les étudiants s’oganise en groupe d’apprenant
Ce qu’il en ressort : LA important en semble continuer à l’etre, grande inquiétude dans l’éthique et le respect de la vie privée
-> décideurs devraient sensibiliter à, et soutenir, une recherche ouverte, ancrée sur des modèles pédagogiques humanistes
-> Renforcer les droits de la personne concernée : puissances publiques, organismes de règlementation et gouvenement d'imporser un cadre législatif à la collecte et à l'usage des données
-> déploiement d'une pédagogie constructiviste souhaitée plûtot que focalisée sur les compétences et la maîtrise des contenus : place centrale de l'humain dans l'apprentissage et dissocier LA de automatisation de l'apprentissage : exit la vision de l'apprentissage tout géré par l'ordinateur
-> grosse inquiétude sur la collecte de données personnelle : nécessiter d'avoir des système pour contrôler ses donner, promouvoir la transparence.
-> différences entre expert :
les classes surveillent l'env physique : plutot primaire/ secondaire
sys ouverts de LA : inatteignable pour enseignement scolaire et formation au travail
gestion éducative par LA : moins désirable par experts de l'ecole
-> fossé entre exprts et praticiens
-> Développer la recherche-action autour des LA : une priorité