Learning analytics en éducation

1. « Learning Analytics » en éducation
Gaëtan
Temperman
-­‐
Bruno
De
Lièvre
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fsUniversité de Mons

2. 1. Késaco ?
1.1. Définitions
1.2 Processus
1.3 Nature des traces
2. Visualiser pour analyser en temps réel l’activité
2.1 Outils
2.2 Effets
3. Démarches statistiques pour analyser a posteriori
4. Ce qu'on peut retenir …
Sommaire DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

3. Siemens & Long (2011, p.31) définissent les Learning
analytics comme « la mesure, la collection, l’analyse et
l’interprétation des traces des apprenants et de leurs
contextes, pour comprendre et optimiser l’apprentissage
dans l’environnement dans lequel il se produit. »
1.1 définitions DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

4. « La compétence ne peut se voir et se mesurer qu’à
travers l’empreinte qu’elle laisse dans sa mise en œuvre.
Cette empreinte peut prendre la forme d’indices, de
signes perçus lors d’observations ou d’artefacts laissés
par l’action elle-même.
Nous utilisons ici le terme générique de trace pour
évoquer toutes les formes possibles de cette empreinte. »
Chamberland & al. (2010)
1.1 définitions DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

5. Evidence-based education is an approach to all aspects
of education—from policy-making to classroom practice—
where the methods used are based on significant and
reliable evidence derived from experiments.
Hattie (2009)
1.1 définitions DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

6. Tâche
réalise Environnement
d'apprentissage
entraîne
Activités
dans l'environnement
dans
composé d'
Outils
(communication,formulaires,
ressources, structuration)
lancent
des opérations
informatiques
Apprenant
à l'aide d'
Enregistrement de la trace
de l'activité de l'utilisateur
May (2010)
1.1 définitions DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

7. accéder aux traces
exploiter et traiter
les données
décrire, diagnostiquer, prédire
(s’auto)-
réguler,
adapter,
prescrire
4
1
2
3
Ifenthaler
(2014)
1.2 processus DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

8. adapté de Bienkowski et. al. (2012)
1.2 processus
Description,
diagnostic &
prediction
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

9. Interactions sociales
Usages des outils et des ressources
Tâches de production et de sélection
1.3 nature des traces
Temperman
(2013)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

10. Interactions sociales
Usages des outils et des ressources
Tâches de production et de sélection
1.3 nature des traces
Boumazguida & al. (2015)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

11. Interactions sociales
Usages des outils et des ressources
Tâches de production et de sélection
Lecture
verticale Lecture
horizontale
1.3 nature des traces
www.plickers.com
www.socrative.com
profjourde.wordpress.com
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

12. Interactions sociales
Usages des outils et des ressources
Tâches de production et de sélection
1.3 nature des traces DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

13. Interactions sociales
Usages des outils et des ressources
Tâches de production et de sélection
• individuel vs groupe
• temps
1.3 nature des traces
www.etherpad.org
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

14. 1.3 nature des traces DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

15. Jermann (2014)
1.3 nature des traces DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

16. - Principe d’awareness
(Dourish & Belloti, 1992)
- Feed-back
(Janssens & al, 2007)
- Motivation
(Michinov & Michinov, 2005)
2. Visualisation DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

17. 2. Visualisation Département
des
Sciences
et
de
la
Technologie
de
l'Educa=on

18. Outils
numériques
Système de traçage
Outil de traitement
Indicateurs
Tuteurs,
apprenants
concepteurs
utilisent collecte
élabore
traitées parvisualisés
et analysés par
augmentés avec
Traces des activités
May (2010)
2. Visualisation DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

19. 7.
Enregistrement
du
fichier
excel
9.
Fermeture
du
fichier
excel
Base
de
données
SQL
Moodle
3.
Requête
SQL
1.
Ouverture
du
fichier
d’une
équipe
par
Automator
6.
Mise
à
jour
des
graphiques
5.
Traitement
des
données
Serveur
WEB
8.
Publica=on
des
graphiques
2.
Mise
en
pause
de
la
séquence
d’Automator
4.
Mise
à
jour
des
logfiles
SELECT W.course, W.name AS 'nom du wiki', WP.wiki
AS 'wiki de groupe', WE.groupid, WP.id AS 'page id',
WP.version, WP.pagename, WP.content, WP.userid,
U.firstname, U.lastname, WP.created, WP.lastmodified
FROM mdl_wiki W INNER JOIN mdl_wiki_entries WE
ON WE.wikiid=W.id INNER JOIN mdl_wiki_pages WP
ON WP.wiki=WE.id INNER JOIN mdl_user U ON
U.id=WP.userid WHERE W.course='772' AND
WE.groupid='498' ORDER BY WE.wikiid, WP.wiki
2. Visualisation
=NB.SI.ENS(wiki!C:C;"Camille";wiki!
H:H;"view";wiki!K:K;"=40500")
=(SOMME(NBCAR($G2))-
SOMME(NBCAR(SUBSTITUE($G2;$M$1;""))))/
NBCAR($M$1)
=SI(E14<>0;1;0)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

20. Nature de
l’indicateur
Cognitive Sociale Organisationnelle
Point de vue
Ensemble des
apprenants
Groupe
d’apprenants
Individu
Mise à disposition Libre Suggéré Contraint
Accès Tuteur Apprenant
Chercheur /
responsable acad
Présentation Graphiques Tableau Texte
Etayage Miroir Métacognitif Guidance
2. Visualisation
Variables pédagogiques
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

21. Etat des interactions
Activités des apprenants
Phase 3 !
Comparer l'état
actuel à l'état
désiré
Phase 1 et 2 !
Récupérer et agréger !
les données
Phase 3 !
Modèle désiré !
de l'interaction
Phase 4!
Fournir des conseils !
et guider
Miroir
2. Visualisation DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

22. Etat des interactions
Activités des apprenants
Phase 3 !
Comparer l'état
actuel à l'état
désiré
Phase 1 et 2 !
Récupérer et agréger !
les données
Phase 3 !
Modèle désiré !
de l'interaction
Phase 4!
Fournir des conseils !
et guider
Métacognitif
Miroir
Guidance
2. Visualisation
Jermann
&
Dillenbourg
(2008)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

23. gismo.sourceforge.net
2.1 Outils DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

24. gismo.sourceforge.net
2.1 Outils
Apprenants
déconnectés
Apprenant
ressource
Apprenant
collaboratif
Apprenant
en retrait
www.snappvis.org
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

25. FORUM BFORUM A
www.snappvis.org
2.1 Outils DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

26. 2.1 Outils DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

27. Calvani & al. (2009) : Forum Plus (moodle.org)
2.1 Outils DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

28. 2.1 Outils
Ifenthaler
(2014)vue étudiant
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

29. 2.1 Outils
Ifenthaler
(2014)vue tuteur
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

30. 2.1 Outils
Ifenthaler (2014)vue responsable pédagogique
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

31. www.lantern.ch
2.1 Outils DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

32. 2.2 Effets
S*F
S*G
S*D
L*F
L*G
L*D
6 X 3 étudiants
6 X 3 étudiants
6 X 3 étudiants
6 X 3 étudiants
6 X 3 étudiants
6 X 3 étudiants
Suggérés Libres
L’accès au
tableau de
bord
Fixée
Négociée par
l’équipe
Date
d’échéance
La
planification
Temperman & al. (2012)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs
https://www.researchgate.net/publication/259852762

33. 2.2 Effets
Temps de parcours (jours)
39,72
42,83
Différence significative
Niveau d'efficience
1,65
1,43
Différence significative
Qualité de la production
64,55
60,44
groupes libres groupes suggérés
Différence non-significative
Temperman & al. (2012)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

34. 2.2 Effets
0,00
6,25
12,50
18,75
25,00
Fixée Négociée Echéance
24,11
14,56
20,97
Usage
de
la
visualisa=on
Différence significative
Temperman & al. (2012)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

35. 2.2 Effets
Nombre de jours
39,72
42,83
groupes libres
groupes suggérés
Différence significative
25 46
25 46
Nombre de jours
Usagedelavisualisation
Nombre de jours
Usagedelavisualisation
r = -.041 ; p = .870
r = -.634 ; p = .005
Temperman & al. (2012)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

36. fils réponses approfondissement assiduité
en
écriture assiduité
en
lecture
72,30
58,77
32,78
83,23
8,32
64,41
46,60
23,25
51,42
5,65
visualisa1on visualisa1on
tuteurtuteurtuteurtuteur
Ci
=
17
%
p
=
.045
Ci
=
58
%
p
=
.043
Ci
=
67
%
p
=
.007
Ci
=
23
%
p
=
.034
Ci
=
9
%
Variables liées aux indicateurs dans la visualisation
Temperman (2013)
2.2 Effets DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

37. Variables liées aux indicateurs dans la visualisation
Longueur
des
messages
(mots) Concepts
traités Concepts
écrits Argumenta=on
126,50
132,40
34,18
121,08
66,97
127,60
36,63
186,86
visualisa1on visualisa1on
p
=
.047
Ci
=
11
%
Ci
=
25
%
Ci
=
28
%
Ci
=
56
%
Temperman (2013)
2.2 Effets DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

38. Relation entre l'équilibre de la
contribution dans le wiki
et l'usage de la visualisation du
wiki
accèsàlavisualisationdu
wiki
0,0
17,5
35,0
52,5
70,0
Equilibre de la contribution du wiki
0,0 0,2 0,4 0,6 0,8
accèsàlavisualisationdu
wiki
0
15
30
45
60
Equilibre de la contribution du wiki
0,0 0,2 0,4 0,6 0,8
Sugges=onSugges=on
r
=
-­‐.074
;
p
=
.810 r
=
-­‐.627
;
p
=
.022
0"
10"
20"
30"
40"
50"
60"
26/10&
27/10&
28/10&
29/10&
30/10&
31/10&
1/11&
2/11&
3/11&
4/11&
5/11&
6/11&
7/11&
8/11&
9/11&
10/11&
11/11&
12/11&
13/11&
14/11&
15/11&
Nombre&de&lecture&du&wiki&
Edi<ons&du&wiki&
Simala"
Hélène"
Emilie"
Mélissa"
SAMANTHA"
2.2 Effets
Temperman (2013)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

39. Relation entre la distribution de
l'apprentissage
et l'usage de la visualisation de la
progression
accèsàlavisualisationdela
progression
0,0
20,0
40,0
60,0
80,0
Distribution de l'apprentissage
0,0 0,2 0,4 0,5 0,7
accèsàlavisualisationdela
progression
0
18
35
53
70
Distribution de l'apprentissage
0,0 0,2 0,4 0,5 0,7
r
=
-­‐.043
;
p
=
.889 r
=
-­‐.688
;
p
=
.009
Sugges=onSugges=on
2.2 Effets
Temperman (2013)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

40. Caractéristiques initiales
Quel processus d’apprentissage induit l’environnement ?
Processus
Utilisabilité
Utilité
Motivation
tuteurtuteur
Echanges
UsagesProduction
3. Démarches a posteriori
Tâches
Compétences
&
contenu
Organisation
du groupe
Outils &
Ressources
Modalités
d’encadrement
Tâche(s)
Gestion
du temps
Contexte
Quels
liens ?
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

41. Jermann (2014)
3. Démarches a posteriori
Processus
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs
UsagesAnalyse de l’usage des séquences vidéo dans un MOOC

42. 3. Démarches a posteriori
Analyse de l’usage des séquences vidéo dans un MOOC
Processus
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs
Usages
https://www.edx.org/blog/how-mooc-video-production-affects#.VMeQkHZ8aAD

43. https://www.edx.org/blog/how-mooc-video-production-affects#.VMeQkHZ8aAD
3. Démarches a posteriori
Processus
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs
UsagesAnalyse de l’usage des séquences vidéo dans un MOOC

44. 3. Démarches a posteriori
Usages
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs
fils réponses approfondissement assiduité
en
écriture assiduité
en
lecture
72,30
58,77
32,78
83,23
8,32
64,41
46,60
23,25
51,42
5,65
visualisa1on visualisa1on
tuteurtuteurtuteurtuteur
Ci
=
17
%
p
=
.045
Ci
=
58
%
p
=
.043
Ci
=
67
%
p
=
.007
Ci
=
23
%
p
=
.034
Ci
=
9
%
Processus
Temperman (2013)
Echanges

45. Quelle est la qualité d’apprentissage à l’issue de la
formation ?
Caractéristiques initiales
Quel processus d’apprentissage induit l’environnement ?
Produits
Processus
tuteurtuteur
Echanges
UsagesProduction
Equité
Maîtrise
finale
Progression
3. Démarches a posteriori
Tâches
Compétences
&
contenu
Organisation
du groupe
Outils &
Ressources
Modalités
d’encadrement
Tâche(s)
Gestion
du temps
Contexte
Quels
liens ?
Temperman (2013)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

46. 3. Démarches a posteriori DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs
Produits
Evolu=on
des
coefficients
de
varia=on
du
niveau
de
confiance
dans
leurs
compétences
Equité
Avant
l'appren=ssage Au
terme
de
l'appren=ssage
51,75
%
42,42
%
197,9
%
78,4
%
Conceptualisation Analyse
Temperman (2013)

47. 3. Démarches a posteriori
Analyse des stratégies de compréhension en lecture
logiciel ReaderbenchDascalu, Dessus & al. (2014)
Produc=ons
Produits
Maîtrise
finale
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

48. Quelle est la qualité d’apprentissage à l’issue de la
formation ?
Comment les élèves
perçoivent-ils les
produits de
l'apprentissage ? Et
avec quelle
cohérence ?
Caractéristiques initiales
Quel processus d’apprentissage induit l’environnement ?
Comment les acteurs
perçoivent-ils leur
processus dans le
dispositif ? Et avec
quelle cohérence ?
Perceptions
Produits
Processus
Utilisabilité
Utilité Satisfaction
Motivation
tuteurtuteur
Quelles variables du
processus, quelles
caractéristiques
individuelles expliquent
la qualité des produits
de l'apprentissage ?
Echanges
UsagesProduction
Equité
Maîtrise
finale
Progression
3. Démarches a posteriori
Tâches
Compétences
&
contenu
Organisation
du groupe
Outils &
Ressources
Modalités
d’encadrement
Tâche(s)
Gestion
du temps
Contexte
Quels
liens ?
Comment
les acteurs
perçoivent
-ils leur
environne
ment ?
Temperman (2013)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

49. Nombre
d'accès
du
groupe
à
la
visualisa1on
des
échanges
(Analyse)
Nombre
de
concepts
différents
traités
dans
le
forum
individuellement
(Analyse)
Visualisa=on
Interac=ons
Niveau
d'assiduité
individuelle
en
contribu1on
dans
le
wiki
(Analyse)
Caractéris=ques
ini=ales
Buts
de
mo=va=on
tuteurtuteurtuteurtuteur
Progression
individuelle
en
analyse
Usages
Processus
contribuent
à
expliquer
38.37
%
de
la
Niveau
de
maîtrise
Nombre
de
jours
pour
réaliser
la
tâche
d'analyse
par
le
groupe
Produc=on Echanges
Niveau final - Niveau initial
Maximum - Niveau initial
3. Démarches a posteriori
Lien entre les variables du processus et les gains d’apprentissage
(Multi-level Analysis regression)
Temperman
(2013)
DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs
36
%
http://www.researchgate.net/publication/263052285

50. Ce qu’on peut retenir…
... Les visualisations peuvent impacter l'apprentissage
à condition d'intégrer des indicateurs pertinents
... et à condition de communiquer sur l'utilité de
celles-ci...
... Les démarches de type « Learning analytics » offrent
une belle opportunité pour envisager la recherche en
éducation par triangulation des sources.
4.
Conclusion DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs

51. Merci de votre attention
4.
Conclusion DESTE
-­‐
Service
de
pédagogie
générale
et
des
médias
éduca=fs