Université Bretagne Pays de Loire, UTICE : LES LEARNING ANALYTICS : QUAND LE BIG DATA S’INTÉRESSE À L’ÉDUCATION. https://utice.u-bretagneloire.fr/evenement/les-learning-analytics-quand-le-big-data-sinteresse-leducation L’usage du numérique dans l’éducation permet d’accéder aujourd’hui à une multitude de données sur le comportement des étudiants : identité, interactions entre apprenants, interactions avec les plateformes et outils d’apprentissage, résultats aux évaluations... La collecte et l’exploitation de ces données permettent de mieux comprendre les processus d’apprentissage et ainsi d’adapter les parcours pédagogiques proposés pour en renforcer l’efficacité, mais aussi de personnaliser les apprentissages ou de développer des outils de pilotage des formations. Une communauté de chercheurs et d’enseignants se développe autour de ce que l’on appelle les learning analytics, ou l’analyse des données d’apprentissage. Ce séminaire basé sur les recherches et des retours d’expérience d’enseignants-chercheurs et de jeunes entreprises permettra de cerner les enjeux et les perspectives des learning analytics.

1. LEARNING ANALYTICS
ENTRE
PROMESSES &
RÉALITÉS
S. Garlatti, A. Itani
R. Affane, L. Crucq

2. PLAN
Introduction
MOOCs OpenClassroom
Introduction
Processus d’Analyse
Pré-traitement
Catégorisation
Indicateurs proposés
Phase d’Apprentissage
 Application des indicateurs
 Modèle de Prédiction
 Testing & Evaluation
 Optimisation
 Examples
Conclusion

3. INTRODUCTION

4. LEARNING ANALYTICS: INTRODUCTION
TEL
Researchers


5. LEARNING ANALYTICS: INTRODUCTION
TEL
Researchers


6. LEARNING ANALYTICS: INTRODUCTION
Traces
« Format sémantique » de traces
Ducobu se connecte à la plateforme
Ducobu commence l’activité de résolution
de poblème
Docubu lit les consignes de l’enseignant
Ducobu étudie l’énoncé du problème
Petit ……
6
Avant de
démarrer

7. LEARNING ANALYTICS: INTRODUCTION
Traces
7
En cours
de projet

8. MOOCS OPENCLASSROOM
INTRODUCTION

9. INTRODUCTION
Deux catégories d’apprenants
Les Premiums
Les Non Premiums
Objectifs
 Prédire l’abandon et l’échec des apprenants
 Trouver les causes des abandons et des échecs
26/12/2016 Prédiction des abandons dans les MOOCs9

10. Introduction
• Arrêter de suivre le cours
• Arrêter d’interagir avec le
cours pendant un certain
temps
Failing
Score < 70% Successful
Score ≥ 70%Dropping

11. MOOCS OPENCLASSROOM
PROCESSUS D’ANALYSE

12. Processus d’Analyse
Pre-processing
&
Categorization
Prediction
Model
Optimization
Indicators’
Derivation &
Application
Testing &
Evaluation
1
2
3
4
5
Traces

13. Pré-Traitements
 Échange d'informations avec
OpenClassrooms pour
• Comprendre les données.
• Atteindre la cohérence des données en
structure et en contenu.
 Nettoyage avec R
• les user_ids manquants de la table
utilisateur qui correspondent aux
comptes utilisateur désactivés.
• les événements dupliqués dans le
tableau des résultats.
• considérez la note le plus récent de
note d'utilisateurs multiples pour le
même cours.
• Demander l'inclusion de certains
champs manquants de tableau.
 Application des règles de catégorisation
des utilisateurs avec MySQL Workbench

14. Catégorisation

15. I1 …. In
Indicateurs proposés
Groupes d’apprenants
Premium
Drop
Premium
Fail
Non
Premium
Drop
Non
Premium
Fail
 I1: Réalisation des parties de cours et des
exercices
 I2: Score des exercices
 I3: Temps passé par exercice
 I4: Fréquence d’accomplissement des parties
et des exercices
 I5: Fréquence de visualisations du cours
 I6: Ordre de parcours des parties de cours et
des exercices
• Le nombre de retours en arrière
• Le parcours qu'emprunte la majorité des
apprenants dans le cours
• L’endroit où les apprenants arrêtent
d’interagir avec le cours
• Les endroits où les retours en arrière sont
les plus fréquents
 ……, In
2
Indicateurs Proposés

16. MOOCS OPENCLASSROOM
PHASE D’APPRENTISSAGE

17. I1
G1 G2 G3 G4
v1 v2 v3 v4
Calcul par Indicateur
 Appliquer chaque indicateur sur les
quatre catégories d'apprenants
sélectionnées sur X% des données
(X : 60%, 70%, etc.)
 Les résultats par groupes pour
chaque indicateur seront utilisés
comme entrée pour le modèle de
prédiction à la phase suivante

18. v1 v2 v3 v4
Modèle de Prédiction
Apply the most appropriate
prediction algorithm
• Logistic Regression
• Gradient Boosting
• Decision Tree
• Etc…
Prediction
Results
 L'algorithme de prédiction le plus
pratique est appliqué sur les
groupes des valeurs de chaque
application d'indicateur, afin de
marquer les apprenants au risque
d’abandon et d’échec.
 Outils utilisés

19. 4
5
Testing & Evaluation
Optimization
Historical
Traces of
Learners
Optimisation du modèle
de prédiction
Learners
At-risk
dropper
At-risk
failure
L1 T F
L2 F T
L3 T T
Testing & Evaluation / Optimization
 Traces non utilisées pour
l’apprentissage servent au test, à
l’évaluation et au « scoring » du
modèle de prédiction

20. MOOCS OPENCLASSROOM
EXAMPLES DE TESTING ET
D’EVALUATIONS

21. LE SCORE OBTENU SUR CHAQUE EXERCICE
RÉALISÉ
21
Distribution du score total
Cours HTML/CSS

22. ORDRE DE RÉALISATION DES PARTIES ET
DES EXERCICES
Parcours d’une personne qui a réussi le cours HTML/CSS
22

23. ORDRE DE RÉALISATION DES PARTIES ET
DES EXERCICES
23
Parcours d’une personne qui a abandonné le cours HTML/CSS

24. ORDRE DE RÉALISATION DES PARTIES ET
DES EXERCICES
24
Parcours des personnes qui n’ont pas abandonné le cours HTML/CSS

25. ORDRE DE RÉALISATION DES PARTIES ET
DES EXERCICES
25
Parcours des personnes qui ont abandonné le cours HTML/CSS

26. INACTIVITÉ DES APPRENANTS ENTRE DES
PARTIES ET DES EXERCICES
26
Apprenants n’ayant pas abandonné

27. INACTIVITÉ DES APPRENANTS ENTRE
DES PARTIES ET DES EXERCICES
27
Apprenants ayant abandonné

28. RÉSULTATS
28
Cours HTML/CSS
Score : 99.20 %
0: Abandon
1: Pas d’Abandon

29. RÉSULTATS
29
Cours HTML/CSS:
91 19
8
92 19
9
97 123
6
200 96 20
1
CH1 CH2 CH3 CH4

30. RÉSULTATS
On va supprimer les indicateurs relatifs aux 2 derniers chapitres de
chaque cours, afin de forcer le modèle à se concentrer sur les premiers
chapitres du cours.
30
Cours HTML/CSS:

31. RÉSULTATS
Cours HTML/CSS
Score : 83.33 %

32. RÉSULTATS
32
Cours HTML/CSS:

33. 33
Conclusion
 Beaucoup de temps à passer pour
 Les formats de données
 La collecte des données en adéquation avec les outils
d’analyse
 L’interprétation des données et le choix des données
pertinentes pour satisfaire aux objectifs définis
 Plus généralement, les Pré Traitements
 Promesses et Réalités ????????????