Learning Analytics
Vanda Luengo, vanda.luengo@lip6.fr
Actuellement : Université Joseph Fourier, MeTAH, LIG Grenoble
En sep...
Une opportunité pour rapprocher les
recherches et les pratiques à l’université ?

(𝑝𝑟𝑜𝑏𝑙è𝑚𝑒𝑠+𝑞𝑢𝑒𝑠𝑡𝑖𝑜𝑛𝑠) ∗(𝑑𝑜𝑛𝑛é𝑒𝑠+𝑎𝑛𝑎𝑙𝑦𝑠𝑒...
Des exemples,
collaboration avec le CHU de Grenoble
 PACES
 ECN
 L’apprentissage des connaissances perceptivo gestuelle...
Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 …
CoursDVD FLQ SEPI Tutorat
Etude des cours sur DVD
Formula...
Le cas de la chirurgie orthopédique
Action
Perception
action
Perception
Prise
d’information
pour agir
Prise d’information
...
Problèmes + Questions
 Problème d’enseignement, apprentissage, administration plateforme TICE,
politique universitaire, …...
PACES Grenoble
 Contexte pédagogique : Pédagogie inversée en première année de
médecine
 Contexte d’analyse : situation ...
Le cas de la chirurgie orthopédique,
CHU Grenoble
8
 Modèle d’analyse
Contexte pédagogique : apprentissage au bloc
opérat...
Data + Analysis9
Les données, considérations pour une
analyse de qualité
 Données
 Type
 Centralisées : log data des interactions
 Comm...
Données PACES, distribuées, extensives
2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle
Année universitair...
Données PACES, problèmes
 Production :
 Données produites pour les enseignants : suivre les étudiants
 changement d’uti...
Données PACES, garantir la qualité
=> Cohérence
Outils : la fusion + indicateurs de qualité
n fichiers issus des séances d...
Données Chirurgie orthopédique
Intensives, distribuées
Trouver les bonnes
transformations
 Réutilisables
 Efficaces (tem...
Données Chirurgie orthopédique
Processus pour production de séquences
 Séquence perceptivo-gestuelle
 S = < (Actions; | ...
Données Chirurgie orthopédique
Une séquence perceptivo gestuelle
16
Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIA...
Analyses
FP7 619762 LEA’s BOX
17
Analyses, la visualisation
 Essentielle pour l’intervention Humaine
 Différentes usages
 Outil réflectifs, Pour la pris...
Analyses, PACES, découverte de
structures
 Étudier les évolutions des apprenants
 Comprendre les résultats concours en f...
Visualisations, PACES20
Travail Laura Dupuis, 2014
Visualisations PACES
Année universitaire
S1 –C1 S2-C6
21
Visualisation plateforme Undertracks
PACES, une itération
 Analyse peu utilisable pour l’intervention
 2014-2015 : Analyse qualitative des séances SEPI
 Pré...
Analyses, Chirurgie
Découverte de structures et analyse de relations
Montrer la pertinence de la prise
en compte de ce typ...
Ethique + Interventions24
L’éthique, le monopole des données ?
 Un discours trop centrée sur l’anonymisation des données.
 Et les analyses ?
 Mod...
Ethique, PACES
 Situations de concours
 Equité
 Transparence
26
Ethique, Chirurgie
 Manipulation des données patient
27
Interventions
 Interventions Humaines
 Proposer des rétroactions adaptés lors des séances de SEPI
 Interventions machin...
Peut être commencer par
ces deux points…29
L’analyse des traces d’enseignement et
d’apprentissage
Un équilibre entre application et recherche
30
LA à l’international
 Rapport US, défis bien identifiés
 Rapport UK, on peut voir une grande diversité
 Institutions an...
Et en France ???
 DERNIER appel E-LEARNING Pédagogie universitaire numérique
 Augmenter le % du numérique.
 On va passe...
 Observatoire de processus d’analyse des traces e-
learning massives
 MOOCS
 Serious Games
 Pédagogies innovantes
 Pé...
Partenaires
• LIP6 (UPMC)
• LIG (UJF)
• IFE (ENS LYON)
• STEF (ENS Cachan)
• LIRIS Lyon 1
• Télécom Bretagne
• Université ...
Cas d’étude
• Données
• Scénarios
• Modèles
pédagogiques
Collecte
• Outils
• Traces
Analyse
• Processus
• Langages
• Patte...
Premier cycle du projet :
travail sur des cas pratiques
Cas d’étude
• MOOC
• Jeux sérieux
• Plateformes
d’exercice
• Forma...
Références
 Chatti, M.A., Dyckhoff, A.L., Schroeder, U., & Thüs, H. “A reference model for learning analytics.” Internati...
38
Prochain SlideShare
Chargement dans…5
×

Learning analytics et le project Hubble

598 vues

Publié le

Learning analytics, projet Hubble, exemples réalisés par Vanda Luengo

Publié dans : Sciences
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
598
Sur SlideShare
0
Issues des intégrations
0
Intégrations
6
Actions
Partages
0
Téléchargements
27
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Learning analytics et le project Hubble

  1. 1. Learning Analytics Vanda Luengo, vanda.luengo@lip6.fr Actuellement : Université Joseph Fourier, MeTAH, LIG Grenoble En septembre 2015 : Université Pierre et Marie Curie, MOCAH, LIP6, Paris 1
  2. 2. Une opportunité pour rapprocher les recherches et les pratiques à l’université ?  (𝑝𝑟𝑜𝑏𝑙è𝑚𝑒𝑠+𝑞𝑢𝑒𝑠𝑡𝑖𝑜𝑛𝑠) ∗(𝑑𝑜𝑛𝑛é𝑒𝑠+𝑎𝑛𝑎𝑙𝑦𝑠𝑒𝑠) é𝑡ℎ𝑖𝑞𝑢𝑒 ∗𝑖𝑛𝑡𝑒𝑟𝑣𝑒𝑛𝑡𝑖𝑜𝑛 Belinda Tynan, LAK 2015 => Une vision stakeholders 2
  3. 3. Des exemples, collaboration avec le CHU de Grenoble  PACES  ECN  L’apprentissage des connaissances perceptivo gestuelles en chirurgie orthopédique 3
  4. 4. Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 … CoursDVD FLQ SEPI Tutorat Etude des cours sur DVD Formulation en Ligne des Questions (FLQ) Séances d'Enseignement Présentiel Interactif (SEPI) Séances de Tutorat CoursDVD FLQ SEPI Tutorat CoursDVD FLQ SEPI Tutorat CoursDVD FLQ SEPI Tutorat CoursDVD FLQ CoursDVD FLQ SEPI 1 séquence d’apprentissage= PACES, Grenoble4
  5. 5. Le cas de la chirurgie orthopédique Action Perception action Perception Prise d’information pour agir Prise d’information pour Valider 5  Développement d’une plateforme Modèle d’analyse
  6. 6. Problèmes + Questions  Problème d’enseignement, apprentissage, administration plateforme TICE, politique universitaire, ….  Question précise dont l’analyse des données peut apporter une partie de la réponse Des vraies questions associés à des vrais problèmes ? Taux d’abandon dans les MOOCS 6
  7. 7. PACES Grenoble  Contexte pédagogique : Pédagogie inversée en première année de médecine  Contexte d’analyse : situation de concours.  Problème : Nombre d’apprenants trop important.  Question1 : comment rattraper certains étudiants qui risquent de raccrocher ? Crédit : PIERRE ANDRIEU / AFP 7
  8. 8. Le cas de la chirurgie orthopédique, CHU Grenoble 8  Modèle d’analyse Contexte pédagogique : apprentissage au bloc opératoire et avec le simulateur Problème : L’enseignement des gestes a un effet chapelle Question : Comment évaluer objectivement les connaissances perceptivo gestuelles ? Luengo et al. 2011
  9. 9. Data + Analysis9
  10. 10. Les données, considérations pour une analyse de qualité  Données  Type  Centralisées : log data des interactions  Comme par exemple les LMS : accès aux ressources d’apprentissage, lecture, écriture,…  Distribuées : multiples logs de sources formelles et informelles  Wiki, google drive, … => Intégration  Extensive : grand nombre de participants, nombre limité de variables  MOOCs : QCM,…  Intensive : nombre relativement petit de participants mais des observations ou traces détaillées  Décider le type de données collectées et l’information à extraire ce sont des étapes clés sur le processus d’analyse.  Le choix des données utilisées comme prédicteurs et indicateurs auront une influence directe sur le type, la qualité et la précision de l’analyse. (Homer, 2013) (Chatti et al., 2012): 10
  11. 11. Données PACES, distribuées, extensives 2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle Année universitaire Inscription en PACES Concours Septembre Janvier Mai Semestre 1 Semestre 2 Résultats de chaque séance de tutorat Concours Résultats finaux Inscriptions.xl s Données QCM par discipline Concordance. ResFinaux.xls Numéro anonyme N lignes par étudiant Numéro UJF 1 ligne par étudiant Numéro UJF 1 ligne par étudiantNuméro anonym Numéro UJF 1 ligne par étudiant Travail Laura Dupuis, 2014 11
  12. 12. Données PACES, problèmes  Production :  Données produites pour les enseignants : suivre les étudiants  changement d’utilisateurs  changement de besoins  Données :  Quelques données anonymes  Fragments de données  reconstitution (volume + données incomplètes)  PEU de contrôle au niveau de la production des notes QCM  Aucun impact sur le résultat administratif (ne participent pas à l’admission) 12
  13. 13. Données PACES, garantir la qualité => Cohérence Outils : la fusion + indicateurs de qualité n fichiers issus des séances du tutorat … résultats des QCM pour une discipline, un cycle et un semestre donné 1 fichier unique : DonnéesQCM.xls Variables : - Semestre - Cycle - Discipline 13
  14. 14. Données Chirurgie orthopédique Intensives, distribuées Trouver les bonnes transformations  Réutilisables  Efficaces (temps)  Sans perte => backtracking Trouver les bonnes architectures  Génériques Algorithmes de clustering classique (K-means, ..) Algorithmes de Discrétisation Algorithme de clustering oculométrique (I-DT) Algorithme d’association et discretisation dynamique  Méthode d’annotation sémantique  Algorithme d’association dynamique Traces hétérogènes de type perceptivo gestuel 14
  15. 15. Données Chirurgie orthopédique Processus pour production de séquences  Séquence perceptivo-gestuelle  S = < (Actions; | Gestes); (Perceptions)> 15 Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015
  16. 16. Données Chirurgie orthopédique Une séquence perceptivo gestuelle 16 Travail de thèse Ben-Mansson Toussaint, AIED 2015, EIAH 2015
  17. 17. Analyses FP7 619762 LEA’s BOX 17
  18. 18. Analyses, la visualisation  Essentielle pour l’intervention Humaine  Différentes usages  Outil réflectifs, Pour la prise de décisions  Travaille pluridisciplinaire  Cartographes  Infographistes  Informaticiens  Statisticiens  Psychologues  Associations de plusieurs visualisations  Dashboard. 18 Duval, E., 2011.
  19. 19. Analyses, PACES, découverte de structures  Étudier les évolutions des apprenants  Comprendre les résultats concours en fonction des résultats obtenus aux QCM  Outils : Statistiques Descriptives & Visualisations  Création de typologies  Outils :  ACM : Structurer les données en fonction des variables initiales : 3 axes  CAH : Représentation simplifiée des données en formant des classes : 4 classes 1) notes TB/B, très présents, Bac S (Mention TB/B), ADMIS, Nb Insc. : 2-3 2) notes variantes, assez présents, Bac S (Mention AB), EXCLUS, Nb Insc. : 2-3 3) notes mauvaises, peu présents, Bac ≠ S, EXCLUS, Nb Insc. : 4 4) notes mauvaises, assez présents, Bac S (Mention AB), AJOURNÉS, Nb Insc. : 1 19
  20. 20. Visualisations, PACES20 Travail Laura Dupuis, 2014
  21. 21. Visualisations PACES Année universitaire S1 –C1 S2-C6 21 Visualisation plateforme Undertracks
  22. 22. PACES, une itération  Analyse peu utilisable pour l’intervention  2014-2015 : Analyse qualitative des séances SEPI  Préciser le problèmes et questions vis-à-vis des Utilisateurs finaux  Utiliser les données textuelles (Questions FLQ) 22
  23. 23. Analyses, Chirurgie Découverte de structures et analyse de relations Montrer la pertinence de la prise en compte de ce type de séquence Trouver des séquences significatives pour la rétroaction 23  Un processus d’analyse (PETRA) capitalisable dans la plateforme  Un algorithme de création de séquences perceptivo gestuelles  Un algorithme pour la recherche de patterns perceptivo gestuels Thèse Ben-Masson Toussaint, AIME 2015Nouveau Algorithme => données intensives
  24. 24. Ethique + Interventions24
  25. 25. L’éthique, le monopole des données ?  Un discours trop centrée sur l’anonymisation des données.  Et les analyses ?  Modèle prédictif pour estimer la probabilité d’échec d’un enfant en maternelle… 25
  26. 26. Ethique, PACES  Situations de concours  Equité  Transparence 26
  27. 27. Ethique, Chirurgie  Manipulation des données patient 27
  28. 28. Interventions  Interventions Humaines  Proposer des rétroactions adaptés lors des séances de SEPI  Interventions machine  Diagnostiquer les connaissances perceptivo gestuelles  Evaluations formative 28
  29. 29. Peut être commencer par ces deux points…29
  30. 30. L’analyse des traces d’enseignement et d’apprentissage Un équilibre entre application et recherche 30
  31. 31. LA à l’international  Rapport US, défis bien identifiés  Rapport UK, on peut voir une grande diversité  Institutions and drivers  Stage of development  Ethics and legal issues  Data Sorces  Analytic systems ACCOUNTABILITY 31
  32. 32. Et en France ???  DERNIER appel E-LEARNING Pédagogie universitaire numérique  Augmenter le % du numérique.  On va passer de 20% à 50%...  Mais  Quels sont les vrais problèmes et questions de ce passage au numérique ?  comment mesure-t-on ce passage ?  Quelles indicateur allons nous mettre en place ?  Comment analyser leur pertinence ?  Comment analyser l’impact ? 32
  33. 33.  Observatoire de processus d’analyse des traces e- learning massives  MOOCS  Serious Games  Pédagogies innovantes  Pédagogie inversée (Médecine CHU Grenoble)  Pour la prise de décision des acteurs  Processus utilisables et redéployés dans leurs environnements 33 Prise en compte de l’utilisateur
  34. 34. Partenaires • LIP6 (UPMC) • LIG (UJF) • IFE (ENS LYON) • STEF (ENS Cachan) • LIRIS Lyon 1 • Télécom Bretagne • Université du Maine • OpenClassrooms • LINA 34
  35. 35. Cas d’étude • Données • Scénarios • Modèles pédagogiques Collecte • Outils • Traces Analyse • Processus • Langages • Patterns Exploitation • Tableaux de bord pluri- acteurs Ethique 35
  36. 36. Premier cycle du projet : travail sur des cas pratiques Cas d’étude • MOOC • Jeux sérieux • Plateformes d’exercice • Formalisation des cas et scénarios Collecte • Test d’outils Analyse • Qualité QCM • Types d’apprenants • Évolution activité • Parcours d’apprenants Exploitation Ethique 36
  37. 37. Références  Chatti, M.A., Dyckhoff, A.L., Schroeder, U., & Thüs, H. “A reference model for learning analytics.” International Journal of Technology Enhanced Learning, 5, 318-331, 2012  Duval, E., “Attention please! learning analytics for visualization and recommendation”. In Proceedings of the International Conference on Learning Analytics and Knowledge (9-17). New York: ACM, 2011.  Greller, W. & Drachsler, H., “Translating learning into numbers: A generic framework for learning analytics”. Educational Technology & Society, 15, 42-57, 2012.  Homer, B.D., “Introductory Talk to the Learning Analytics and Educational Data Mining Workshop”, CREATE Lab, New York University, April 2013.  D3.1 Review article about LA and EDM. FP7 619762 LEA’s BOX  Niall Sclater, Learning analytics in the UK, JISC, 2014  NMC Horizon repport 2013, US.  Learing Analytics, rapport Unesco 2012  V. Luengo, L. Vadcard, J. Tonetti, and M. Dubois. Diagnostic des connaissances et rétroaction épistémique adaptative en chirurgie. Revue d'Intelligence Artificielle, 25(4):499-- 524, 2011.  B. Toussaint, V. Luengo., F. Jambon, J ; Tonnetti. From Heterogeneous Multisource Traces to Perceptual-Gestural Sequences: the PeTra Treatment Approach. 17th International Conference on Artificial Intelligence in Education. IOS press, Juin 2015.  B. Toussaint, V. Luengo. Mining Surgery Phase-Related Sequential Rules from Vertebroplasty Simulations Traces. Artificial Intelligence in Medicine. Juillet 2015  Undertracks.imag.fr 37
  38. 38. 38

×