Learning analytics&hubblehaitinovembre2016

1. Learning analytics et Hubble Vanda.luengo@upmc.fr Laboratoire LIP6, équipe MOCAH Université Pierre et Marie Curie 1 http://hubblelearn.imag.fr

2. Educational Data Mining Learning Analytics Teaching Analytics Academic Analytics 2

3. Learning Analytic, définitions • Analytic Techniques informatiques, mathématiques et statistiques pour révéler une information pertinente à partir de larges ensembles de données. • Marketing • Biologie • … • Collecte, analyse, évaluation et communication des données relatives aux apprenants, leur contexte d’apprentissage, dans la perspective d’une compréhension et d’une optimisation de l’apprentissage et de son environnement Traduction à partir de SIEMENS, 2011

4. EDM et LA EDM LA International Educational Data Mining Society Society for Learning Analytics Research http://www.educationaldatamining.org/ http://www.solaresearch.org/ 2007 2011 “discipline, concerned with developing methods for exploring the unique types of data that come from educational settings, and using those methods to better understand students, and the settings which they learn in”. [Baker, Yacef 2007] “the measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimizing learning and the environments in which it occurs” [Siemens 2011] Fouille de données automatisées : méthode de découverte automatisée en vue d’établir les meilleures prédictions possibles. Outils d’aide à la décision : méthode de découverte des données par les acteurs de l’apprentissage, via des modules d’Analytics et de visualisation. procède en réduisant le système d'apprentissage à ses composantes principales, en modélisant séparément les apprenants, les tuteurs, le domaine enseigné etc. privilégie une approche systémique, appréhendant la situation d'apprentissage comme un ensemble. Journal of Educational Data Mining Journal of Learning Analytics URL : http://learning-analytics.info/ International Educational Data Mining Conferences Conference on Learning Analytics and Knowledge (LAK) 4

5. Academic et Learning analytics Academic Analytics Learning Analytics A process for providing education institutions with the data necessary to support operational and financial decision making* The use of analytic techniques to help target instructional, curricular, and support resources to support the achievement of specific learning goals* Focused on the business of the institution Focused on the student and their learning behaviors Management/executives are the primary audience Learners and instructors are the primary audience * - Analytics in Higher Education: Establishing a Common Language Présentation Josh Baron, Apereo 2015 5

6. Learning Analytics, Objectifs • Monitoring et analyse • Prédiction et intervention • Tutorat et mentorat (coaching) • Suivi et feedback • Adaptation • Personnalisation et recommandation • Réflexion Traduction à partir de Chatti et al. (2012) 6

7. Learning Analytics, pour qui ? • Apprenants • Enseignants • tuteurs • responsables pédagogiques • Institutions

8. Learning Analytics, quoi? • données collectées à partir des actions explicites ou implicites des étudiants et eu enseignants d'après A. Boyer, 12/2015

9. Learning Analytics, quand ? Passé Présent Future Information Que s’est-il passé ? (reporting) Que se passe-t-il actuellement ? (Alertes) Qu'est-ce qui va se passer? (Extrapolation) Idée Comment et pourquoi est-ce arrivé ? (modélisation, conception expérimentale) Quelle est la meilleure prochaine action ? (Recommandation) Qu'est-ce qui peut se passer de pire/mieux ? (Prédiction, optimisation, simulation) Adapté et traduit de Van Hamelen & Workman 2012 et Danvenport et al. 2010 http://www.gartner.com/

10. Learning Analytics, comment ? Prédictives Classification Régressions Latent Knowledge estimation Découverte de structures Clustering Analyse Factorielle Outler detection Découverte structure domaine Social network analysis Analyse de relations Règles d’association Corrélations Patterns séquentiels Causalité Autres méthodes Process minning Analyse du discours Approches multimodaux Traduction libre à partir du projet européen FP7 LEA’sBOX Types d’algorithmes

11. Learning Analytics, comment ? • Visualisation • facilitant la compréhension des analyses => Essentielle pour l’intervention Humaine • Différentes usages • Outil réflectifs, Pour la prise de décisions • Associations de plusieurs visualisations • Dashboard. 11

12. LA, en résume Utilisateurs ciblés par l’analyse Motivation ou objectifs de l’analyse Greller & Drachsler, 2012 12

13. LA, en résume Utilisateurs ciblés par l’analyse Motivation ou objectifs de l’analyse Greller & Drachsler, 2012 Types de données collectées, managées et utilisées pour l’analyse techniques et outils pour produire l’analyse des données collectées 13

14. LA, en résume Utilisateurs ciblés par l’analyse Motivation ou objectifs de l’analyse Greller & Drachsler, 2012 Types de données collectées, managées et utilisées pour l’analyse techniques et outils pour produire l’analyse des données collectées 14 Limitations internes : relatives aux facteurs humains, comme la compétence (interprétation, pensée critique) et l’acceptation des conflits et complications avec les LA. Limitations externes : Conventions (éthiques, personnels, ..) et les normes (légales et contraintes organisationnels)

15. Un équilibre entre application et recherche 15 Tinan B., LAK 2015

16. Applications, quelques questions • Comment rendre les étudiants conscients des efforts qu’ils doivent fournir pour réussir leurs études ? • Comment aider les enseignants à personnaliser leur enseignement ? • Comment les universités peuvent aider les étudiants à profiter des ressources mises à leur disposition ? Exemples repris de de présentation d’Anne Boyer, décembre 2015 http://education-enseignement.over-blog.com/ https://didapro.me http://upmc.fr 16

17. Recherche EIAH, quelques thématiques • Modèles d’apprenant à partir des données • Typologies d’apprenant • Méthodes et algorithmes d’adaptation • Méthodes et modèles d’orchestration • Modèles d’interactions entre apprenants • … 17

18. 18 http://hubblelearn.imag.fr

19. • LIP6 (UPMC) • LIG (UJF) + Associés : TICE-UJF, ThEMAS (TIMC), SUP • IFE (ENS LYON) • STEF (ENS Cachan) • LIRIS (UCL) • LabSTICC (Télécom Bretagne) • LIUM (Université du Maine) • OpenClassrooms • LINA (U Nantes) 19 Hubble : réunir des acteurs EIAH Pour créer une dynamique nationale

20. Une vision du projet Hubble 20

21. Quelques concepts clés initiaux • Cas d’étude : sont les matériaux de production et de tests des scénarios d’analyse. • Situation d’apprentissage, pédagogie, plateforme informatique, utilisateurs,.. • Scénarios d’analyse : description des analyses qui seront mises en œuvre sur les plateformes de traitements • Scénarios chercheurs => avec l’objectif d’accompagner la production de connaissances • Scénarios décideur => avec l’objectif d’accompagner la décision • Utilisation d’un scénario : mise en ouvre dans un cas d’étude pour un type d’utilisateur 21

22. 22 Cas d’étude • Données • Scénarios • Modèles pédagogiques Collecte •Outils : plateformes, algorithmes •Traces Analyse •Processus •Langages •Patterns Exploitat ion •Tableaux de bord pluri- acteurs •Publications 3 itérations Méthode DBR Ethique et Déontologie

23. Projet HUBBLE travail sur des cas pratiques Cas d’étude • MOOCs • Jeux sérieux • Plateformes d’exercice • Formalisation des cas et scénarios Collecte • Test d’outils Analyse • Qualité QCM • Types d’apprenants • Évolution activité • Parcours d’apprenants Exploitation Ethique et Déontologie 23 Une première année exploratoire • Quelques visualisations • Début de publications

24. Première itération : scénarios d’analyses • Scénario 1 : qualité des questions de type QCM • Scénario 2 : identifier des types d’apprenants • Scénario 3 : évolution des apprenants au cours du temps • Scénario 4 : découvrir le parcours des apprenants sous forme de pattern Qualité Personnalisat ion Discriminatio n Evaluation 24

25. La suite • Exemples • Learning Analytics, vision of the future 25

26. Exemples • Cas d’étude Superviseur • Cas d’étude PACES, Grenoble 26

27. Exemple, Superviseur 27 Philippe Dessus, Olivier Cosnefroy, Vanda Luengo, EC-TEL 2016 http://superviseur.lip6.fr/

28. Exemple, Superviseur • Questions de recherche : • Problématique : analyse de la gestion de l’interaction par les enseignants • Hypothèse : Les enseignants utilisent un groupe de référence pour gérer les interactions • Mais dans le contexte applicatifs Problème : surcharge cognitive pour la gestion d’une classe hétérogène • Question : Comment aider l’apprenant à améliorer la qualité de l’interaction dans une classe ? • Type d’intervention : Formation des enseignants • Considérations éthiques: données apprenants, type d’analyse (formatif et non évaluatif) 28

29. Exemple, Superviseur, données et analyses 29 https://undertracks.imag.fr/ Philippe Dessus, Olivier Cosnefroy, Vanda Luengo, EC-TEL 2016

30. Semaine1 Semaine2 Semaine3 Semaine4 Semaine5 Semaine6 Semaine7 … CoursDVD FLQ SEPI Tutorat Etude des cours sur DVD Formulation en Ligne des Questions (FLQ) Séances d'Enseignement Présentiel Interactif (SEPI) Séances de Tutorat CoursDVD FLQ SEPI Tutorat CoursDVD FLQ SEPI Tutorat CoursDVD FLQ SEPI Tutorat CoursDVD FLQ CoursDVD FLQ SEPI 1 séquence d’apprentissage= PACES, Grenoble 30

31. PACES Grenoble • Problème : Nombre d’apprenants trop important. • Type d’intervention : humaine • Considérations éthique: situation de concours. Question : comment rattraper certains étudiants qui risquent de raccrocher ? => Evolution apprenant Question : comment aider l’enseignant à améliorer les QCM ? => Qualité du QCM Crédit : PIERRE ANDRIEU / AFP 31

32. Données PACES, distribuées, extensives 2 Semestres – 6 Cycles par semestre– 3 à 4 Disciplines par cycle Année universitaire Inscription en PACES Concours Septembre Janvier Mai Semestre 1 Semestre 2 Résultats de chaque séance de tutorat Concours Résultats finaux Inscriptions.xls Données QCM par discipline Concordance.xls ResFinaux.xls Numéro anonyme N lignes par étudiantNuméro UJF 1 ligne par étudiant Numéro UJF 1 ligne par étudiantNuméro anonyme Numéro UJF 1 ligne par étudiant Travail Laura Dupuis, 2014 32

33. Analyses, PACES, découverte de structures • Étudier les évolutions des apprenants • Comprendre les résultats concours en fonction des résultats obtenus aux QCM • Outils : Statistiques Descriptives & Visualisations • Création de typologies • Outils : • ACM : Structurer les données en fonction des variables initiales : 3 axes • CAH : Représentation simplifiée des données en formant des classes : 4 classes 1) notes TB/B, très présents, Bac S (Mention TB/B), ADMIS, Nb Insc. : 2-3 2) notes variantes, assez présents, Bac S (Mention AB), EXCLUS, Nb Insc. : 2-3 3) notes mauvaises, peu présents, Bac ≠ S, EXCLUS, Nb Insc. : 4 4) notes mauvaises, assez présents, Bac S (Mention AB), AJOURNÉS, Nb Insc. : 1 33 Travail Laura Dupuis, 2014

34. Visualisations, PACES 34 Travail Laura Dupuis, 2014

35. Visualisations PACES Année universitaire S1 –C1 S2-C6 35 Visualisation plateforme Undertracks

36. Paces, qualité des QCM • Data • 10 years (2006-2015) with 16.731 MCQs and 15.915.916 answers to both tutorials and final examination • Analysis • Descriptive statistics • Classical Test Theory (CTT), • Cronbach's alpha, are used to evaluate tests and Item Response Theory (IRT) to analyze MCQs. • Scripts R 36Marie Fourcot, 2016

37. PACES, qualité des QCM, visualisations pour les enseignants 37Marie Fourcot, 2016

38. PACES, qualité des QCM, visualisations pour les apprenants 38Marie Fourcot, 2016

39. Learning Analytics 2025 39

40. Learning analytics, en 2025 => “Visions of the Future “, Horizon Report D3.2 40

41. Learning analytics, en 2025 • Method Delphi • Experts • Écoles, apprentissage au travail, enseignement supérieur • 103 avis à propos d’une ou plusieurs visions proposés (8 visions). 41 “Marty, you are going to fail Introduction to Physics during your sophomore year, make sure you see a tutor after the first week of class and you’ll ace the final exam!”

42. Learning analytics, en 2025 • Vision 1: In 2025, classrooms monitor the physical environment to support learning and teaching • Vision 2: In 2025, personal data tracking supports learning • Vision 3: In 2025, analytics are rarely used in education • Vision 4: In 2025, individuals control their own data • Vision 5: In 2025, open systems for learning analytics are widely adopted • Vision 6: In 2025, learning analytics systems are essential tools of educational management • Vision 7: In 2025, most teaching is delegated to computers • Vision 8: In 2025, analytics support self-directed autonomous learning http://www.laceproject.eu/ 42

43. Vision 1: In 2025, classrooms monitor the physical environment to support learning and teaching • Cahiers, crayons, tablettes,…. auront des capteurs. • Cameras à reconnaissance facial traceront l’apprenant. • Ces informations seront utilisés pour suivre le progrès de l’apprenant. • Prise en charge de l'apprentissage d'un large éventail de compétences physiques. • Les enseignants seront alertés des signes d’ennui, confusion ou éloignement de la tâche attendue. • Les enseignants suivront les interactions sociales numériques et pourront identifier où ils devront favoriser la socialisation et le comportement collaboratif. Copyright © 2016 Nicolas-Denis.net http://www.laceproject.eu/

44. Vision 2: In 2025, personal data tracking supports learning • Des capteurs sophistiqués livreront des informations personnels tels que la posture, le stress, l’attention, le niveau de sucre dans le sang… • Les personnes collectent leurs informations et l’utilisent dans leurs programmes pour avoir des recommandations sur leurs apprentissages. • Les apprenants récupèrent les statistiques et les données associées aux facteurs de réussite des apprentissages dans un domaine particulier. • Des institutions d’enseignement connues vendent des programmes, à partir de ces informations, pour optimiser l’apprentissage en fonction des âges et des cours. • Des entreprises font la même chose pour certains domaines. • Certains étudiants partagent leur savoir faire. • La plus part des institutions d’apprentissage suivent les programme d’auto-supervision. http://soocurious.com/fr/intelligence-artificielle-homme/ http://www.laceproject.eu/

45. Vision 3: In 2025, analytics are rarely used in education • Les cours que sont automatisés, utilisant les LA, sont méprisés. • Les apprenants ont compris qu’ils peuvent « jouer » avec le système. • Il y aura un grand vide sur la gestion des données sensibles et des usages abusifs. • L’usage des données d’apprentissage devra être approuvé par l’apprenant et par des nouveaux inspecteurs. • Un consensus a émergé dans la politique éducative: l'abandon des LA Source : présentation de David Griffiths, Lyon, mars 2016 http://www.laceproject.eu/

46. Vision 4: In 2025, individuals control their own data • Les apprenant contrôlent • le type et la quantité des données qu’ils souhaitent partager. • Avec qui ces données sont partagées (personnes, institutions, entreprises,…) • La durée de la disponibilité de ces données. • Des outils pour permettre ces contrôles sont clairement énoncés et facile d’usage • Les institutions sont engagés dans la prise de conscience et reconnaissent les problèmes https://lejournal.cnrs.fr/billets/reprenons-le- controle-de-nos-donnees http://www.laceproject.eu/

47. Vision 5: In 2025, open systems for learning analytics are widely adopted • Les institutions éducatives demandent le contrôle des outils des LA • Comment les outils fonctionnent ? • Pourquoi sont-ils utilisés ? => Conçoivent avec des fournisseurs des outils accompagnant leurs visions stratégique. • Plusieurs fournisseurs. Tous utilisent des algorithmes ouverts et partagent les données suivant des standards qui facilitent la transparence et une validation indépendante. • Des visualisations, largement testées et accessibles, sont utilisées. • Les apprenants et enseignants peuvent utiliser en toute confiance une gamme d’outils. Image http://www.resourcespace.org/ http://w utilisés ww.laceproject.eu/

48. Vision 6: In 2025, learning analytics systems are essential tools of educational management • Les systèmes de recommandation des ressources sont largement utilisés. • Un grand nombre de données d’apprenant est utilisé pour générer des prédictions, de qualité et en temps réel, sur la probabilité de réussite. • Les apprenants et les enseignants planifient leur travail sur la base d'outils fiables qui recommandent et personnalisent sur ce qui doit être fait pour obtenir le meilleur résultat d'apprentissage. • Une industrie croissante offre de services institutionnels et individuels pour accompagner cette activité. • L’information prédictive est précise et permet aux gestionnaires et aux décideurs d’agrandir ou réduire leur offre de formation http://www.laceproject.eu/

49. Vision 7: In 2025, learning is guided by technology • Développement d’un énorme corpus des données contenant l’information des millions d’apprenants. • Recommandations automatique fiables, basées sur l’expérience de ces corpus, sur le meilleur chemin à prendre pour réussir l’apprentissage. • Les recommandations sont mieux informées et plus fiables que celles des meilleurs formateurs humains. Source : présentation de David Griffiths, Lyon, mars 2016 http://www.laceproject.eu/

50. Vision 8: In 2025, analytics support self- directed autonomous learning • Disparition des curriculum. • Les étudiants créent leurs groupes et décident leurs objectifs d’apprentissage et les moyens pour les attendre. • Les analytiques accompagnent les échanges d’information et la collaboration entre les groupes. • Les enseignants deviennent des mentors. • Le suivi formatif est utilisé pour guider les progrès vers les objectifs fixés . Source : présentation de David Griffiths, Lyon, mars 2016http://www.laceproject.eu/

51. Vision 2025, quelques résultats http://www.laceproject.eu/

52. Vision 2025, quelques résultats, souhaitable http://www.laceproject.eu/

53. Vision 2025, quelques résultats, faisable http://www.laceproject.eu/

54. Vision 2025, quelques résultats http://www.laceproject.eu/ Thèmes émergeants dans les réponses textuelles

55. Quelques points de réflexion, à consulter • Finding 1: A question mark over the prospects for learning analytics achieving its potential • Finding 2: Policies and infrastructure • Finding 3: A consensus on pedagogy • Finding 4: Power, ethics, and data ownership • Finding 5: Disagreement between sectors, and between different groups of respondents • Finding 6: Technology http://www.laceproject.eu/

56. Rapport sur l’analytiques des apprentissages numériques, décembre 2016 http://eduscol.education.fr/cid93919/la-mission-incubation-dne.html 56

Learning analytics&hubblehaitinovembre2016

Learning analytics&hubblehaitinovembre2016

Recommandé

Contenu connexe

En vedette

En vedette(16)

Similaire à Learning analytics&hubblehaitinovembre2016

Similaire à Learning analytics&hubblehaitinovembre2016(20)

Plus de Vanda Luengo

Plus de Vanda Luengo(7)

Dernier

Dernier(15)