Learning analytics en éducation

2 674 vues

Publié le

Learning analytics en éducation

Publié dans : Formation
0 commentaire
9 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
2 674
Sur SlideShare
0
Issues des intégrations
0
Intégrations
1 044
Actions
Partages
0
Téléchargements
0
Commentaires
0
J’aime
9
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Learning analytics en éducation

  1. 1. « Learning Analytics » en éducation Gaëtan  Temperman  -­‐  Bruno  De  Lièvre DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fsUniversité de Mons
  2. 2. 1. Késaco ? 1.1. Définitions 1.2 Processus 1.3 Nature des traces 2. Visualiser pour analyser en temps réel l’activité 2.1 Outils 2.2 Effets 3. Démarches statistiques pour analyser a posteriori 4. Ce qu'on peut retenir … Sommaire DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  3. 3. Siemens & Long (2011, p.31) définissent les Learning analytics comme «  la mesure, la collection, l’analyse et l’interprétation des traces des apprenants et de leurs contextes, pour comprendre et optimiser l’apprentissage dans l’environnement dans lequel il se produit. » 1.1 définitions DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  4. 4. «  La compétence ne peut se voir et se mesurer qu’à travers l’empreinte qu’elle laisse dans sa mise en œuvre. Cette empreinte peut prendre la forme d’indices, de signes perçus lors d’observations ou d’artefacts laissés par l’action elle-même. Nous utilisons ici le terme générique de trace pour évoquer toutes les formes possibles de cette empreinte. » Chamberland & al. (2010) 1.1 définitions DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  5. 5. Evidence-based education is an approach to all aspects of education—from policy-making to classroom practice— where the methods used are based on significant and reliable evidence derived from experiments. Hattie (2009) 1.1 définitions DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  6. 6. Tâche réalise Environnement d'apprentissage entraîne Activités dans l'environnement dans composé d' Outils (communication,formulaires, ressources, structuration) lancent des opérations informatiques Apprenant à l'aide d' Enregistrement de la trace de l'activité de l'utilisateur May (2010) 1.1 définitions DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  7. 7. accéder aux traces exploiter et traiter les données décrire, diagnostiquer, prédire (s’auto)- réguler, adapter, prescrire 4 1 2 3 Ifenthaler  (2014) 1.2 processus DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  8. 8. adapté de Bienkowski et. al. (2012) 1.2 processus Description, diagnostic & prediction DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  9. 9. Interactions sociales Usages des outils et des ressources Tâches de production et de sélection 1.3 nature des traces Temperman  (2013) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  10. 10. Interactions sociales Usages des outils et des ressources Tâches de production et de sélection 1.3 nature des traces Boumazguida & al. (2015) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  11. 11. Interactions sociales Usages des outils et des ressources Tâches de production et de sélection Lecture verticale Lecture horizontale 1.3 nature des traces www.plickers.com www.socrative.com profjourde.wordpress.com DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  12. 12. Interactions sociales Usages des outils et des ressources Tâches de production et de sélection 1.3 nature des traces DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  13. 13. Interactions sociales Usages des outils et des ressources Tâches de production et de sélection • individuel vs groupe • temps 1.3 nature des traces www.etherpad.org DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  14. 14. 1.3 nature des traces DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  15. 15. Jermann (2014) 1.3 nature des traces DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  16. 16. - Principe d’awareness (Dourish & Belloti, 1992) - Feed-back (Janssens & al, 2007) - Motivation (Michinov & Michinov, 2005) 2. Visualisation DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  17. 17. 2. Visualisation Département  des  Sciences  et  de  la  Technologie  de  l'Educa=on  
  18. 18. Outils numériques Système de traçage Outil de traitement Indicateurs Tuteurs, apprenants concepteurs utilisent collecte élabore traitées parvisualisés et analysés par augmentés avec Traces des activités May (2010) 2. Visualisation DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  19. 19. 7.  Enregistrement  du  fichier  excel 9.  Fermeture  du  fichier  excel Base  de  données   SQL  Moodle 3.  Requête  SQL   1.  Ouverture  du  fichier  d’une   équipe    par  Automator 6.  Mise  à  jour  des  graphiques 5.  Traitement  des  données Serveur  WEB 8.  Publica=on  des   graphiques   2.  Mise  en  pause  de  la  séquence   d’Automator 4.  Mise  à  jour  des  logfiles SELECT W.course, W.name AS 'nom du wiki', WP.wiki AS 'wiki de groupe', WE.groupid, WP.id AS 'page id', WP.version, WP.pagename, WP.content, WP.userid, U.firstname, U.lastname, WP.created, WP.lastmodified FROM mdl_wiki W INNER JOIN mdl_wiki_entries WE ON WE.wikiid=W.id INNER JOIN mdl_wiki_pages WP ON WP.wiki=WE.id INNER JOIN mdl_user U ON U.id=WP.userid WHERE W.course='772' AND WE.groupid='498' ORDER BY WE.wikiid, WP.wiki 2. Visualisation =NB.SI.ENS(wiki!C:C;"Camille";wiki! H:H;"view";wiki!K:K;"=40500") =(SOMME(NBCAR($G2))- SOMME(NBCAR(SUBSTITUE($G2;$M$1;""))))/ NBCAR($M$1) =SI(E14<>0;1;0) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  20. 20. Nature de l’indicateur Cognitive Sociale Organisationnelle Point de vue Ensemble des apprenants Groupe d’apprenants Individu Mise à disposition Libre Suggéré Contraint Accès Tuteur Apprenant Chercheur / responsable acad Présentation Graphiques Tableau Texte Etayage Miroir Métacognitif Guidance 2. Visualisation Variables pédagogiques DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  21. 21. Etat des interactions Activités des apprenants Phase 3 ! Comparer l'état actuel à l'état désiré Phase 1 et 2 ! Récupérer et agréger ! les données Phase 3 ! Modèle désiré ! de l'interaction Phase 4! Fournir des conseils ! et guider Miroir 2. Visualisation DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  22. 22. Etat des interactions Activités des apprenants Phase 3 ! Comparer l'état actuel à l'état désiré Phase 1 et 2 ! Récupérer et agréger ! les données Phase 3 ! Modèle désiré ! de l'interaction Phase 4! Fournir des conseils ! et guider Métacognitif Miroir Guidance 2. Visualisation Jermann  &  Dillenbourg   (2008) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  23. 23. gismo.sourceforge.net 2.1 Outils DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  24. 24. gismo.sourceforge.net 2.1 Outils Apprenants déconnectés Apprenant ressource Apprenant collaboratif Apprenant en retrait www.snappvis.org DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  25. 25. FORUM BFORUM A www.snappvis.org 2.1 Outils DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  26. 26. 2.1 Outils DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  27. 27. Calvani & al. (2009) : Forum Plus (moodle.org) 2.1 Outils DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  28. 28. 2.1 Outils Ifenthaler  (2014)vue étudiant DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  29. 29. 2.1 Outils Ifenthaler  (2014)vue tuteur DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  30. 30. 2.1 Outils Ifenthaler (2014)vue responsable pédagogique DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  31. 31. www.lantern.ch 2.1 Outils DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  32. 32. 2.2 Effets S*F S*G S*D L*F L*G L*D 6 X 3 étudiants 6 X 3 étudiants 6 X 3 étudiants 6 X 3 étudiants 6 X 3 étudiants 6 X 3 étudiants Suggérés Libres L’accès au tableau de bord Fixée Négociée par l’équipe Date d’échéance La planification Temperman & al. (2012) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs https://www.researchgate.net/publication/259852762
  33. 33. 2.2 Effets Temps de parcours (jours) 39,72 42,83 Différence significative Niveau d'efficience 1,65 1,43 Différence significative Qualité de la production 64,55 60,44 groupes libres groupes suggérés Différence non-significative Temperman & al. (2012) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  34. 34. 2.2 Effets 0,00 6,25 12,50 18,75 25,00 Fixée Négociée Echéance 24,11 14,56 20,97 Usage  de  la  visualisa=on Différence significative Temperman & al. (2012) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  35. 35. 2.2 Effets Nombre de jours 39,72 42,83 groupes libres groupes suggérés Différence significative 25 46 25 46 Nombre de jours Usagedelavisualisation Nombre de jours Usagedelavisualisation r = -.041 ; p = .870 r = -.634 ; p = .005 Temperman & al. (2012) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  36. 36. fils réponses approfondissement assiduité  en  écriture assiduité  en  lecture 72,30 58,77 32,78 83,23 8,32 64,41 46,60 23,25 51,42 5,65 visualisa1on visualisa1on tuteurtuteurtuteurtuteur Ci  =  17  %   p  =  .045 Ci  =  58  %   p  =  .043 Ci  =  67  %   p  =  .007 Ci  =  23  %   p  =  .034 Ci  =  9  %   Variables liées aux indicateurs dans la visualisation Temperman (2013) 2.2 Effets DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  37. 37. Variables liées aux indicateurs dans la visualisation Longueur  des  messages  (mots) Concepts  traités Concepts  écrits Argumenta=on 126,50 132,40 34,18 121,08 66,97 127,60 36,63 186,86 visualisa1on visualisa1on p  =  .047 Ci  =  11  %   Ci  =  25  %   Ci  =  28  %   Ci  =  56  %   Temperman (2013) 2.2 Effets DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  38. 38. Relation entre l'équilibre de la contribution dans le wiki et l'usage de la visualisation du wiki accèsàlavisualisationdu wiki 0,0 17,5 35,0 52,5 70,0 Equilibre de la contribution du wiki 0,0 0,2 0,4 0,6 0,8 accèsàlavisualisationdu wiki 0 15 30 45 60 Equilibre de la contribution du wiki 0,0 0,2 0,4 0,6 0,8 Sugges=onSugges=on r  =  -­‐.074  ;    p  =  .810 r  =  -­‐.627  ;    p  =  .022 0" 10" 20" 30" 40" 50" 60" 26/10& 27/10& 28/10& 29/10& 30/10& 31/10& 1/11& 2/11& 3/11& 4/11& 5/11& 6/11& 7/11& 8/11& 9/11& 10/11& 11/11& 12/11& 13/11& 14/11& 15/11& Nombre&de&lecture&du&wiki& Edi<ons&du&wiki& Simala" Hélène" Emilie" Mélissa" SAMANTHA" 2.2 Effets Temperman (2013) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  39. 39. Relation entre la distribution de l'apprentissage et l'usage de la visualisation de la progression accèsàlavisualisationdela progression 0,0 20,0 40,0 60,0 80,0 Distribution de l'apprentissage 0,0 0,2 0,4 0,5 0,7 accèsàlavisualisationdela progression 0 18 35 53 70 Distribution de l'apprentissage 0,0 0,2 0,4 0,5 0,7 r  =  -­‐.043  ;    p  =  .889 r  =  -­‐.688  ;    p  =  .009 Sugges=onSugges=on 2.2 Effets Temperman (2013) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  40. 40. Caractéristiques initiales Quel processus d’apprentissage induit l’environnement ? Processus Utilisabilité Utilité Motivation tuteurtuteur Echanges UsagesProduction 3. Démarches a posteriori Tâches   Compétences   &  contenu Organisation du groupe Outils & Ressources Modalités d’encadrement Tâche(s) Gestion du temps Contexte Quels liens ? DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  41. 41. Jermann (2014) 3. Démarches a posteriori Processus DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs UsagesAnalyse de l’usage des séquences vidéo dans un MOOC
  42. 42. 3. Démarches a posteriori Analyse de l’usage des séquences vidéo dans un MOOC Processus DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs Usages https://www.edx.org/blog/how-mooc-video-production-affects#.VMeQkHZ8aAD
  43. 43. https://www.edx.org/blog/how-mooc-video-production-affects#.VMeQkHZ8aAD 3. Démarches a posteriori Processus DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs UsagesAnalyse de l’usage des séquences vidéo dans un MOOC
  44. 44. 3. Démarches a posteriori Usages DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs fils réponses approfondissement assiduité  en  écriture assiduité  en  lecture 72,30 58,77 32,78 83,23 8,32 64,41 46,60 23,25 51,42 5,65 visualisa1on visualisa1on tuteurtuteurtuteurtuteur Ci  =  17  %   p  =  .045 Ci  =  58  %   p  =  .043 Ci  =  67  %   p  =  .007 Ci  =  23  %   p  =  .034 Ci  =  9  %   Processus Temperman (2013) Echanges
  45. 45. Quelle est la qualité d’apprentissage à l’issue de la formation ? Caractéristiques initiales Quel processus d’apprentissage induit l’environnement ? Produits Processus tuteurtuteur Echanges UsagesProduction Equité Maîtrise  finale Progression   3. Démarches a posteriori Tâches   Compétences   &  contenu Organisation du groupe Outils & Ressources Modalités d’encadrement Tâche(s) Gestion du temps Contexte Quels liens ? Temperman (2013) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  46. 46. 3. Démarches a posteriori DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs Produits Evolu=on  des  coefficients  de  varia=on     du  niveau  de  confiance  dans  leurs  compétences Equité   Avant  l'appren=ssage Au  terme  de  l'appren=ssage 51,75  % 42,42  % 197,9  % 78,4  % Conceptualisation Analyse Temperman (2013)
  47. 47. 3. Démarches a posteriori Analyse des stratégies de compréhension en lecture logiciel ReaderbenchDascalu, Dessus & al. (2014) Produc=ons Produits Maîtrise  finale DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  48. 48. Quelle est la qualité d’apprentissage à l’issue de la formation ? Comment les élèves perçoivent-ils les produits de l'apprentissage ? Et avec quelle cohérence ? Caractéristiques initiales Quel processus d’apprentissage induit l’environnement ? Comment les acteurs perçoivent-ils leur processus dans le dispositif ? Et avec quelle cohérence ? Perceptions Produits Processus Utilisabilité Utilité Satisfaction Motivation tuteurtuteur Quelles variables du processus, quelles caractéristiques individuelles expliquent la qualité des produits de l'apprentissage ? Echanges UsagesProduction Equité Maîtrise  finale Progression   3. Démarches a posteriori Tâches   Compétences   &  contenu Organisation du groupe Outils & Ressources Modalités d’encadrement Tâche(s) Gestion du temps Contexte Quels liens ? Comment les acteurs perçoivent -ils leur environne ment ? Temperman (2013) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  49. 49. Nombre  d'accès  du   groupe  à  la   visualisa1on  des   échanges  (Analyse) Nombre  de  concepts  différents  traités   dans  le  forum  individuellement   (Analyse) Visualisa=on   Interac=ons   Niveau  d'assiduité   individuelle  en   contribu1on  dans  le   wiki  (Analyse) Caractéris=ques  ini=ales   Buts  de  mo=va=on   tuteurtuteurtuteurtuteur Progression     individuelle  en   analyse Usages   Processus contribuent  à  expliquer  38.37  %  de  la Niveau  de  maîtrise Nombre   de  jours   pour   réaliser  la   tâche   d'analyse   par  le   groupe Produc=on Echanges   Niveau final - Niveau initial Maximum - Niveau initial 3. Démarches a posteriori Lien entre les variables du processus et les gains d’apprentissage (Multi-level Analysis regression) Temperman  (2013) DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs 36  % http://www.researchgate.net/publication/263052285
  50. 50. Ce qu’on peut retenir… ... Les visualisations peuvent impacter l'apprentissage à condition d'intégrer des indicateurs pertinents ... et à condition de communiquer sur l'utilité de celles-ci... ... Les démarches de type « Learning analytics » offrent une belle opportunité pour envisager la recherche en éducation par triangulation des sources. 4.  Conclusion DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs
  51. 51. Merci de votre attention 4.  Conclusion DESTE  -­‐  Service  de  pédagogie  générale  et  des  médias  éduca=fs

×