Les MOOC, analyse de dispositifs
Évaluation par les pairs
Atelier colloque e-learning 3.0
Rémi Bachelet
Ecole Centrale de ...
• D’où vient le MOOC GdP, à quoi sert-il ?
• Le dispositif expérimental : GdP2, 5 devoirs, double correction
1. L’évaluati...
Introduction
Genèse, raison d’être
D’où vient le MOOC GdP ?
• L’historique
– Partage de mes cours sur pages perso
– Enrichissement et visibilité SEO
– Passag...
Chronologie
1997-2010 : partage de mes cours sur le net sous licence cc-by-sa-NC, OCW, Wikimédia, CentraleWiki
2010
• Été ...
Pourquoi faire ?
• Depuis janvier 2013, les objectifs ont changé
– Au début : démontrer que l’on peut faire un xMOOC
« péd...
.. et maintenant de quoi va-t-on parler ?
De l’évaluation par les pairs
.. C’est loin d’être nouveau, mais c’est le cœur d...
09/01/2015
09/01/2015
De la Big Science à la Big Education
Une autre manière de concevoir l’enseignement supérieur et la
recherche …
Du prof sol...
Équipe MOOC GdP
Rémi
Ghislaine
Bich Van
Paul-André
Élodie
Julie
Bruno
Françoise Maelle
…
Yannick
Fabien
Jérémie
Eric
Isabe...
Partie 1
Trois Questions de
départ
13
Partie 1.2
De quoi s’agit-il ? Les 5
devoirs corrigés
Nous analyserons ici les données du GdP2
Double correction intégrale
– Évaluation par les pairs (4+ devoirs à évaluer)
– N...
Partie 2
L’évaluation par les
pairs, du quali au
quanti
22
Avant cet atelier, vous avez regardé..
23
Partie 2.1
Avant l’EP - Former et
sensibiliser les
apprenants
25
L’EP fait partie du contrat pédagogique
26
Elle est accompagnée : vidéo, messages…
27
Plus qu’attribuer une note, la mission est de
faire un feedback constructif
Annotation des documents, explications
Partie 2.2
.. mais encore faut-il
avoir une plateforme
adaptée .. et former à
s’en servir
30
32
Partie 2.3
et guider de manière
adaptée ..pour chaque
devoir..
Bêta-test du cas
Corrigés, barèmes, exemples de notation, f...
34
35
36
Partie 2.4
bon alors, de quoi
parle-t’on en termes
statistiques ?
Quelles modalités d’administration de la preuve ?
38
Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2
Légende sur les graphiques : EP ici
= Equipe Pédagogique
Répartition des notes
Devoir 2
Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2
Répartition des notes
Devoir 3
Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2
Répartition des notes
Devoir 4
Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2
Répartition des notes
Devoir 5
Source : Aline Bourelle (8/2014), devoir 1, MOOc GdP2
Qu’est-ce que ça veut
dire ?
Qu’on n’a pas une loi normale/de Gauss mais que
l’on se rapproche d’une loi log-normale (mais...
Partie 3
Est-ce que ça marche?
Faut-il travailler à l’échelle individuelle ou collective ?
Les étudiants sont-ils efficaces comme
évaluateurs ?
 Certains auteurs répondent oui
–Sadler & Good 2006 -> forte corréla...
46
Partie 3.1
Une approche individuelle de
l’efficacité de l’EP : comparaison
notes des pairs / notes de
l’encadrement
48
Source : soutenance de Master de Drissa Zongo (9/2014)
corrélation de Kendall cor.test(EP, Pairs ,method="kendall")
corrélation de Pearson cor.test(EP, Pairs)
- H0 : la corrél...
Partie 3.2
Une approche collective de l’EP :
comparaison de la *moyenne* des
notes des pairs / notes de
l’encadrement
Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2
57
Calcul des proportions de bonnes corrections
• 57% sont très bien évaluées,
• 83%= bien ou très bien évaluées
• 17% mal...
.. Et la conclusion ?
Ca marche pas mal du tout
.. notamment compte-tenu de ce que dit la
docimologie
• Écarts entre corre...
Partie 4
Consolider les notes
des pairs – d’accord,
mais comment ?
Moyenne ou médiane ? Combien d’avis différents faut-il ?
60
61
Etude de la fonction ErreurMoyenne- ErrreurMediane
Ecart =|ErreurMoyenne|–|ErrreurMediane|
Elle est positive si la moyenne...
63
36.45%
44.97%
50.39%
54.74%
56.60%
60.04%
70.97%
78.02% 80.97% 82.60%
85.93%
93.13%
95.45% 96.35% 96.70%
0.00%
20.00%
4...
.. Et si on résume ?
1. si on est capable de mettre en place un pilotage
de l’EP, il faut préférer la moyenne
• Filtrage/a...
Conclusion
Où doit-on aller
maintenant ?
Un feedback aux pairs ? Des incitations ?
Coupler avec une auto-évaluation ?
Axe de progrès 1 : l’auto-évaluation
66
Mise en place de l’auto-évaluation sur Canvas par UNOW, agence de
conception/héber...
.. Auto-évaluation
dans le GdP4
Après avoir
1. Évalué/commenté 3+ autres travaux
2. Reçu des retours sur votre propre devo...
5-10% de non-participants à l’EP => Axe de progrès
2 : incitation + feedback sur les évals
68Macro « post-traitement » réa...
Quels types de bonus-malus ?
• Travail fait : si vous n’avez pas réalisé toutes vos évaluations
– Malus pour “travail non ...
.. Feebdack dans le
GdP4
1. Système de bonus-malus
2. Tableau de synthèse explicatif
On observe apparemment un progrès dan...
72
.. Badge intégrant l’EP
dans le GdP4
L’évaluation par les pairs demande du travail, 3 heures, il
faut la prendre en compte...
74
Relecture des diapos : Merci à Thérèse Récalde
Partie atelier - À vous de jouer pour préparer le
GdP5 :
1. Post-it rouge: Trouvez les failles du
système présenté
2. Post...
Post-it rouge 1/3
• S’agit-il d’apprentissage par les pairs ou d’évaluation
par les pairs? Lequel est le plus efficace pou...
Post-it rouge: Trouvez les failles du système
présenté
• Est-ce que les pairs détectent le plagiat ?
• Est-ce que l’EP s’a...
Post-it rouge: Trouvez les failles du système
présenté
• Est-il possible d’évaluer un pair lorsque l’objet de
l’apprentiss...
Post-it vert : proposez des parades et pour
l’avenir, comment progresser ?
• L’évaluation dépend-elle du profil de l’étudi...
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Atelier colloque e-learning 3.0 TECFA  évaluation par les pairs - 18-10-2014
Prochain SlideShare
Chargement dans…5
×

Atelier colloque e-learning 3.0 TECFA évaluation par les pairs - 18-10-2014

6 702 vues

Publié le

Le partage de mes autres contributions sur les MOOC http://goo.gl/FXyS3

Diapos pour la partie "évaluation par les pairs de l'atelier TECFA du 18-10-2014

Publié dans : Sciences

Atelier colloque e-learning 3.0 TECFA évaluation par les pairs - 18-10-2014

  1. 1. Les MOOC, analyse de dispositifs Évaluation par les pairs Atelier colloque e-learning 3.0 Rémi Bachelet Ecole Centrale de Lille Université de Genève, 17-18 octobre 2014
  2. 2. • D’où vient le MOOC GdP, à quoi sert-il ? • Le dispositif expérimental : GdP2, 5 devoirs, double correction 1. L’évaluation par les pairs : un objet statistique à identifier 2. … dont on peut objectiver la fiabilité.. 3. .. optimiser les résultats.. 4. .. et améliorer le processus Partie atelier : • Trouvez les failles du système présenté + proposez des parades • Quelles prochaine(s) étapes pour progresser ? Les diapos seront tweetées et sur Slideshare 2
  3. 3. Introduction Genèse, raison d’être
  4. 4. D’où vient le MOOC GdP ? • L’historique – Partage de mes cours sur pages perso – Enrichissement et visibilité SEO – Passage des diapos aux vidéos – FOAD expérimentale – Projets de développement, Wikimédia • Le déclencheur – Expériences de MOOC US => on peut faire mieux – Approche « hacking/ingénierie », il faut que ça marche … et tout de suite, plaisir. 4
  5. 5. Chronologie 1997-2010 : partage de mes cours sur le net sous licence cc-by-sa-NC, OCW, Wikimédia, CentraleWiki 2010 • Été : cours en vidéo sur YouTube, référencement • Site gestiondeprojet.pm • Lancement FOAD GdP – 8 sessions, 400 certifiés en 2 ans 2012 • Octobre-novembre : Suivi de MOOCs : Organizational analysis, ITyPA … 2013 • 11 janvier : ouverture des inscriptions premier xMOOC en France • 18 mars : Session 1 du MOOC Gestion de Projet 3.000 inscrits : 2 parcours individuels • Mai-juin : parcours par équipes : +1 parcours collectif • Sept 2013 MOOC GdP2 10.000 inscrits : examens surveillés + intégration cursus 2014 • Mars 2014 MOOC GdP3 11.000 inscrits : 7 modules + modèle économique • Sept 2014 MOOC GdP4 19.000 inscrits : partenariats univ + EP développée
  6. 6. Pourquoi faire ? • Depuis janvier 2013, les objectifs ont changé – Au début : démontrer que l’on peut faire un xMOOC « pédagogiquement riche » … sans ressources financières – Ensuite : Massif et à distance … mais une « vraie » certification, ECTS – Maintenant : Agir en faveur de l’accès à des cours ouverts de qualité pour tous : • Expliciter : Trilogie stratégique • Partager : Tourner un cours en home studio, formation au pilotage de MOOC, prudence par rapport aux SPOCs … • Chiffrer : au-delà du modèle économique la valeur créée par un MOOC 6
  7. 7. .. et maintenant de quoi va-t-on parler ? De l’évaluation par les pairs .. C’est loin d’être nouveau, mais c’est le cœur du parcours avancé d’un MOOC, les enjeux sont considérables, car permet de concilier 1. Richesse pédagogique : au-delà des quiz 2. Passage à l’échelle : corriger 1000 copies 3. Changement de paradigme : des apprenants actifs aux compétences plus développées Peut-on chiffrer l’importance de ce parcours ? • Oui, relativement à un xMOOC « classique » et un cMOOC « par équipe » – 10-15% des apprenants du « MOOC GdP classique » – effectif du « MOOC GdP par équipe » X10 7
  8. 8. 09/01/2015
  9. 9. 09/01/2015
  10. 10. De la Big Science à la Big Education Une autre manière de concevoir l’enseignement supérieur et la recherche … Du prof solitaire « seul maître à bord après Dieu », – à un travail en équipe(s), – de nouveaux métiers : community manager, ingénieur plateforme, ingénieur pédagogique, assistant d’enseignement, assistants – dialectique global/local : appropriation par les étudiants, collectivement =/ pas d’argent ? Tant pis… on y va avec un modèle ouvert ! … et au lieu d’avancer lentement avec une édition par an, on progresse le plus vite possible.. 4 éditions et la cinquième est programmée. Total : Plus de 45.000 inscriptions, 150.000 heures de cours 09/01/2015
  11. 11. Équipe MOOC GdP Rémi Ghislaine Bich Van Paul-André Élodie Julie Bruno Françoise Maelle … Yannick Fabien Jérémie Eric Isabelle July Thierry Chinda “keo”Emmanuelle Sébastien Stéphanie Thérèse Guillaume Amandine Solveig Amaury
  12. 12. Partie 1 Trois Questions de départ
  13. 13. 13
  14. 14. Partie 1.2 De quoi s’agit-il ? Les 5 devoirs corrigés
  15. 15. Nous analyserons ici les données du GdP2 Double correction intégrale – Évaluation par les pairs (4+ devoirs à évaluer) – Note finale manuelle (équipe pédagogique) 20 Nombre de devoirs rendus devoir 1 : carte conceptuelle 997 devoir 2 : étude d'investissement 1011 devoir 3 : compte-rendu 944 devoir 4 : cahier des charges 867 devoir 5 : planning 831
  16. 16. Partie 2 L’évaluation par les pairs, du quali au quanti
  17. 17. 22
  18. 18. Avant cet atelier, vous avez regardé.. 23
  19. 19. Partie 2.1 Avant l’EP - Former et sensibiliser les apprenants
  20. 20. 25 L’EP fait partie du contrat pédagogique
  21. 21. 26 Elle est accompagnée : vidéo, messages…
  22. 22. 27 Plus qu’attribuer une note, la mission est de faire un feedback constructif
  23. 23. Annotation des documents, explications
  24. 24. Partie 2.2 .. mais encore faut-il avoir une plateforme adaptée .. et former à s’en servir
  25. 25. 30
  26. 26. 32
  27. 27. Partie 2.3 et guider de manière adaptée ..pour chaque devoir.. Bêta-test du cas Corrigés, barèmes, exemples de notation, forum de discussion ..
  28. 28. 34
  29. 29. 35
  30. 30. 36
  31. 31. Partie 2.4 bon alors, de quoi parle-t’on en termes statistiques ? Quelles modalités d’administration de la preuve ?
  32. 32. 38 Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2 Légende sur les graphiques : EP ici = Equipe Pédagogique
  33. 33. Répartition des notes Devoir 2 Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2
  34. 34. Répartition des notes Devoir 3 Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2
  35. 35. Répartition des notes Devoir 4 Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2
  36. 36. Répartition des notes Devoir 5 Source : Aline Bourelle (8/2014), devoir 1, MOOc GdP2
  37. 37. Qu’est-ce que ça veut dire ? Qu’on n’a pas une loi normale/de Gauss mais que l’on se rapproche d’une loi log-normale (mais sans y être exactement) • les test statistiques habituels sont inappropriés • ln(100-note) comme préalable aux tests
  38. 38. Partie 3 Est-ce que ça marche? Faut-il travailler à l’échelle individuelle ou collective ?
  39. 39. Les étudiants sont-ils efficaces comme évaluateurs ?  Certains auteurs répondent oui –Sadler & Good 2006 -> forte corrélation –Bouzidi & Jaillet 2007 -> questions fermées et semi- fermées  D’autres sont tièdes… –Doiron 2003 - > pas rigoureuse, non fiable Online student peer review, evaluation, feedback, critique and debate need to be examined more closely in order to establish rules and guidelines to maximise their potential. 45
  40. 40. 46
  41. 41. Partie 3.1 Une approche individuelle de l’efficacité de l’EP : comparaison notes des pairs / notes de l’encadrement
  42. 42. 48 Source : soutenance de Master de Drissa Zongo (9/2014)
  43. 43. corrélation de Kendall cor.test(EP, Pairs ,method="kendall") corrélation de Pearson cor.test(EP, Pairs) - H0 : la corrélation est nulle - H1 : la corrélation n’est pas nulle Seuil = 0.05 Si p-value > 0.05 => H0 Si p-value < 0.05 => H1 P-value < 2.2e-16 pour tous les devoirs, Valeur de corrélation > 0.5 => forte corrélation Corrélation (EP, moyenne des notes pairs) Corrélation de Pearson Corrélation de Kendall corrélation (cor) p-value corrélation (tau) p- value Moyenne des 5 devoirs 0,77251 < 2.2e-16 0,6336516 < 2.2e-16 49Source : soutenance de Master de Drissa Zongo (9/2014)
  44. 44. Partie 3.2 Une approche collective de l’EP : comparaison de la *moyenne* des notes des pairs / notes de l’encadrement
  45. 45. Source : Aline Bourelle (8/2014), devoir 1, MOOC GdP2
  46. 46. 57 Calcul des proportions de bonnes corrections • 57% sont très bien évaluées, • 83%= bien ou très bien évaluées • 17% mal évaluées => établir des critères de passage « en manuel » • 3% sont très mal corrigés => pb technique +-10 points => -/+2 points sur 20, erreur typique avec des profs Bien corrigées à +/-5 points Bien corrigées à +/-10 points Bien corrigées à +/-20 points Moyenne 57% 83% 97% Source : soutenance de Master de Drissa Zongo (9/2014)
  47. 47. .. Et la conclusion ? Ca marche pas mal du tout .. notamment compte-tenu de ce que dit la docimologie • Écarts entre correcteurs • Écarts sur la re-correction d’une même copie • Les pairs surnotent un peu (2.6%)
  48. 48. Partie 4 Consolider les notes des pairs – d’accord, mais comment ? Moyenne ou médiane ? Combien d’avis différents faut-il ?
  49. 49. 60
  50. 50. 61
  51. 51. Etude de la fonction ErreurMoyenne- ErrreurMediane Ecart =|ErreurMoyenne|–|ErrreurMediane| Elle est positive si la moyenne introduit plus d’erreur et négative sinon Min. 1st Qu. Median Mean 3rd Qu. Max. -14.2000 -3.0000 -0.7500 -0.9867 1.1000 13.6700 coefficient de dissymétrie (skewness) : -0.2145285 62 Source : soutenance de Master de Drissa Zongo (9/2014)
  52. 52. 63 36.45% 44.97% 50.39% 54.74% 56.60% 60.04% 70.97% 78.02% 80.97% 82.60% 85.93% 93.13% 95.45% 96.35% 96.70% 0.00% 20.00% 40.00% 60.00% 80.00% 100.00% 120.00% 1 correction 2 corrections 3 corrections 4 corrections Ttes les corrections Evolution moyenne des bonnes corrections en fonction du nombre de corrections Précision de -/+ 5 Précision de -/+ 10 Précision de -/+ 20 Source : soutenance de Master de Drissa Zongo (9/2014)
  53. 53. .. Et si on résume ? 1. si on est capable de mettre en place un pilotage de l’EP, il faut préférer la moyenne • Filtrage/affinage manuel (10-15% des travaux). • Signal : Présence de 0, pas de consensus 2. À partir de 3 pairs, c’est acceptable, 4 c’est « optimal »
  54. 54. Conclusion Où doit-on aller maintenant ? Un feedback aux pairs ? Des incitations ? Coupler avec une auto-évaluation ?
  55. 55. Axe de progrès 1 : l’auto-évaluation 66 Mise en place de l’auto-évaluation sur Canvas par UNOW, agence de conception/hébergement
  56. 56. .. Auto-évaluation dans le GdP4 Après avoir 1. Évalué/commenté 3+ autres travaux 2. Reçu des retours sur votre propre devoir .. Quelle est, d’après vous la note appropriée pour le travail que vous avez produit ? Auto-évaluation = le meilleur progrès en termes d’apprentissage (Sadler & Good 2006)
  57. 57. 5-10% de non-participants à l’EP => Axe de progrès 2 : incitation + feedback sur les évals 68Macro « post-traitement » réalisée par Mohammed Hichem BENBITOUR et Drissa ZONGO
  58. 58. Quels types de bonus-malus ? • Travail fait : si vous n’avez pas réalisé toutes vos évaluations – Malus pour “travail non fait” • Précision : – Bonus : plus ou moins fort si la note que vous avez proposée est proche ou très proche de la note finale – Malus : si la note est éloignée ou très éloignée de la note finale 69 Chef de projet évaluation par les pairs GdP4 : Paul-André CARTON
  59. 59. .. Feebdack dans le GdP4 1. Système de bonus-malus 2. Tableau de synthèse explicatif On observe apparemment un progrès dans la capacité de nos apprenants à évaluer (résultats préliminaires GdP4)
  60. 60. 72
  61. 61. .. Badge intégrant l’EP dans le GdP4 L’évaluation par les pairs demande du travail, 3 heures, il faut la prendre en compte dans la note finale Badge ouvert Mozilla • 70< [note du devoir] +- [15 points sur éval des pairs]
  62. 62. 74 Relecture des diapos : Merci à Thérèse Récalde
  63. 63. Partie atelier - À vous de jouer pour préparer le GdP5 : 1. Post-it rouge: Trouvez les failles du système présenté 2. Post-it vert : proposez des parades et pour l’avenir, comment progresser ?
  64. 64. Post-it rouge 1/3 • S’agit-il d’apprentissage par les pairs ou d’évaluation par les pairs? Lequel est le plus efficace pour l’apprentissage ? –Il y a en fait les deux composante : la notation /100 et les annotations et échanges de messages entre apprenants • Peut-on évaluer la qualité du feedback formatif ? • Sur le GdP1 nous avons mis au point un questionnaire dédié à l’avancé avec des questions sur la légitimité de l’EP. Il faudrait reprendre ces questions dans le GdP4 • Si l’évaluation par les pairs relève de la réplication de celle par les enseignants, il s’agit de trouver des pistes d’enseignement mutuel et de voir si l’on peut
  65. 65. Post-it rouge: Trouvez les failles du système présenté • Est-ce que les pairs détectent le plagiat ? • Est-ce que l’EP s’applique à tout type de contenu et à tous types de compétences à évaluer ? • L’objet de l’apprentissage n’est pas ce que l’on évalue avec le bonus/malus, alors qu’il est intégré dans la note
  66. 66. Post-it rouge: Trouvez les failles du système présenté • Est-il possible d’évaluer un pair lorsque l’objet de l’apprentissage est complexe ? • Y-a-t ’il une corrélation entre les compétences à évaluer et les compétences par rapport à la matière à évaluer ? • (proposé ensuite par PM) a-t-on des effets du type « concours de beauté ? » par exemple avec l’autoévaluation après avoir reçu l’évaluation et les commentaires par les pairs ?
  67. 67. Post-it vert : proposez des parades et pour l’avenir, comment progresser ? • L’évaluation dépend-elle du profil de l’étudiant (qui mettrait en avant des aspects particuliers) ? • Trouver un autre renforcement positif (badge..) • Voir le modèle de peer ranking d’Eric Mazur (Mazur ?)

×