MOOC Développement Durable Centrale ParisMOOC Développement Durable Centrale Paris
Présentation Florence Labord
0621.447.851
info@expertweb.fr
Présentation Florence Labord
0621.447.851
info@expertweb.fr
Retour d’expérience sur l’évaluation
par les pairs
De N à N
WEBINAR FFFOD 09 juin 2015
L’Ecole Centrale Paris déployait, au second semestre 2014, un
MOOC sur la thématique du développement durable, pour la
seconde année consécutive.
Ce cours en ligne ouvert à tous est hébergé par la plate-forme
francophone France Université Numérique.
Les 2 première sessions du MOOC ont réuni 15 000 étudiants du
monde entier.
INTRODUCTIONINTRODUCTION
1. Quand le nombre d’étudiants est élevé.
2. Quand il faut automatiser pour supprimer des tâches
ingrates et chronophages.
3. (Seulement) quand cela a un sens pédagogique.
INTRODUCTIONINTRODUCTION
Pourquoi une évaluation par les pairs ?
Le MOOC Développement durable : LMS FUN
L’évaluation par les pairs :
avec fonctionnalité unique
« équipe » (team)
développée pour cet usage
Powered by
INTRODUCTIONINTRODUCTION
Pour la deuxième session, l’innovation pédagogique consistait :
A mettre en œuvre la constitution libre d’équipes en binômes,
Permettre à chaque binôme de déposer son article scientifique,
Evaluer le travail de groupes de pairs,
Noter les évaluations,
Enregistrer et de restituer tous les résultats des notations.
INTRODUCTIONINTRODUCTION
Développement de l’activité équipe
Développements informatiques et interfaces
Test opérationnels
Jeux d’essais et tests
Diagramme fonctionnel : constitution des équipes
Balayage des cas d’usages
22
33
44
Ingénierie pédagogique du parcours
Mise en œuvre des pages du parcours
11
MISE EN OEUVREMISE EN OEUVRE
Ingénierie pédagogique du parcours
Accueil page accessible en mode public,
Les autres sur connexion
11
Vidéos de présentation pour les
participants qui n’étaient pas à la
présentation présentiel
Forum général sur la thématique de
l’évaluation par les pairs
Page d’accès à l’outil de constitution des
équipes en binôme
Page d’accès au dépôt des devoirs en
équipes et d’évaluation des travaux des
autres équipes
Gestion du cours réservée à l’encadrement
MISE EN OEUVREMISE EN OEUVRE
Ingénierie pédagogique du parcours
Exemple de consignes apprenants en phase
Evaluation
11
Importance de la grille de critères et du barème de
notation
MISE EN OEUVREMISE EN OEUVRE
Diagramme
fonctionnel :
constitution
des équipes
22
33
Creation d’une equipe
Invitation
Développement de l’activité équipe
MISE EN OEUVREMISE EN OEUVRE
33
Coté invité
Développement de l’activité équipe
MISE EN OEUVREMISE EN OEUVRE
44
Coté gestion : Supression, ajout, affectation de
membres, supression d’équipe, renommage
Tests fonctionnels
MISE EN OEUVREMISE EN OEUVRE
Introduction
Dont préparation du formulaire d’évaluation
aa
Plusieurs phases
Dans l’évaluation par les pairs
11
Remise des travaux par les apprenants
Via une activité de dépôt de devoir
bb
Evaluation
Formulaire complété par les étudiants
cc
Notation des évaluations
Meta Evaluation par le dispositif
dd
EXPLOITATIONEXPLOITATION
11 Plusieurs phases
Transition manuelle
Ou programmée
aa bb cc
dd
EXPLOITATIONEXPLOITATION
11 Plusieurs phases
Formulaire d’évaluation complété par un apprenant
Zone de saisie de commentaire et liste déroulante de notation
par critère
+ zone de saisie de feedback global
cc
EXPLOITATIONEXPLOITATION
11 Plusieurs phases
Phase de notation des évaluationsdd
EXPLOITATIONEXPLOITATION
Organisationnels
Matériel, classement, restitution, archivage, évolution
Economiques
Besoin « client » /freins et leviers , cas d’usages,
modèle économique
33
22
Opérationnels
Accès, usages, accompagnement des acteurs,
11
DESORDRES ET OPPORTUNITESDESORDRES ET OPPORTUNITES
Il ressort que la régulation "
manuelle " sur les échanges
personnalisés avec les étudiants, la
reprise des notations de devoirs et
d'évaluation serait alors quantifiée
à 20% des volumes étudiants
engagés.
Dépôt des devoirs
Génération d'un board soumission/non soumission des devoirs ou vue possible sur tri possible sur "workshop add assessment".
Evaluations
Affichage de la liste des étudiants ayant évalué ou /non évalué des articles soumis.
Rapport d'évaluation de l'atelier ou historique : Tri possible sur les entêtes de champs, dénombrement .
Système de détection anti-plagiat
DESORDRES ET OPPORTUNITESDESORDRES ET OPPORTUNITES
Eval’ens du MOOC DD
• Le contenu des cours est-il intéressant ?
93%de « Oui » et « Oui tout à fait »
(1% « sans opinion »)
• Les supports du cours sont-ils de bonnes qualités ?
94% (5%)
• Consignes claires sur la plateforme ?
93 % (1%)
• L'évaluation par les pairs permet-elle de mieux comprendre le
travail de rédaction d'un article de vulgarisation scientifique ?
83% (4%)
• L'ergonomie de la plateforme pour le rendu du travail et
l'évaluation était-elle la bonne?
70% (6%)
DESORDRES ET OPPORTUNITESDESORDRES ET OPPORTUNITES
Des questions pédagogiques à débattre
• Faire apparaître, dans la feuille de note d’un élève,
l’évaluation par les pairs, avec :
– la mention « Evaluateur confirmé : X travaux évalués
par les pairs avec sérieux et compétence » ?
(qualitatif)
– ou une note : sa moyenne des évaluations réalisées ?
(quantitatif)
• L’enseignant ne doit-il recorriger que les 20% de
copies aux écart-types trop élevés ? Ou doit-il tout
recorriger ? Quel gain dans ce cas ?
DESORDRES ET OPPORTUNITESDESORDRES ET OPPORTUNITES
WEBOGRAPHIEWEBOGRAPHIE
• MOOC « développement durable », Ecole Centrale Paris,
Responsable : Pascal da Costa, plate-forme France Université
Numérique :https://www.france-universite-numerique-
mooc.fr/cours/?state=&university=CentraleParis
• Commission de la culture, de l'éducation et de la
communication du Sénat :
http://videos.senat.fr/video/videos/2014/video23008.html,
21/05/2014.
Remerciements : Pascal Da Costa - Maitre de conférence
Centrale Paris
A VOS QUESTIONSA VOS QUESTIONS
Merci de votre attention,
Florence Labord
info@expertweb.fr
0621.447.851

Labord. evaluation-par-les-pairs -MOOC-pedagogie

  • 1.
    MOOC Développement DurableCentrale ParisMOOC Développement Durable Centrale Paris Présentation Florence Labord 0621.447.851 info@expertweb.fr Présentation Florence Labord 0621.447.851 info@expertweb.fr Retour d’expérience sur l’évaluation par les pairs De N à N WEBINAR FFFOD 09 juin 2015
  • 2.
    L’Ecole Centrale Parisdéployait, au second semestre 2014, un MOOC sur la thématique du développement durable, pour la seconde année consécutive. Ce cours en ligne ouvert à tous est hébergé par la plate-forme francophone France Université Numérique. Les 2 première sessions du MOOC ont réuni 15 000 étudiants du monde entier. INTRODUCTIONINTRODUCTION
  • 3.
    1. Quand lenombre d’étudiants est élevé. 2. Quand il faut automatiser pour supprimer des tâches ingrates et chronophages. 3. (Seulement) quand cela a un sens pédagogique. INTRODUCTIONINTRODUCTION Pourquoi une évaluation par les pairs ?
  • 4.
    Le MOOC Développementdurable : LMS FUN L’évaluation par les pairs : avec fonctionnalité unique « équipe » (team) développée pour cet usage Powered by INTRODUCTIONINTRODUCTION
  • 5.
    Pour la deuxièmesession, l’innovation pédagogique consistait : A mettre en œuvre la constitution libre d’équipes en binômes, Permettre à chaque binôme de déposer son article scientifique, Evaluer le travail de groupes de pairs, Noter les évaluations, Enregistrer et de restituer tous les résultats des notations. INTRODUCTIONINTRODUCTION
  • 6.
    Développement de l’activitééquipe Développements informatiques et interfaces Test opérationnels Jeux d’essais et tests Diagramme fonctionnel : constitution des équipes Balayage des cas d’usages 22 33 44 Ingénierie pédagogique du parcours Mise en œuvre des pages du parcours 11 MISE EN OEUVREMISE EN OEUVRE
  • 7.
    Ingénierie pédagogique duparcours Accueil page accessible en mode public, Les autres sur connexion 11 Vidéos de présentation pour les participants qui n’étaient pas à la présentation présentiel Forum général sur la thématique de l’évaluation par les pairs Page d’accès à l’outil de constitution des équipes en binôme Page d’accès au dépôt des devoirs en équipes et d’évaluation des travaux des autres équipes Gestion du cours réservée à l’encadrement MISE EN OEUVREMISE EN OEUVRE
  • 8.
    Ingénierie pédagogique duparcours Exemple de consignes apprenants en phase Evaluation 11 Importance de la grille de critères et du barème de notation MISE EN OEUVREMISE EN OEUVRE
  • 9.
  • 10.
    33 Creation d’une equipe Invitation Développementde l’activité équipe MISE EN OEUVREMISE EN OEUVRE
  • 11.
    33 Coté invité Développement del’activité équipe MISE EN OEUVREMISE EN OEUVRE
  • 12.
    44 Coté gestion :Supression, ajout, affectation de membres, supression d’équipe, renommage Tests fonctionnels MISE EN OEUVREMISE EN OEUVRE
  • 13.
    Introduction Dont préparation duformulaire d’évaluation aa Plusieurs phases Dans l’évaluation par les pairs 11 Remise des travaux par les apprenants Via une activité de dépôt de devoir bb Evaluation Formulaire complété par les étudiants cc Notation des évaluations Meta Evaluation par le dispositif dd EXPLOITATIONEXPLOITATION
  • 14.
    11 Plusieurs phases Transitionmanuelle Ou programmée aa bb cc dd EXPLOITATIONEXPLOITATION
  • 15.
    11 Plusieurs phases Formulaired’évaluation complété par un apprenant Zone de saisie de commentaire et liste déroulante de notation par critère + zone de saisie de feedback global cc EXPLOITATIONEXPLOITATION
  • 16.
    11 Plusieurs phases Phasede notation des évaluationsdd EXPLOITATIONEXPLOITATION
  • 17.
    Organisationnels Matériel, classement, restitution,archivage, évolution Economiques Besoin « client » /freins et leviers , cas d’usages, modèle économique 33 22 Opérationnels Accès, usages, accompagnement des acteurs, 11 DESORDRES ET OPPORTUNITESDESORDRES ET OPPORTUNITES
  • 18.
    Il ressort quela régulation " manuelle " sur les échanges personnalisés avec les étudiants, la reprise des notations de devoirs et d'évaluation serait alors quantifiée à 20% des volumes étudiants engagés. Dépôt des devoirs Génération d'un board soumission/non soumission des devoirs ou vue possible sur tri possible sur "workshop add assessment". Evaluations Affichage de la liste des étudiants ayant évalué ou /non évalué des articles soumis. Rapport d'évaluation de l'atelier ou historique : Tri possible sur les entêtes de champs, dénombrement . Système de détection anti-plagiat DESORDRES ET OPPORTUNITESDESORDRES ET OPPORTUNITES
  • 19.
    Eval’ens du MOOCDD • Le contenu des cours est-il intéressant ? 93%de « Oui » et « Oui tout à fait » (1% « sans opinion ») • Les supports du cours sont-ils de bonnes qualités ? 94% (5%) • Consignes claires sur la plateforme ? 93 % (1%) • L'évaluation par les pairs permet-elle de mieux comprendre le travail de rédaction d'un article de vulgarisation scientifique ? 83% (4%) • L'ergonomie de la plateforme pour le rendu du travail et l'évaluation était-elle la bonne? 70% (6%) DESORDRES ET OPPORTUNITESDESORDRES ET OPPORTUNITES
  • 20.
    Des questions pédagogiquesà débattre • Faire apparaître, dans la feuille de note d’un élève, l’évaluation par les pairs, avec : – la mention « Evaluateur confirmé : X travaux évalués par les pairs avec sérieux et compétence » ? (qualitatif) – ou une note : sa moyenne des évaluations réalisées ? (quantitatif) • L’enseignant ne doit-il recorriger que les 20% de copies aux écart-types trop élevés ? Ou doit-il tout recorriger ? Quel gain dans ce cas ? DESORDRES ET OPPORTUNITESDESORDRES ET OPPORTUNITES
  • 21.
    WEBOGRAPHIEWEBOGRAPHIE • MOOC «développement durable », Ecole Centrale Paris, Responsable : Pascal da Costa, plate-forme France Université Numérique :https://www.france-universite-numerique- mooc.fr/cours/?state=&university=CentraleParis • Commission de la culture, de l'éducation et de la communication du Sénat : http://videos.senat.fr/video/videos/2014/video23008.html, 21/05/2014. Remerciements : Pascal Da Costa - Maitre de conférence Centrale Paris
  • 22.
    A VOS QUESTIONSAVOS QUESTIONS Merci de votre attention, Florence Labord info@expertweb.fr 0621.447.851

Notes de l'éditeur

  • #4 Quand le nombre d’étudiants est élevé. MOOC, cours en promo entière… Centralesupélec ? Quand il faut automatiser pour supprimer des tâches ingrates et chronophages. Au bénéfice d'un recentrage sur la pédagogie et le suivi des élèves. Pour un enseignant en surcharge. Au bénéfice de la recherche pour un enseignant-chercheur Tous les cours ne se prêtent pas cet exercice : Le cours d’économie suppose que les élèves maitrisent des connaissances nouvelles (dont théoriques) et le protocole scientifique particulier des sciences économiques. Le MOOC de développement durable ne contient pas de difficulté conceptuelle importante ; c’est plus une démarche holistique qu’on évalue.
  • #19 Globalement des élèves qui jouent le jeu : des évaluations par les pairs très complètes et détaillées (40% environ). Mais des travaux qui reçoivent des évaluations avec un écart-type jugé trop élevé (20%) : recorrection d’office pour ces travaux ! Certains élèves n’avaient pas le recul ou les connaissances nécessaires pour évaluer les travaux de leur pairs.
  • #21 La plateforme sera encore utilisées/éprouvées dans le cadre des cours suivants : MOOC DD Cours Technico-économie de l’énergie Centrale formation :SPOC (Small Private Online Course) sur les « Enjeux environnementaux du XXIe s. » D’autres volontaires ?