Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
Quelle valeur pour les
MOOCs?
Une synthese de la validité des outils d'evaluatioǹ ́
Stéphane Villeneuve, Ph.D.
Université...
Ce document est sous Licence Creative Commons
Cette œuvre de Stéphane Villeneuve (villeneuve.stephane.2@uqam.ca) est mise ...
MOOC
MOOC: Massive Open Online Course
CLOM: Cours en ligne offert aux masses
CLOM: Cours en ligne ouvert et massif
CLO...
Le
XMOOC
et cMOOC
Bref, un MOOC c’est…
•Formation en ligne
•Gratuite
•Et…
…sans limite de participants
En présentiel
Évaluations:
professeurs
auxiliaires d’enseignement (correcteur)
MOOC
Exigerait de grandes ressources hum...
Utiliser des types
d’évaluations appropriées
RECENSION DES ÉCRITS
Méthodologie
Bases de données bibliographiques
Australian Education Index
ERIC
Repère
SCOPUS
Goo...
MÉTHODOLOGIE
Mots-clés utilisés
1.MOOC
2.Assessment
3.Evaluation method
4.Validity
Et opérateurs booléens appropriés
MÉTHODOLOGIE
Autres critères
Aucune restriction de date
Documentation francophone et
anglophone
Recherche manuelle des ...
QUELS TYPES
D’ÉVALUATION POUR LES
MOOCs ?
3 types d’évaluation
• Automatisée par logiciel (Balfour, 2013; Beg,
2014; Widom, 2012)
• Par les pairs (Kulkarni et al., ...
ÉVALUATION
AUTOMATISÉE PAR
LOGICIEL
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
2 formes
• Quiz
• AET (Évaluation automatisée de
textes ou Automated Essay Scoring)
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
Quiz (choix multiples, réponses courtes)
• Facile à créer et à corriger
• Bon portrait...
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
Quiz sont moins pertinents lorsque l’on
veut évaluer des…
• compétences de second nive...
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes ou Automated
Essay Scoring AES)
•Historique
•But...
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes)
• 3 marques commerciales dominent le
marché
• E...
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes)
• Variables utilisées ?
• longueur et nombre de...
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes)
• Les évaluations automatisées sont
plus corrél...
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET
• Ne permet pas d’évaluer
• les nouvelles métaphores
complexes
• l’humour
• les pa...
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET
• Le National Council of Teachers of English se
positionne (NCTE, 2013) contre les...
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET
• Des études suggèrent que l’évaluation
par les pairs dans les MOOC est plus
utile...
ÉVALUATION PAR
LES PAIRS
ÉVALUATION PAR LES
PAIRS
Basée sur l’évaluation d’autres travaux
exposant les étudiants à d’autres solutions et
stratégies...
ÉVALUATION PAR LES
PAIRS
FONCTIONNEMENT GÉNÉRAL DES EPP
•Protocole d’évaluation en double-aveugle (les
identités ne sont p...
ÉVALUATION PAR LES
PAIRS
AVANTAGES
• Allège la tâche des professeurs,
essentielle dans un MOOC
• Permet de consolider les ...
ÉVALUATION PAR LES
PAIRS
Appréciée par certains étudiants
• Notes avec 7% de + (Kulkarni et al.,
2013)
ÉVALUATION PAR LES
PAIRS
Détestée par d’autres:
• « I hated the peer assessments as in some
cases, their anonymity gave th...
ÉVALUATION PAR LES
PAIRS
Les MOOCs avec évaluation
par les pairs ont un plus
faible niveau de complétion
(Jordan, 2013)
Étude de Kulkarni
Contexte de la recherche
Sujet
•Cours sur l’interaction homme-machine (HCI)
Contenu
•Présence d’exposés ...
ÉVALUATION PAR LES
PAIRS
20% des étudiants ont effectué
plus d’évaluations que requis (5)
(Kulkarni et al., 2013)
ÉVALUATION PAR LES
PAIRS
Comment améliorer les évaluateurs?
En donnant une rétroaction sur
l’évaluation balisée pour indiq...
ÉVALUATION PAR LES
PAIRS
Améliore la justesse des évaluations subséquentes
ÉVALUATION PAR LES
PAIRS
Même si les noms étaient cachés, les
participants ont donné en moyenne 3,6% de
plus à leurs compa...
COMMENT
AMÉLIORER LES
ÉVALUATIONS?
ÉVALUATION PAR LES
PAIRS
Utiliser l’EPP à plusieurs reprises
dans un même MOOC pour
augmenter la justesse des
évaluations
...
ÉVALUATION PAR LES
PAIRS
Augmenter le nombre
d’évaluateurs diminue la
variabilité et augmente la validité
entre les évalua...
ÉVALUATION PAR LES
PAIRS
• Problèmes liés à l’EPP
• Crédibilité: évaluation de novices faite par des
novices (Suen, 2014)
...
ÉVALUATION PAR LES
PAIRS
• 6 types d’écarts (Suen, 2014)
a) Entre l’évaluation d’un pair et d’un expert
b) Fluctuations si...
Autoévaluation
AUTO-ÉVALUATION
• Basée sur l’importance du développement
d’habiletés métacognitives (Veenman, Van
Hout-Wolters et Affleer...
AUTO-ÉVALUATION
Aussi efficace que l’évaluation
d’experts
• 71,6% moins de 2 points/27 de
différence avec les experts
AUTO-ÉVALUATION
13% se sont donnés tous les
points, mais ont plagié ou soumis
un travail bidon
Repérage nécessaire
AUTO-ÉVALUATION
• Importance de bien former les étudiants à s’auto-
évaluer
• Les laisser s’auto-évaluer seulement quand i...
VALIDATION
Comment assure-t-on la crédibilité des évaluations?
VALIDATION
3 formes de tricherie (Meyer et Zhu, 2013)
• Donner, prendre ou recevoir de l’information
• Communiquer par ce...
VALIDATION
• Utiliser du matériel interdit
• Chercher les réponses sur Internet avec
son appareil intelligent pendant un
e...
VALIDATION
• « Jouer le système »
Faire faire le test par quelqu’un
d’autre
Faire le test plus d’une fois
VALIDATION
• Besoin de mesures pour réduire les
possibilités de tricher en ligne
• Le “proctoring” – évaluation surveillée...
Méthode physique
Faire les évaluations dans un local sous supervision (Pearson Vue)
VALIDATION
Méthodes électroniques
• Diminuer les risques de tricherie en:
• Filmant l’étudiant pendant qu’il effectue le t...
VALIDATION
Méthodes électroniques
• S’assurer l’identité de l’étudiant à l’aide:
• Pièce d’identité officielle avec photo
...
EN BREF…
3 types d’évaluations
Automatisée par
logiciel
Par les pairs
Auto-évaluation
Une question d’équilibre?
Automatisée
par logiciel
Automatisée
par logiciel Par les pairsPar les pairs
Auto-
évaluation
Au...
Sources des images
• Free Digital Photos
Quelle valeur pour les MOOCs. Une synthèse de la validité des outils d'évaluation
Quelle valeur pour les MOOCs. Une synthèse de la validité des outils d'évaluation
Prochain SlideShare
Chargement dans…5
×

Quelle valeur pour les MOOCs. Une synthèse de la validité des outils d'évaluation

4 599 vues

Publié le

Le MOOC (cours en ligne ouvert et massif) est un type récent de formation à distance d’un cours accessible à tous en ligne et sans restrictions quant au nombre de participants (Educause, 2013). L’évaluation des apprentissages en ligne est parmi les plus importantes préoccupations dans ce type de formation. En effet, même les MOOCs de plus petite envergure rendent l'évaluation traditionnelle laborieuse. Pour ceux accueillant plus de 150 000 participants pour un seul cours (Gee, 2012) la question de l'évaluation des apprentissages demande, sans contredit, des ajustements. En effet, des méthodes d’évaluation inadéquates pourraient porter préjudice à la valeur des MOOCs et aux certifications délivrées. Cette conférence exposera donc une revue de littérature portant sur les outils d’évaluations utilisés dans les MOOCs. Afin de mener à terme cette synthèse de recherche, des bases de données importantes d’articles scientifiques en éducation ont été consultées. Parmi les résultats principaux, on observe que l’évaluation par les pairs est une méthode d’évaluation appréciée par les concepteurs de MOOCs. De plus, lorsque cette méthode est utilisée, les étudiants évaluent leurs pairs en leur attribuant une note supérieure à ce que le personnel de l’établissement d’enseignement attribue habituellement (Kulkarni, et al., 2013). À la suite de cette synthèse de recherche, on peut affirmer que plus d’études se doivent d’être entreprises afin d’étudier et de raffiner les méthodes d’évaluation les plus adaptées lorsque l’on offre des formations à des milliers, voire des centaines de milliers d’étudiants.

Publié dans : Formation
  • Soyez le premier à commenter

Quelle valeur pour les MOOCs. Une synthèse de la validité des outils d'évaluation

  1. 1. Quelle valeur pour les MOOCs? Une synthese de la validité des outils d'evaluatioǹ ́ Stéphane Villeneuve, Ph.D. Université du Québec à Montréal Professeur Chercheur associé au CRIFPE Twitter: @Prof_UQAM_TIC ADMEE, Liège (Belgique), 27 au 30 janvier 2015
  2. 2. Ce document est sous Licence Creative Commons Cette œuvre de Stéphane Villeneuve (villeneuve.stephane.2@uqam.ca) est mise à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.5 Canada. (CC BY-NC-ND) Détails de la licence: http://creativecommons.org/licenses/by-nc-nd/2.5/ca/deed.fr
  3. 3. MOOC MOOC: Massive Open Online Course CLOM: Cours en ligne offert aux masses CLOM: Cours en ligne ouvert et massif CLOT: Cours en ligne ouverts à tous FLOT: Formation en ligne ouverte à tous Existent depuis 2008, mais forte présence en 2012 (Sandeen, 2013)
  4. 4. Le XMOOC et cMOOC
  5. 5. Bref, un MOOC c’est… •Formation en ligne •Gratuite •Et…
  6. 6. …sans limite de participants
  7. 7. En présentiel Évaluations: professeurs auxiliaires d’enseignement (correcteur) MOOC Exigerait de grandes ressources humaines et financières pour les évaluations Les grandes universités américaines peuvent en accueillir + 150 000 (Gee, 2012)
  8. 8. Utiliser des types d’évaluations appropriées
  9. 9. RECENSION DES ÉCRITS Méthodologie Bases de données bibliographiques Australian Education Index ERIC Repère SCOPUS Google Scholar
  10. 10. MÉTHODOLOGIE Mots-clés utilisés 1.MOOC 2.Assessment 3.Evaluation method 4.Validity Et opérateurs booléens appropriés
  11. 11. MÉTHODOLOGIE Autres critères Aucune restriction de date Documentation francophone et anglophone Recherche manuelle des principaux articles dans la bibliographie
  12. 12. QUELS TYPES D’ÉVALUATION POUR LES MOOCs ?
  13. 13. 3 types d’évaluation • Automatisée par logiciel (Balfour, 2013; Beg, 2014; Widom, 2012) • Par les pairs (Kulkarni et al., 2013) • Auto-évaluation (Wilkowski, Russel et Deutsch, 2014) • Validation • « Proctoring » (Briggs, 2013)
  14. 14. ÉVALUATION AUTOMATISÉE PAR LOGICIEL
  15. 15. ÉVALUATION AUTOMATISÉE PAR LOGICIEL 2 formes • Quiz • AET (Évaluation automatisée de textes ou Automated Essay Scoring)
  16. 16. ÉVALUATION AUTOMATISÉE PAR LOGICIEL Quiz (choix multiples, réponses courtes) • Facile à créer et à corriger • Bon portrait du niveau de connaissance d’un sujet, mais pas au niveau des compétences de haut niveau. • Bien pour maintenir le rythme de l’étudiant • Pour s’assurer de la compréhension du sujet
  17. 17. ÉVALUATION AUTOMATISÉE PAR LOGICIEL Quiz sont moins pertinents lorsque l’on veut évaluer des… • compétences de second niveau (logique, résolution de problèmes) • textes longs (profondeur d’une réflexion personnelle) • travaux pratiques (créativité, qualité)
  18. 18. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET (Évaluation automatisée de textes ou Automated Essay Scoring AES) •Historique •But: prédire l’évaluation qui serait donnée par un humain •Donne une rétroaction sur la mécanique de l’écriture •Bien pour un cours de langue, mais discutable pour d’autres disciplines.
  19. 19. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET (Évaluation automatisée de textes) • 3 marques commerciales dominent le marché • E-rater (Educational Testing Service) • Intellimetric (Vantage Learning) • Intelligent Essay Assessor (Pearson Knowledge Technologies)
  20. 20. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET (Évaluation automatisée de textes) • Variables utilisées ? • longueur et nombre des mots • longueur des éléments du discours • proportion des erreurs grammaticales • vocabulaire, mots moins communs • organisation et style
  21. 21. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET (Évaluation automatisée de textes) • Les évaluations automatisées sont plus corrélées à celle des humains qu’entre les humains = plus constantes (Shermis et al., 2010)
  22. 22. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET • Ne permet pas d’évaluer • les nouvelles métaphores complexes • l’humour • les patois, le langage régional (Graesser et McNamera, 2012)
  23. 23. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET • Le National Council of Teachers of English se positionne (NCTE, 2013) contre les AET: • restriction quant au type de texte qui peuvent y avoir recours • la plupart des rétroactions sont trop vagues • possibilité de “trafiquer le système” au lieu de travailler son style et le contenu
  24. 24. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET • Des études suggèrent que l’évaluation par les pairs dans les MOOC est plus utile pour les étudiants selon le type de travail demandé que les AET (Heise, Palmer- Judson et Su, 2002; Likkel, 2012)
  25. 25. ÉVALUATION PAR LES PAIRS
  26. 26. ÉVALUATION PAR LES PAIRS Basée sur l’évaluation d’autres travaux exposant les étudiants à d’autres solutions et stratégies que celles vues dans en cours (Chinn, 2005; Tinapple et al., 2013)
  27. 27. ÉVALUATION PAR LES PAIRS FONCTIONNEMENT GÉNÉRAL DES EPP •Protocole d’évaluation en double-aveugle (les identités ne sont pas révélées) •Pénalité pour les évaluations tardives •Attribution aléatoire •1 évaluation balisée (faux travail) + 4 de pairs •Note = moyenne des résultats
  28. 28. ÉVALUATION PAR LES PAIRS AVANTAGES • Allège la tâche des professeurs, essentielle dans un MOOC • Permet de consolider les apprentissages
  29. 29. ÉVALUATION PAR LES PAIRS Appréciée par certains étudiants • Notes avec 7% de + (Kulkarni et al., 2013)
  30. 30. ÉVALUATION PAR LES PAIRS Détestée par d’autres: • « I hated the peer assessments as in some cases, their anonymity gave the peers an excuse to say mean-spirited things. » (Suen, 2014, p. 319)
  31. 31. ÉVALUATION PAR LES PAIRS Les MOOCs avec évaluation par les pairs ont un plus faible niveau de complétion (Jordan, 2013)
  32. 32. Étude de Kulkarni Contexte de la recherche Sujet •Cours sur l’interaction homme-machine (HCI) Contenu •Présence d’exposés magistraux (vidéo) (n = 4 / sem.) Évaluations: •Courts quiz •Devoir hebdomadaire Nombre de participants •~35 000
  33. 33. ÉVALUATION PAR LES PAIRS 20% des étudiants ont effectué plus d’évaluations que requis (5) (Kulkarni et al., 2013)
  34. 34. ÉVALUATION PAR LES PAIRS Comment améliorer les évaluateurs? En donnant une rétroaction sur l’évaluation balisée pour indiquer si elle était plus haute ou plus basse que l’évaluation d’un expert.
  35. 35. ÉVALUATION PAR LES PAIRS Améliore la justesse des évaluations subséquentes
  36. 36. ÉVALUATION PAR LES PAIRS Même si les noms étaient cachés, les participants ont donné en moyenne 3,6% de plus à leurs compatriotes (Kulkarni et al., 2013) Codes culturels Contexte géographique des exemples Différences d’attentes et standards
  37. 37. COMMENT AMÉLIORER LES ÉVALUATIONS?
  38. 38. ÉVALUATION PAR LES PAIRS Utiliser l’EPP à plusieurs reprises dans un même MOOC pour augmenter la justesse des évaluations Les étudiants deviennent de meilleurs évaluateurs avec le temps
  39. 39. ÉVALUATION PAR LES PAIRS Augmenter le nombre d’évaluateurs diminue la variabilité et augmente la validité entre les évaluateurs
  40. 40. ÉVALUATION PAR LES PAIRS • Problèmes liés à l’EPP • Crédibilité: évaluation de novices faite par des novices (Suen, 2014) • Même les étudiants ne font pas confiance aux résultats (Furman et Robinson, 2003) • Erreurs d’évaluation: que faire si tous les évaluateurs d’un examen sont mauvais?
  41. 41. ÉVALUATION PAR LES PAIRS • 6 types d’écarts (Suen, 2014) a) Entre l’évaluation d’un pair et d’un expert b) Fluctuations situationnelles de l’évaluation par un pair d’un même travail sous des conditions différentes c) Incohérence de résultats entre des travaux similaires d) Entre des pairs sur le même travail e) Écarts systématiques entre des pairs à cause de différences de compétence ou de rigueur f) Fluctuations situationnelles de l’évaluation d’un expert d’un même travail sous des conditions différentes
  42. 42. Autoévaluation
  43. 43. AUTO-ÉVALUATION • Basée sur l’importance du développement d’habiletés métacognitives (Veenman, Van Hout-Wolters et Affleerbach, 2006) • Plus d’apprentissage comparé à l’évaluation de pairs (Sadler et Good, 2006) (Wilkowski, Russel et Deutsch, 2014)
  44. 44. AUTO-ÉVALUATION Aussi efficace que l’évaluation d’experts • 71,6% moins de 2 points/27 de différence avec les experts
  45. 45. AUTO-ÉVALUATION 13% se sont donnés tous les points, mais ont plagié ou soumis un travail bidon Repérage nécessaire
  46. 46. AUTO-ÉVALUATION • Importance de bien former les étudiants à s’auto- évaluer • Les laisser s’auto-évaluer seulement quand ils ont réussi à donner la même note qu’un expert sur un exercice • Importance d’une grille claire et simple afin d’être bien comprise par les étudiants
  47. 47. VALIDATION Comment assure-t-on la crédibilité des évaluations?
  48. 48. VALIDATION 3 formes de tricherie (Meyer et Zhu, 2013) • Donner, prendre ou recevoir de l’information • Communiquer par cellulaire avec un ami pour de l’aide • Faire le test en équipe avec un autre étudiant
  49. 49. VALIDATION • Utiliser du matériel interdit • Chercher les réponses sur Internet avec son appareil intelligent pendant un examen sur ordinateur • Obtenir l’examen/les réponses à l’avance
  50. 50. VALIDATION • « Jouer le système » Faire faire le test par quelqu’un d’autre Faire le test plus d’une fois
  51. 51. VALIDATION • Besoin de mesures pour réduire les possibilités de tricher en ligne • Le “proctoring” – évaluation surveillée • Méthode physique • Méthodes électroniques
  52. 52. Méthode physique Faire les évaluations dans un local sous supervision (Pearson Vue)
  53. 53. VALIDATION Méthodes électroniques • Diminuer les risques de tricherie en: • Filmant l’étudiant pendant qu’il effectue le test • Balayant la salle pour repérer s’il y a des personnes ou des outils pour tricher • Captant le pattern du doigté sur le clavier durant l’écriture • Vérifiant la structure des phrases et le vocabulaire utilisé d’un travail à l’autre
  54. 54. VALIDATION Méthodes électroniques • S’assurer l’identité de l’étudiant à l’aide: • Pièce d’identité officielle avec photo • Empreinte occulaire/digitale • Reconnaissance vocale
  55. 55. EN BREF… 3 types d’évaluations
  56. 56. Automatisée par logiciel
  57. 57. Par les pairs
  58. 58. Auto-évaluation
  59. 59. Une question d’équilibre? Automatisée par logiciel Automatisée par logiciel Par les pairsPar les pairs Auto- évaluation Auto- évaluation
  60. 60. Sources des images • Free Digital Photos

×