SlideShare une entreprise Scribd logo
Quelle valeur pour les
MOOCs?
Une synthese de la validité des outils d'evaluatioǹ ́
Stéphane Villeneuve, Ph.D.
Université du Québec à Montréal
Professeur
Chercheur associé au CRIFPE
Twitter: @Prof_UQAM_TIC
ADMEE, Liège (Belgique), 27 au 30 janvier 2015
Ce document est sous Licence Creative Commons
Cette œuvre de Stéphane Villeneuve (villeneuve.stephane.2@uqam.ca) est mise à
disposition selon les termes de la Licence Creative Commons Attribution - Pas
d’Utilisation Commerciale - Pas de Modification 2.5 Canada. (CC BY-NC-ND)
Détails de la licence:
http://creativecommons.org/licenses/by-nc-nd/2.5/ca/deed.fr
MOOC
MOOC: Massive Open Online Course
CLOM: Cours en ligne offert aux masses
CLOM: Cours en ligne ouvert et massif
CLOT: Cours en ligne ouverts à tous
FLOT: Formation en ligne ouverte à tous
Existent depuis 2008, mais forte présence en 2012
(Sandeen, 2013)
Le
XMOOC
et cMOOC
Bref, un MOOC c’est…
•Formation en ligne
•Gratuite
•Et…
…sans limite de participants
En présentiel
Évaluations:
professeurs
auxiliaires d’enseignement (correcteur)
MOOC
Exigerait de grandes ressources humaines et
financières pour les évaluations
Les grandes universités américaines peuvent en
accueillir + 150 000 (Gee, 2012)
Utiliser des types
d’évaluations appropriées
RECENSION DES ÉCRITS
Méthodologie
Bases de données bibliographiques
Australian Education Index
ERIC
Repère
SCOPUS
Google Scholar
MÉTHODOLOGIE
Mots-clés utilisés
1.MOOC
2.Assessment
3.Evaluation method
4.Validity
Et opérateurs booléens appropriés
MÉTHODOLOGIE
Autres critères
Aucune restriction de date
Documentation francophone et
anglophone
Recherche manuelle des principaux
articles dans la bibliographie
QUELS TYPES
D’ÉVALUATION POUR LES
MOOCs ?
3 types d’évaluation
• Automatisée par logiciel (Balfour, 2013; Beg,
2014; Widom, 2012)
• Par les pairs (Kulkarni et al., 2013)
• Auto-évaluation (Wilkowski, Russel et Deutsch,
2014)
• Validation
• « Proctoring » (Briggs, 2013)
ÉVALUATION
AUTOMATISÉE PAR
LOGICIEL
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
2 formes
• Quiz
• AET (Évaluation automatisée de
textes ou Automated Essay Scoring)
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
Quiz (choix multiples, réponses courtes)
• Facile à créer et à corriger
• Bon portrait du niveau de connaissance d’un
sujet, mais pas au niveau des compétences de
haut niveau.
• Bien pour maintenir le rythme de l’étudiant
• Pour s’assurer de la compréhension du sujet
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
Quiz sont moins pertinents lorsque l’on
veut évaluer des…
• compétences de second niveau
(logique, résolution de problèmes)
• textes longs (profondeur d’une
réflexion personnelle)
• travaux pratiques (créativité, qualité)
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes ou Automated
Essay Scoring AES)
•Historique
•But: prédire l’évaluation qui serait donnée par un
humain
•Donne une rétroaction sur la mécanique de l’écriture
•Bien pour un cours de langue, mais discutable pour
d’autres disciplines.
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes)
• 3 marques commerciales dominent le
marché
• E-rater (Educational Testing Service)
• Intellimetric (Vantage Learning)
• Intelligent Essay Assessor (Pearson Knowledge
Technologies)
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes)
• Variables utilisées ?
• longueur et nombre des mots
• longueur des éléments du discours
• proportion des erreurs grammaticales
• vocabulaire, mots moins communs
• organisation et style
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET (Évaluation automatisée de textes)
• Les évaluations automatisées sont
plus corrélées à celle des humains
qu’entre les humains = plus
constantes (Shermis et al., 2010)
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET
• Ne permet pas d’évaluer
• les nouvelles métaphores
complexes
• l’humour
• les patois, le langage régional
(Graesser et McNamera, 2012)
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET
• Le National Council of Teachers of English se
positionne (NCTE, 2013) contre les AET:
• restriction quant au type de texte qui peuvent
y avoir recours
• la plupart des rétroactions sont trop vagues
• possibilité de “trafiquer le système” au lieu
de travailler son style et le contenu
ÉVALUATION AUTOMATISÉE
PAR LOGICIEL
AET
• Des études suggèrent que l’évaluation
par les pairs dans les MOOC est plus
utile pour les étudiants selon le type de
travail demandé que les AET (Heise, Palmer-
Judson et Su, 2002; Likkel, 2012)
ÉVALUATION PAR
LES PAIRS
ÉVALUATION PAR LES
PAIRS
Basée sur l’évaluation d’autres travaux
exposant les étudiants à d’autres solutions et
stratégies que celles vues dans en cours
(Chinn, 2005; Tinapple et al., 2013)
ÉVALUATION PAR LES
PAIRS
FONCTIONNEMENT GÉNÉRAL DES EPP
•Protocole d’évaluation en double-aveugle (les
identités ne sont pas révélées)
•Pénalité pour les évaluations tardives
•Attribution aléatoire
•1 évaluation balisée (faux travail) + 4 de pairs
•Note = moyenne des résultats
ÉVALUATION PAR LES
PAIRS
AVANTAGES
• Allège la tâche des professeurs,
essentielle dans un MOOC
• Permet de consolider les apprentissages
ÉVALUATION PAR LES
PAIRS
Appréciée par certains étudiants
• Notes avec 7% de + (Kulkarni et al.,
2013)
ÉVALUATION PAR LES
PAIRS
Détestée par d’autres:
• « I hated the peer assessments as in some
cases, their anonymity gave the peers an
excuse to say mean-spirited things. »
(Suen, 2014, p. 319)
ÉVALUATION PAR LES
PAIRS
Les MOOCs avec évaluation
par les pairs ont un plus
faible niveau de complétion
(Jordan, 2013)
Quelle valeur pour les MOOCs. Une synthèse de la validité des outils d'évaluation
Étude de Kulkarni
Contexte de la recherche
Sujet
•Cours sur l’interaction homme-machine (HCI)
Contenu
•Présence d’exposés magistraux (vidéo) (n = 4 / sem.)
Évaluations:
•Courts quiz
•Devoir hebdomadaire
Nombre de participants
•~35 000
ÉVALUATION PAR LES
PAIRS
20% des étudiants ont effectué
plus d’évaluations que requis (5)
(Kulkarni et al., 2013)
ÉVALUATION PAR LES
PAIRS
Comment améliorer les évaluateurs?
En donnant une rétroaction sur
l’évaluation balisée pour indiquer si
elle était plus haute ou plus basse que
l’évaluation d’un expert.
ÉVALUATION PAR LES
PAIRS
Améliore la justesse des évaluations subséquentes
ÉVALUATION PAR LES
PAIRS
Même si les noms étaient cachés, les
participants ont donné en moyenne 3,6% de
plus à leurs compatriotes (Kulkarni et al.,
2013)
Codes culturels
Contexte géographique des exemples
Différences d’attentes et standards
COMMENT
AMÉLIORER LES
ÉVALUATIONS?
ÉVALUATION PAR LES
PAIRS
Utiliser l’EPP à plusieurs reprises
dans un même MOOC pour
augmenter la justesse des
évaluations
Les étudiants deviennent de meilleurs
évaluateurs avec le temps
ÉVALUATION PAR LES
PAIRS
Augmenter le nombre
d’évaluateurs diminue la
variabilité et augmente la validité
entre les évaluateurs
ÉVALUATION PAR LES
PAIRS
• Problèmes liés à l’EPP
• Crédibilité: évaluation de novices faite par des
novices (Suen, 2014)
• Même les étudiants ne font pas confiance aux
résultats (Furman et Robinson, 2003)
• Erreurs d’évaluation: que faire si tous les
évaluateurs d’un examen sont mauvais?
ÉVALUATION PAR LES
PAIRS
• 6 types d’écarts (Suen, 2014)
a) Entre l’évaluation d’un pair et d’un expert
b) Fluctuations situationnelles de l’évaluation par un pair
d’un même travail sous des conditions différentes
c) Incohérence de résultats entre des travaux similaires
d) Entre des pairs sur le même travail
e) Écarts systématiques entre des pairs à cause de
différences de compétence ou de rigueur
f) Fluctuations situationnelles de l’évaluation d’un expert
d’un même travail sous des conditions différentes
Autoévaluation
AUTO-ÉVALUATION
• Basée sur l’importance du développement
d’habiletés métacognitives (Veenman, Van
Hout-Wolters et Affleerbach, 2006)
• Plus d’apprentissage comparé à l’évaluation
de pairs (Sadler et Good, 2006)
(Wilkowski, Russel et Deutsch, 2014)
AUTO-ÉVALUATION
Aussi efficace que l’évaluation
d’experts
• 71,6% moins de 2 points/27 de
différence avec les experts
Quelle valeur pour les MOOCs. Une synthèse de la validité des outils d'évaluation
AUTO-ÉVALUATION
13% se sont donnés tous les
points, mais ont plagié ou soumis
un travail bidon
Repérage nécessaire
AUTO-ÉVALUATION
• Importance de bien former les étudiants à s’auto-
évaluer
• Les laisser s’auto-évaluer seulement quand ils
ont réussi à donner la même note qu’un expert
sur un exercice
• Importance d’une grille claire et simple afin d’être
bien comprise par les étudiants
VALIDATION
Comment assure-t-on la crédibilité des évaluations?
VALIDATION
3 formes de tricherie (Meyer et Zhu, 2013)
• Donner, prendre ou recevoir de l’information
• Communiquer par cellulaire avec un ami pour de
l’aide
• Faire le test en équipe avec un autre étudiant
VALIDATION
• Utiliser du matériel interdit
• Chercher les réponses sur Internet avec
son appareil intelligent pendant un
examen sur ordinateur
• Obtenir l’examen/les réponses à l’avance
VALIDATION
• « Jouer le système »
Faire faire le test par quelqu’un
d’autre
Faire le test plus d’une fois
VALIDATION
• Besoin de mesures pour réduire les
possibilités de tricher en ligne
• Le “proctoring” – évaluation surveillée
• Méthode physique
• Méthodes électroniques
Méthode physique
Faire les évaluations dans un local sous supervision (Pearson Vue)
VALIDATION
Méthodes électroniques
• Diminuer les risques de tricherie en:
• Filmant l’étudiant pendant qu’il effectue le test
• Balayant la salle pour repérer s’il y a des
personnes ou des outils pour tricher
• Captant le pattern du doigté sur le clavier
durant l’écriture
• Vérifiant la structure des phrases et le
vocabulaire utilisé d’un travail à l’autre
VALIDATION
Méthodes électroniques
• S’assurer l’identité de l’étudiant à l’aide:
• Pièce d’identité officielle avec photo
• Empreinte occulaire/digitale
• Reconnaissance vocale
EN BREF…
3 types d’évaluations
Automatisée par
logiciel
Par les pairs
Auto-évaluation
Une question d’équilibre?
Automatisée
par logiciel
Automatisée
par logiciel Par les pairsPar les pairs
Auto-
évaluation
Auto-
évaluation
Sources des images
• Free Digital Photos

Contenu connexe

Tendances

L'évaluation par les pairs - Florence Labord - web-conférence du 9 juin 2015
L'évaluation par les pairs - Florence Labord - web-conférence du 9 juin 2015L'évaluation par les pairs - Florence Labord - web-conférence du 9 juin 2015
L'évaluation par les pairs - Florence Labord - web-conférence du 9 juin 2015
FFFOD
 
Les CLOM/MOOC et les modèles pédagogiques de formation en ligne.
Les CLOM/MOOC et les modèles pédagogiques de formation en ligne.Les CLOM/MOOC et les modèles pédagogiques de formation en ligne.
Les CLOM/MOOC et les modèles pédagogiques de formation en ligne.
Gilbert Paquette
 
Integrer un MOOC en formation initiale - colloque QPES 2015
Integrer un MOOC en formation initiale - colloque QPES 2015Integrer un MOOC en formation initiale - colloque QPES 2015
Integrer un MOOC en formation initiale - colloque QPES 2015
Rémi Bachelet
 
Présentation MOOC CERTICE Scol
Présentation MOOC CERTICE Scol Présentation MOOC CERTICE Scol
Présentation MOOC CERTICE Scol
IFIC (AUF)
 
Augmenter la persévérance dans les CLOM / MOOC? Possible!
Augmenter la persévérance dans les CLOM / MOOC? Possible!Augmenter la persévérance dans les CLOM / MOOC? Possible!
Augmenter la persévérance dans les CLOM / MOOC? Possible!
Claude Coulombe
 
Ingéniérie de la Foad
Ingéniérie de la FoadIngéniérie de la Foad
Ingéniérie de la Foad
Clerquin Sarah
 
Séminaire polytechnique 12nov15
Séminaire polytechnique 12nov15Séminaire polytechnique 12nov15
Séminaire polytechnique 12nov15
Claude Coulombe
 
ADDIE : Modèle d'ingénierie pédagogique
 ADDIE : Modèle d'ingénierie pédagogique ADDIE : Modèle d'ingénierie pédagogique
ADDIE : Modèle d'ingénierie pédagogique
yazbekfarah
 
Tournage des vidéos pour un MOOC : cas du Home Studio, coûts - 7-12-2013
Tournage des vidéos pour un MOOC : cas du Home Studio, coûts - 7-12-2013Tournage des vidéos pour un MOOC : cas du Home Studio, coûts - 7-12-2013
Tournage des vidéos pour un MOOC : cas du Home Studio, coûts - 7-12-2013
Rémi Bachelet
 
IFP School 5ième Rencontres TICE Rennes (Juin 2015)
IFP School 5ième Rencontres TICE Rennes (Juin 2015)IFP School 5ième Rencontres TICE Rennes (Juin 2015)
IFP School 5ième Rencontres TICE Rennes (Juin 2015)
Olivier Bernaert
 
Webinaires AUF ENS-Luang Prabang Laos
Webinaires AUF ENS-Luang Prabang LaosWebinaires AUF ENS-Luang Prabang Laos
Webinaires AUF ENS-Luang Prabang Laos
Mokhtar Ben Henda
 
Quel avenir pour les MOOC en entreprise ? oct 2017 - Séminaire ens cachan
Quel avenir pour les MOOC en entreprise ? oct 2017 - Séminaire ens cachan Quel avenir pour les MOOC en entreprise ? oct 2017 - Séminaire ens cachan
Quel avenir pour les MOOC en entreprise ? oct 2017 - Séminaire ens cachan
Rémi Bachelet
 
Animation des activités d'une classe virtuelle
Animation des activités d'une classe virtuelleAnimation des activités d'une classe virtuelle
Animation des activités d'une classe virtuelle
Mokhtar Ben Henda
 
eLearning, FOAD : atouts pour les entreprises
eLearning, FOAD : atouts pour les entrepriseseLearning, FOAD : atouts pour les entreprises
eLearning, FOAD : atouts pour les entreprises
Cyrille Georgel
 
Formation au tutorat des cours hybrides
Formation au tutorat des cours hybridesFormation au tutorat des cours hybrides
Formation au tutorat des cours hybrides
Mokhtar Ben Henda
 
Les nouvelles formes d'apprentissage grenoble digital society forum
Les nouvelles formes d'apprentissage grenoble   digital society forumLes nouvelles formes d'apprentissage grenoble   digital society forum
Les nouvelles formes d'apprentissage grenoble digital society forum
espenel
 
Mooc Lyon1 22 novembre
Mooc Lyon1 22 novembreMooc Lyon1 22 novembre
Mooc Lyon1 22 novembre
Christophe Batier
 
La scénarisation définir son objectif
La scénarisation définir son objectifLa scénarisation définir son objectif
La scénarisation définir son objectif
Bruno Tison
 
Evaluation par les pairs dans les MOOC : résultats d'une enquête
Evaluation par les pairs dans les MOOC : résultats d'une enquêteEvaluation par les pairs dans les MOOC : résultats d'une enquête
Evaluation par les pairs dans les MOOC : résultats d'une enquête
Elodie Vaugier
 

Tendances (20)

L'évaluation par les pairs - Florence Labord - web-conférence du 9 juin 2015
L'évaluation par les pairs - Florence Labord - web-conférence du 9 juin 2015L'évaluation par les pairs - Florence Labord - web-conférence du 9 juin 2015
L'évaluation par les pairs - Florence Labord - web-conférence du 9 juin 2015
 
Les CLOM/MOOC et les modèles pédagogiques de formation en ligne.
Les CLOM/MOOC et les modèles pédagogiques de formation en ligne.Les CLOM/MOOC et les modèles pédagogiques de formation en ligne.
Les CLOM/MOOC et les modèles pédagogiques de formation en ligne.
 
Integrer un MOOC en formation initiale - colloque QPES 2015
Integrer un MOOC en formation initiale - colloque QPES 2015Integrer un MOOC en formation initiale - colloque QPES 2015
Integrer un MOOC en formation initiale - colloque QPES 2015
 
Présentation MOOC CERTICE Scol
Présentation MOOC CERTICE Scol Présentation MOOC CERTICE Scol
Présentation MOOC CERTICE Scol
 
Augmenter la persévérance dans les CLOM / MOOC? Possible!
Augmenter la persévérance dans les CLOM / MOOC? Possible!Augmenter la persévérance dans les CLOM / MOOC? Possible!
Augmenter la persévérance dans les CLOM / MOOC? Possible!
 
Ingéniérie de la Foad
Ingéniérie de la FoadIngéniérie de la Foad
Ingéniérie de la Foad
 
Séminaire polytechnique 12nov15
Séminaire polytechnique 12nov15Séminaire polytechnique 12nov15
Séminaire polytechnique 12nov15
 
ADDIE : Modèle d'ingénierie pédagogique
 ADDIE : Modèle d'ingénierie pédagogique ADDIE : Modèle d'ingénierie pédagogique
ADDIE : Modèle d'ingénierie pédagogique
 
Tournage des vidéos pour un MOOC : cas du Home Studio, coûts - 7-12-2013
Tournage des vidéos pour un MOOC : cas du Home Studio, coûts - 7-12-2013Tournage des vidéos pour un MOOC : cas du Home Studio, coûts - 7-12-2013
Tournage des vidéos pour un MOOC : cas du Home Studio, coûts - 7-12-2013
 
IFP School 5ième Rencontres TICE Rennes (Juin 2015)
IFP School 5ième Rencontres TICE Rennes (Juin 2015)IFP School 5ième Rencontres TICE Rennes (Juin 2015)
IFP School 5ième Rencontres TICE Rennes (Juin 2015)
 
Webinaires AUF ENS-Luang Prabang Laos
Webinaires AUF ENS-Luang Prabang LaosWebinaires AUF ENS-Luang Prabang Laos
Webinaires AUF ENS-Luang Prabang Laos
 
guide_e-learning
guide_e-learningguide_e-learning
guide_e-learning
 
Quel avenir pour les MOOC en entreprise ? oct 2017 - Séminaire ens cachan
Quel avenir pour les MOOC en entreprise ? oct 2017 - Séminaire ens cachan Quel avenir pour les MOOC en entreprise ? oct 2017 - Séminaire ens cachan
Quel avenir pour les MOOC en entreprise ? oct 2017 - Séminaire ens cachan
 
Animation des activités d'une classe virtuelle
Animation des activités d'une classe virtuelleAnimation des activités d'une classe virtuelle
Animation des activités d'une classe virtuelle
 
eLearning, FOAD : atouts pour les entreprises
eLearning, FOAD : atouts pour les entrepriseseLearning, FOAD : atouts pour les entreprises
eLearning, FOAD : atouts pour les entreprises
 
Formation au tutorat des cours hybrides
Formation au tutorat des cours hybridesFormation au tutorat des cours hybrides
Formation au tutorat des cours hybrides
 
Les nouvelles formes d'apprentissage grenoble digital society forum
Les nouvelles formes d'apprentissage grenoble   digital society forumLes nouvelles formes d'apprentissage grenoble   digital society forum
Les nouvelles formes d'apprentissage grenoble digital society forum
 
Mooc Lyon1 22 novembre
Mooc Lyon1 22 novembreMooc Lyon1 22 novembre
Mooc Lyon1 22 novembre
 
La scénarisation définir son objectif
La scénarisation définir son objectifLa scénarisation définir son objectif
La scénarisation définir son objectif
 
Evaluation par les pairs dans les MOOC : résultats d'une enquête
Evaluation par les pairs dans les MOOC : résultats d'une enquêteEvaluation par les pairs dans les MOOC : résultats d'une enquête
Evaluation par les pairs dans les MOOC : résultats d'une enquête
 

Similaire à Quelle valeur pour les MOOCs. Une synthèse de la validité des outils d'évaluation

Modalités & outils d’évaluation dans l’apprentissages en ligne
Modalités & outils d’évaluation dans l’apprentissages en ligneModalités & outils d’évaluation dans l’apprentissages en ligne
Modalités & outils d’évaluation dans l’apprentissages en ligne
Mokhtar Ben Henda
 
Learning analytics&classejanvier2017
Learning analytics&classejanvier2017Learning analytics&classejanvier2017
Learning analytics&classejanvier2017
Vanda Luengo
 
Présentation du travail collaboratif (2) 1
Présentation du travail collaboratif (2) 1Présentation du travail collaboratif (2) 1
Présentation du travail collaboratif (2) 1
Maxime Queval
 
PédagoTICE 2015
PédagoTICE 2015PédagoTICE 2015
PédagoTICE 2015
Franck Silvestre
 
TÂCHE 5: ÉVALUER DES APPRENTISSAGES
TÂCHE 5: ÉVALUER DES APPRENTISSAGESTÂCHE 5: ÉVALUER DES APPRENTISSAGES
TÂCHE 5: ÉVALUER DES APPRENTISSAGES
Xiana Vidal Veiga
 
Adapter ses modalités d'évaluation à distance
Adapter ses modalités d'évaluation à distanceAdapter ses modalités d'évaluation à distance
Adapter ses modalités d'évaluation à distance
Ludovic Miseur
 
Evad vinci
Evad vinciEvad vinci
Evad vinci
Sandrine Youx
 
Un test d’évaluation des compétences informationnelles à l’ÉTS par Vicky Gagn...
Un test d’évaluation des compétences informationnelles à l’ÉTS par Vicky Gagn...Un test d’évaluation des compétences informationnelles à l’ÉTS par Vicky Gagn...
Un test d’évaluation des compétences informationnelles à l’ÉTS par Vicky Gagn...
GTFD_Demi-journee
 
TÂCHE 5: ÉVALUER DES APPRENTISSAGES
TÂCHE 5: ÉVALUER DES APPRENTISSAGESTÂCHE 5: ÉVALUER DES APPRENTISSAGES
TÂCHE 5: ÉVALUER DES APPRENTISSAGES
Xiana Vidal Veiga
 
Pré-test et post-test d'évaluation des compétences informationnelles
Pré-test et post-test d'évaluation des compétences informationnellesPré-test et post-test d'évaluation des compétences informationnelles
Pré-test et post-test d'évaluation des compétences informationnelles
Vicky Gagnon-Mountzouris
 
Learning Analytics : entre Promesses et Réalité
Learning Analytics : entre Promesses et RéalitéLearning Analytics : entre Promesses et Réalité
Learning Analytics : entre Promesses et Réalité
Serge Garlatti
 
Module 5 l' evaluation d'une sequence de formation
Module 5 l' evaluation d'une sequence de formationModule 5 l' evaluation d'une sequence de formation
Module 5 l' evaluation d'une sequence de formation
Abderrazak LAKRIM
 
Concevoir une évaluation efficace.pptx
Concevoir une évaluation efficace.pptxConcevoir une évaluation efficace.pptx
Concevoir une évaluation efficace.pptx
Radhi Mhiri
 
TÂCHE 5
TÂCHE 5TÂCHE 5
Quels outils pour évaluer quels apprentissages ?
Quels outils pour évaluer quels apprentissages ?Quels outils pour évaluer quels apprentissages ?
Quels outils pour évaluer quels apprentissages ?
Jean-Loup Castaigne
 
Evaluer à distance
Evaluer à distanceEvaluer à distance
Evaluer à distance
Isabelle LANGOUËT
 
Intégration d’outils d’évaluation dans des dispositifs de formations numériqu...
Intégration d’outils d’évaluation dans des dispositifs de formations numériqu...Intégration d’outils d’évaluation dans des dispositifs de formations numériqu...
Intégration d’outils d’évaluation dans des dispositifs de formations numériqu...
Sebastien Stasse
 
L'engagement et la persévérance en enseignement supérieur
L'engagement et la persévérance en enseignement supérieurL'engagement et la persévérance en enseignement supérieur
L'engagement et la persévérance en enseignement supérieur
Christelle Lison
 
Design d’enseignement pour le développement de la pensée critique chez les ét...
Design d’enseignement pour le développement de la pensée critique chez les ét...Design d’enseignement pour le développement de la pensée critique chez les ét...
Design d’enseignement pour le développement de la pensée critique chez les ét...
CRITHINKEDU - Critical Thinking Across the European Higher Education Curricula
 
Génération semi-automatique de tests de révisions @Tice2014
Génération semi-automatique de tests de révisions @Tice2014Génération semi-automatique de tests de révisions @Tice2014
Génération semi-automatique de tests de révisions @Tice2014
Franck Silvestre
 

Similaire à Quelle valeur pour les MOOCs. Une synthèse de la validité des outils d'évaluation (20)

Modalités & outils d’évaluation dans l’apprentissages en ligne
Modalités & outils d’évaluation dans l’apprentissages en ligneModalités & outils d’évaluation dans l’apprentissages en ligne
Modalités & outils d’évaluation dans l’apprentissages en ligne
 
Learning analytics&classejanvier2017
Learning analytics&classejanvier2017Learning analytics&classejanvier2017
Learning analytics&classejanvier2017
 
Présentation du travail collaboratif (2) 1
Présentation du travail collaboratif (2) 1Présentation du travail collaboratif (2) 1
Présentation du travail collaboratif (2) 1
 
PédagoTICE 2015
PédagoTICE 2015PédagoTICE 2015
PédagoTICE 2015
 
TÂCHE 5: ÉVALUER DES APPRENTISSAGES
TÂCHE 5: ÉVALUER DES APPRENTISSAGESTÂCHE 5: ÉVALUER DES APPRENTISSAGES
TÂCHE 5: ÉVALUER DES APPRENTISSAGES
 
Adapter ses modalités d'évaluation à distance
Adapter ses modalités d'évaluation à distanceAdapter ses modalités d'évaluation à distance
Adapter ses modalités d'évaluation à distance
 
Evad vinci
Evad vinciEvad vinci
Evad vinci
 
Un test d’évaluation des compétences informationnelles à l’ÉTS par Vicky Gagn...
Un test d’évaluation des compétences informationnelles à l’ÉTS par Vicky Gagn...Un test d’évaluation des compétences informationnelles à l’ÉTS par Vicky Gagn...
Un test d’évaluation des compétences informationnelles à l’ÉTS par Vicky Gagn...
 
TÂCHE 5: ÉVALUER DES APPRENTISSAGES
TÂCHE 5: ÉVALUER DES APPRENTISSAGESTÂCHE 5: ÉVALUER DES APPRENTISSAGES
TÂCHE 5: ÉVALUER DES APPRENTISSAGES
 
Pré-test et post-test d'évaluation des compétences informationnelles
Pré-test et post-test d'évaluation des compétences informationnellesPré-test et post-test d'évaluation des compétences informationnelles
Pré-test et post-test d'évaluation des compétences informationnelles
 
Learning Analytics : entre Promesses et Réalité
Learning Analytics : entre Promesses et RéalitéLearning Analytics : entre Promesses et Réalité
Learning Analytics : entre Promesses et Réalité
 
Module 5 l' evaluation d'une sequence de formation
Module 5 l' evaluation d'une sequence de formationModule 5 l' evaluation d'une sequence de formation
Module 5 l' evaluation d'une sequence de formation
 
Concevoir une évaluation efficace.pptx
Concevoir une évaluation efficace.pptxConcevoir une évaluation efficace.pptx
Concevoir une évaluation efficace.pptx
 
TÂCHE 5
TÂCHE 5TÂCHE 5
TÂCHE 5
 
Quels outils pour évaluer quels apprentissages ?
Quels outils pour évaluer quels apprentissages ?Quels outils pour évaluer quels apprentissages ?
Quels outils pour évaluer quels apprentissages ?
 
Evaluer à distance
Evaluer à distanceEvaluer à distance
Evaluer à distance
 
Intégration d’outils d’évaluation dans des dispositifs de formations numériqu...
Intégration d’outils d’évaluation dans des dispositifs de formations numériqu...Intégration d’outils d’évaluation dans des dispositifs de formations numériqu...
Intégration d’outils d’évaluation dans des dispositifs de formations numériqu...
 
L'engagement et la persévérance en enseignement supérieur
L'engagement et la persévérance en enseignement supérieurL'engagement et la persévérance en enseignement supérieur
L'engagement et la persévérance en enseignement supérieur
 
Design d’enseignement pour le développement de la pensée critique chez les ét...
Design d’enseignement pour le développement de la pensée critique chez les ét...Design d’enseignement pour le développement de la pensée critique chez les ét...
Design d’enseignement pour le développement de la pensée critique chez les ét...
 
Génération semi-automatique de tests de révisions @Tice2014
Génération semi-automatique de tests de révisions @Tice2014Génération semi-automatique de tests de révisions @Tice2014
Génération semi-automatique de tests de révisions @Tice2014
 

Plus de Prof_UQAM_TIC

Cirta2018 villeneuve
Cirta2018 villeneuveCirta2018 villeneuve
Cirta2018 villeneuve
Prof_UQAM_TIC
 
Dev pro cirta_2017_viileneuvestockless
Dev pro cirta_2017_viileneuvestocklessDev pro cirta_2017_viileneuvestockless
Dev pro cirta_2017_viileneuvestockless
Prof_UQAM_TIC
 
Maitrise outils TIC des futurs enseignants en début de formation aux TIC
Maitrise outils TIC des futurs enseignants en début de formation aux TICMaitrise outils TIC des futurs enseignants en début de formation aux TIC
Maitrise outils TIC des futurs enseignants en début de formation aux TIC
Prof_UQAM_TIC
 
Cyberintimidation envers les enseignants du Québec
Cyberintimidation envers les enseignants du QuébecCyberintimidation envers les enseignants du Québec
Cyberintimidation envers les enseignants du Québec
Prof_UQAM_TIC
 
Compétences TIC des futurs professeurs (collégial+universitaire) du Québec
Compétences TIC des futurs professeurs (collégial+universitaire) du QuébecCompétences TIC des futurs professeurs (collégial+universitaire) du Québec
Compétences TIC des futurs professeurs (collégial+universitaire) du Québec
Prof_UQAM_TIC
 
MOOC et Francophonie (ACFAS 2013)
MOOC et Francophonie (ACFAS 2013)MOOC et Francophonie (ACFAS 2013)
MOOC et Francophonie (ACFAS 2013)
Prof_UQAM_TIC
 
Perception de compétences technologiques de futurs enseignants en début de fo...
Perception de compétences technologiques de futurs enseignants en début de fo...Perception de compétences technologiques de futurs enseignants en début de fo...
Perception de compétences technologiques de futurs enseignants en début de fo...
Prof_UQAM_TIC
 

Plus de Prof_UQAM_TIC (7)

Cirta2018 villeneuve
Cirta2018 villeneuveCirta2018 villeneuve
Cirta2018 villeneuve
 
Dev pro cirta_2017_viileneuvestockless
Dev pro cirta_2017_viileneuvestocklessDev pro cirta_2017_viileneuvestockless
Dev pro cirta_2017_viileneuvestockless
 
Maitrise outils TIC des futurs enseignants en début de formation aux TIC
Maitrise outils TIC des futurs enseignants en début de formation aux TICMaitrise outils TIC des futurs enseignants en début de formation aux TIC
Maitrise outils TIC des futurs enseignants en début de formation aux TIC
 
Cyberintimidation envers les enseignants du Québec
Cyberintimidation envers les enseignants du QuébecCyberintimidation envers les enseignants du Québec
Cyberintimidation envers les enseignants du Québec
 
Compétences TIC des futurs professeurs (collégial+universitaire) du Québec
Compétences TIC des futurs professeurs (collégial+universitaire) du QuébecCompétences TIC des futurs professeurs (collégial+universitaire) du Québec
Compétences TIC des futurs professeurs (collégial+universitaire) du Québec
 
MOOC et Francophonie (ACFAS 2013)
MOOC et Francophonie (ACFAS 2013)MOOC et Francophonie (ACFAS 2013)
MOOC et Francophonie (ACFAS 2013)
 
Perception de compétences technologiques de futurs enseignants en début de fo...
Perception de compétences technologiques de futurs enseignants en début de fo...Perception de compétences technologiques de futurs enseignants en début de fo...
Perception de compétences technologiques de futurs enseignants en début de fo...
 

Dernier

A1- Compréhension orale - présentations.pdf
A1- Compréhension orale - présentations.pdfA1- Compréhension orale - présentations.pdf
A1- Compréhension orale - présentations.pdf
lebaobabbleu
 
MÉDIATION ORALE - MON NOUVEL APPARTEMENT.pdf
MÉDIATION ORALE - MON NOUVEL APPARTEMENT.pdfMÉDIATION ORALE - MON NOUVEL APPARTEMENT.pdf
MÉDIATION ORALE - MON NOUVEL APPARTEMENT.pdf
lebaobabbleu
 
1e Espaces productifs 2024.Espaces productif
1e Espaces productifs 2024.Espaces productif1e Espaces productifs 2024.Espaces productif
1e Espaces productifs 2024.Espaces productif
NadineHG
 
Bonnard, Pierre et Marthe.pptx
Bonnard,     Pierre     et    Marthe.pptxBonnard,     Pierre     et    Marthe.pptx
Bonnard, Pierre et Marthe.pptx
Txaruka
 
Compréhension orale La famille de Sophie (12).pdf
Compréhension orale  La famille de Sophie (12).pdfCompréhension orale  La famille de Sophie (12).pdf
Compréhension orale La famille de Sophie (12).pdf
lebaobabbleu
 
GUIDE POUR L’EVRAS BALISES ET APPRENTISSAGES
GUIDE POUR L’EVRAS BALISES ET APPRENTISSAGESGUIDE POUR L’EVRAS BALISES ET APPRENTISSAGES
GUIDE POUR L’EVRAS BALISES ET APPRENTISSAGES
DjibrilToure5
 
Auguste Herbin.pptx Peintre français
Auguste   Herbin.pptx Peintre   françaisAuguste   Herbin.pptx Peintre   français
Auguste Herbin.pptx Peintre français
Txaruka
 
1e geo metropolisation metropolisation x
1e geo metropolisation metropolisation x1e geo metropolisation metropolisation x
1e geo metropolisation metropolisation x
NadineHG
 

Dernier (8)

A1- Compréhension orale - présentations.pdf
A1- Compréhension orale - présentations.pdfA1- Compréhension orale - présentations.pdf
A1- Compréhension orale - présentations.pdf
 
MÉDIATION ORALE - MON NOUVEL APPARTEMENT.pdf
MÉDIATION ORALE - MON NOUVEL APPARTEMENT.pdfMÉDIATION ORALE - MON NOUVEL APPARTEMENT.pdf
MÉDIATION ORALE - MON NOUVEL APPARTEMENT.pdf
 
1e Espaces productifs 2024.Espaces productif
1e Espaces productifs 2024.Espaces productif1e Espaces productifs 2024.Espaces productif
1e Espaces productifs 2024.Espaces productif
 
Bonnard, Pierre et Marthe.pptx
Bonnard,     Pierre     et    Marthe.pptxBonnard,     Pierre     et    Marthe.pptx
Bonnard, Pierre et Marthe.pptx
 
Compréhension orale La famille de Sophie (12).pdf
Compréhension orale  La famille de Sophie (12).pdfCompréhension orale  La famille de Sophie (12).pdf
Compréhension orale La famille de Sophie (12).pdf
 
GUIDE POUR L’EVRAS BALISES ET APPRENTISSAGES
GUIDE POUR L’EVRAS BALISES ET APPRENTISSAGESGUIDE POUR L’EVRAS BALISES ET APPRENTISSAGES
GUIDE POUR L’EVRAS BALISES ET APPRENTISSAGES
 
Auguste Herbin.pptx Peintre français
Auguste   Herbin.pptx Peintre   françaisAuguste   Herbin.pptx Peintre   français
Auguste Herbin.pptx Peintre français
 
1e geo metropolisation metropolisation x
1e geo metropolisation metropolisation x1e geo metropolisation metropolisation x
1e geo metropolisation metropolisation x
 

Quelle valeur pour les MOOCs. Une synthèse de la validité des outils d'évaluation

  • 1. Quelle valeur pour les MOOCs? Une synthese de la validité des outils d'evaluatioǹ ́ Stéphane Villeneuve, Ph.D. Université du Québec à Montréal Professeur Chercheur associé au CRIFPE Twitter: @Prof_UQAM_TIC ADMEE, Liège (Belgique), 27 au 30 janvier 2015
  • 2. Ce document est sous Licence Creative Commons Cette œuvre de Stéphane Villeneuve (villeneuve.stephane.2@uqam.ca) est mise à disposition selon les termes de la Licence Creative Commons Attribution - Pas d’Utilisation Commerciale - Pas de Modification 2.5 Canada. (CC BY-NC-ND) Détails de la licence: http://creativecommons.org/licenses/by-nc-nd/2.5/ca/deed.fr
  • 3. MOOC MOOC: Massive Open Online Course CLOM: Cours en ligne offert aux masses CLOM: Cours en ligne ouvert et massif CLOT: Cours en ligne ouverts à tous FLOT: Formation en ligne ouverte à tous Existent depuis 2008, mais forte présence en 2012 (Sandeen, 2013)
  • 5. Bref, un MOOC c’est… •Formation en ligne •Gratuite •Et…
  • 6. …sans limite de participants
  • 7. En présentiel Évaluations: professeurs auxiliaires d’enseignement (correcteur) MOOC Exigerait de grandes ressources humaines et financières pour les évaluations Les grandes universités américaines peuvent en accueillir + 150 000 (Gee, 2012)
  • 9. RECENSION DES ÉCRITS Méthodologie Bases de données bibliographiques Australian Education Index ERIC Repère SCOPUS Google Scholar
  • 11. MÉTHODOLOGIE Autres critères Aucune restriction de date Documentation francophone et anglophone Recherche manuelle des principaux articles dans la bibliographie
  • 13. 3 types d’évaluation • Automatisée par logiciel (Balfour, 2013; Beg, 2014; Widom, 2012) • Par les pairs (Kulkarni et al., 2013) • Auto-évaluation (Wilkowski, Russel et Deutsch, 2014) • Validation • « Proctoring » (Briggs, 2013)
  • 15. ÉVALUATION AUTOMATISÉE PAR LOGICIEL 2 formes • Quiz • AET (Évaluation automatisée de textes ou Automated Essay Scoring)
  • 16. ÉVALUATION AUTOMATISÉE PAR LOGICIEL Quiz (choix multiples, réponses courtes) • Facile à créer et à corriger • Bon portrait du niveau de connaissance d’un sujet, mais pas au niveau des compétences de haut niveau. • Bien pour maintenir le rythme de l’étudiant • Pour s’assurer de la compréhension du sujet
  • 17. ÉVALUATION AUTOMATISÉE PAR LOGICIEL Quiz sont moins pertinents lorsque l’on veut évaluer des… • compétences de second niveau (logique, résolution de problèmes) • textes longs (profondeur d’une réflexion personnelle) • travaux pratiques (créativité, qualité)
  • 18. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET (Évaluation automatisée de textes ou Automated Essay Scoring AES) •Historique •But: prédire l’évaluation qui serait donnée par un humain •Donne une rétroaction sur la mécanique de l’écriture •Bien pour un cours de langue, mais discutable pour d’autres disciplines.
  • 19. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET (Évaluation automatisée de textes) • 3 marques commerciales dominent le marché • E-rater (Educational Testing Service) • Intellimetric (Vantage Learning) • Intelligent Essay Assessor (Pearson Knowledge Technologies)
  • 20. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET (Évaluation automatisée de textes) • Variables utilisées ? • longueur et nombre des mots • longueur des éléments du discours • proportion des erreurs grammaticales • vocabulaire, mots moins communs • organisation et style
  • 21. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET (Évaluation automatisée de textes) • Les évaluations automatisées sont plus corrélées à celle des humains qu’entre les humains = plus constantes (Shermis et al., 2010)
  • 22. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET • Ne permet pas d’évaluer • les nouvelles métaphores complexes • l’humour • les patois, le langage régional (Graesser et McNamera, 2012)
  • 23. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET • Le National Council of Teachers of English se positionne (NCTE, 2013) contre les AET: • restriction quant au type de texte qui peuvent y avoir recours • la plupart des rétroactions sont trop vagues • possibilité de “trafiquer le système” au lieu de travailler son style et le contenu
  • 24. ÉVALUATION AUTOMATISÉE PAR LOGICIEL AET • Des études suggèrent que l’évaluation par les pairs dans les MOOC est plus utile pour les étudiants selon le type de travail demandé que les AET (Heise, Palmer- Judson et Su, 2002; Likkel, 2012)
  • 26. ÉVALUATION PAR LES PAIRS Basée sur l’évaluation d’autres travaux exposant les étudiants à d’autres solutions et stratégies que celles vues dans en cours (Chinn, 2005; Tinapple et al., 2013)
  • 27. ÉVALUATION PAR LES PAIRS FONCTIONNEMENT GÉNÉRAL DES EPP •Protocole d’évaluation en double-aveugle (les identités ne sont pas révélées) •Pénalité pour les évaluations tardives •Attribution aléatoire •1 évaluation balisée (faux travail) + 4 de pairs •Note = moyenne des résultats
  • 28. ÉVALUATION PAR LES PAIRS AVANTAGES • Allège la tâche des professeurs, essentielle dans un MOOC • Permet de consolider les apprentissages
  • 29. ÉVALUATION PAR LES PAIRS Appréciée par certains étudiants • Notes avec 7% de + (Kulkarni et al., 2013)
  • 30. ÉVALUATION PAR LES PAIRS Détestée par d’autres: • « I hated the peer assessments as in some cases, their anonymity gave the peers an excuse to say mean-spirited things. » (Suen, 2014, p. 319)
  • 31. ÉVALUATION PAR LES PAIRS Les MOOCs avec évaluation par les pairs ont un plus faible niveau de complétion (Jordan, 2013)
  • 33. Étude de Kulkarni Contexte de la recherche Sujet •Cours sur l’interaction homme-machine (HCI) Contenu •Présence d’exposés magistraux (vidéo) (n = 4 / sem.) Évaluations: •Courts quiz •Devoir hebdomadaire Nombre de participants •~35 000
  • 34. ÉVALUATION PAR LES PAIRS 20% des étudiants ont effectué plus d’évaluations que requis (5) (Kulkarni et al., 2013)
  • 35. ÉVALUATION PAR LES PAIRS Comment améliorer les évaluateurs? En donnant une rétroaction sur l’évaluation balisée pour indiquer si elle était plus haute ou plus basse que l’évaluation d’un expert.
  • 36. ÉVALUATION PAR LES PAIRS Améliore la justesse des évaluations subséquentes
  • 37. ÉVALUATION PAR LES PAIRS Même si les noms étaient cachés, les participants ont donné en moyenne 3,6% de plus à leurs compatriotes (Kulkarni et al., 2013) Codes culturels Contexte géographique des exemples Différences d’attentes et standards
  • 39. ÉVALUATION PAR LES PAIRS Utiliser l’EPP à plusieurs reprises dans un même MOOC pour augmenter la justesse des évaluations Les étudiants deviennent de meilleurs évaluateurs avec le temps
  • 40. ÉVALUATION PAR LES PAIRS Augmenter le nombre d’évaluateurs diminue la variabilité et augmente la validité entre les évaluateurs
  • 41. ÉVALUATION PAR LES PAIRS • Problèmes liés à l’EPP • Crédibilité: évaluation de novices faite par des novices (Suen, 2014) • Même les étudiants ne font pas confiance aux résultats (Furman et Robinson, 2003) • Erreurs d’évaluation: que faire si tous les évaluateurs d’un examen sont mauvais?
  • 42. ÉVALUATION PAR LES PAIRS • 6 types d’écarts (Suen, 2014) a) Entre l’évaluation d’un pair et d’un expert b) Fluctuations situationnelles de l’évaluation par un pair d’un même travail sous des conditions différentes c) Incohérence de résultats entre des travaux similaires d) Entre des pairs sur le même travail e) Écarts systématiques entre des pairs à cause de différences de compétence ou de rigueur f) Fluctuations situationnelles de l’évaluation d’un expert d’un même travail sous des conditions différentes
  • 44. AUTO-ÉVALUATION • Basée sur l’importance du développement d’habiletés métacognitives (Veenman, Van Hout-Wolters et Affleerbach, 2006) • Plus d’apprentissage comparé à l’évaluation de pairs (Sadler et Good, 2006) (Wilkowski, Russel et Deutsch, 2014)
  • 45. AUTO-ÉVALUATION Aussi efficace que l’évaluation d’experts • 71,6% moins de 2 points/27 de différence avec les experts
  • 47. AUTO-ÉVALUATION 13% se sont donnés tous les points, mais ont plagié ou soumis un travail bidon Repérage nécessaire
  • 48. AUTO-ÉVALUATION • Importance de bien former les étudiants à s’auto- évaluer • Les laisser s’auto-évaluer seulement quand ils ont réussi à donner la même note qu’un expert sur un exercice • Importance d’une grille claire et simple afin d’être bien comprise par les étudiants
  • 49. VALIDATION Comment assure-t-on la crédibilité des évaluations?
  • 50. VALIDATION 3 formes de tricherie (Meyer et Zhu, 2013) • Donner, prendre ou recevoir de l’information • Communiquer par cellulaire avec un ami pour de l’aide • Faire le test en équipe avec un autre étudiant
  • 51. VALIDATION • Utiliser du matériel interdit • Chercher les réponses sur Internet avec son appareil intelligent pendant un examen sur ordinateur • Obtenir l’examen/les réponses à l’avance
  • 52. VALIDATION • « Jouer le système » Faire faire le test par quelqu’un d’autre Faire le test plus d’une fois
  • 53. VALIDATION • Besoin de mesures pour réduire les possibilités de tricher en ligne • Le “proctoring” – évaluation surveillée • Méthode physique • Méthodes électroniques
  • 54. Méthode physique Faire les évaluations dans un local sous supervision (Pearson Vue)
  • 55. VALIDATION Méthodes électroniques • Diminuer les risques de tricherie en: • Filmant l’étudiant pendant qu’il effectue le test • Balayant la salle pour repérer s’il y a des personnes ou des outils pour tricher • Captant le pattern du doigté sur le clavier durant l’écriture • Vérifiant la structure des phrases et le vocabulaire utilisé d’un travail à l’autre
  • 56. VALIDATION Méthodes électroniques • S’assurer l’identité de l’étudiant à l’aide: • Pièce d’identité officielle avec photo • Empreinte occulaire/digitale • Reconnaissance vocale
  • 57. EN BREF… 3 types d’évaluations
  • 61. Une question d’équilibre? Automatisée par logiciel Automatisée par logiciel Par les pairsPar les pairs Auto- évaluation Auto- évaluation
  • 62. Sources des images • Free Digital Photos

Notes de l'éditeur

  1. 13h52
  2. …d’où un questionnement normal sur « Comment évaluer les apprentissages de tous ces participants » ?
  3. https://www.flickr.com/photos/mmoorr/7750345792/
  4. 6 minutes
  5. AES: (voir BALFOUR + discuter de la validité)
  6. Donc….(voir diapo suivante)
  7. Existe depuis 1973 (Shermis et al., 2010)
  8. E-RATER content analysis based on vocabulary measures lexical complexity/diction proportion of grammar errors proportion of usage errors proportion of mechanics errors proportion of style comments organization and development scores features rewarding idiomatic phraseology VANTAGE LEARNING http://www.vantagelearning.com/products/intellimetric/ Accuracy, consistency, and reliability greater than human expert scoring Web-based tools that are accessible anytime, anywhere Scoring of both short-answer and extended response questions Holistic and analytic scoring and feedback Scoring capability in more than 20 different languages Detection of non-legitimate essays, such as those that are: Off-topic Off-task Lack proper development Are written in a language other than what was expected Contain bad syntax Copy the question Are inappropriate Contain messages of harm - See more at: http://www.vantagelearning.com/products/intellimetric/#sthash.CNp1vPjp.dpuf PEARSON Q: What is the Intelligent Essay AssessorTM? A: The Intelligent Essay Assessor (IEA) is a powerful internet-based service that has been proven to score written essays as accurately as trained human scorers. IEA scores essays based on content as well as on more mechanical aspects of writing, such as grammar and spelling.
  9. human-centered interaction (HCI) In all, 2,673 students submitted assignments in the first iteration (Spring 2012), and 3,203 in the second (Fall 2012) 1,000 samples of five assessments per submission avec méthode de Bootstrap 4 à 10 membres du personnel ont évalué au hasard les EPP. Pour les 2 itérations, le personnel ont évalué 99 travaux standardisés. Chaque étudiant à évalué au moins 1 travail standard (un travail standard correspond à 160 évaluations pour établir une note moyenne) To establish a ground-truth comparison of self and staff grades, each assignment in- cluded 4 to 10 staff-graded submissions in the peer assessment pool (these were ran- domly selected). Across both iterations, staff graded 99 ground-truth submissions. Each student graded at least one ground-truth submission per assignment; a ground-truth assignment had a median of 160 assessments. (Some
  10. 19 minutes
  11. Si la matière est mal expliquée, communiquée, l’erreur d’interprétation peut se traduire dans les évaluations.
  12. Self-evaluation in Advanced Power Searching and Mapping with Google MOOCs « The course authors define complex as problems that require multiple steps, have more than one correct answer, or have multiple ways to achieve the answer »
  13. Students submitted a total of 3,948 assignments. Out of the 3,853 assignments where students graded themselves, 2,708 (70.3%) awarded themselves full credit. 267 (9.9%) of the full credit submissions were blank or nonsense (e.g. ffwevrew) METHODS After the course closed, course administrators provided researchers with an anonymized sample of assignment submissions. 13 of the course staff (including instructors, teaching assistants, content experts and instructional designers) graded 17% of the scored, accessible assignments. To ensure consistent interrater correlation before grading the sample set, graders trained together, independently evaluating assignments until they reached a point of being able to replicate the grading score across all of the graders. (It took five sample practice assignment-grading sessions to train to this level of consistency.)
  14. 16% passent à côté + 13% qui évaluent mal.