Evaluation par les pairs dans les MOOC : résultats d'une enquête
1. Evaluation par les pairs
dans les MOOC : résultats
d’enquête
Février 2016 - Clément Dussarps & Elodie
Vaugier
2. 2
Auteurs de l’enquête
Clément DUSSARPS, docteur en sciences de
l’information et de la communication
clementdussarps@gmail.com
Elodie VAUGIER, ingénieur pédagogique
elodievaugier@yahoo.fr
Administrée en avril/mai 2015
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
3. 3
Sommaire
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Echantillon 4
Activités et temps passé sur le MOOC 9
Anonymat et évaluation par les pairs 12
Evaluation par les pairs (EPP) :
Organisation des MOOC 15
Expérience en EPP 17
EPP et communication avec autrui 19
EPP et ressentis des apprenants 23
Satisfaction des apprenants 26
Préférences et avis sur l’EPP 32
4. N = 135
Remarques :
• tous les résultats suivants sont issus de
l’échantillon de répondants, 135
apprenants ayant réalisé des évaluations
par les pairs ;
• l’échantillon est opportuniste et n’a pas
vocation à être représentatif.
Echantillon
5. 5
Echantillon
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Coursera
13%
Autres
14,81%
France
Université
Numérique
36%
Unow
36,30%
Plateformes représentées
(répartition des individus par plateforme)
Principaux MOOC enquêtés :
- ABC de la gestion de projet (27 %)
- Comprendre le transmédia storytelling (22
%)
- Gamification (7 %)
- Monter un MOOC de A à Z (7 %)
- Effectuation - L’entreprenariat pour tous (5
%)
- Informer et communiquer sur les réseaux
sociaux (5 %)
6. 6
Echantillon
Sexe et âges :
Statut :
Localisation :
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
60 %
40 %
5% 24% 41% 30%
0% 20% 40% 60% 80% 100%
Age des répondants
(en années)
18-24
25-35
36-49
+ de 50
71 % ont plus de
35 ans
67 % en
emploi
18 % deman-
deurs d’emploi
6 %
étudiants
85 % en
France
11 % en
Europe
4 % hors
Europe
(9 % autres
statuts)
7. 7
Un échantillon motivé et
satisfait
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
92%
94%
96%
60%
0% 20% 40% 60% 80% 100% 120%
Considèrent le MOOC important pour
eux
Sont satisfaits du MOOC
Ont plaisir à suivre le MOOC
Accordent de l'importance à la
certification
Les apprenants…
Seuls 4 % ont abandonné le MOOC (pour lequel ils répondent à cette enquête
97 % se disent à l’aise avec les outils numériques
8. 8
Communication sur l’EPP
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Tous les apprenants ne savaient pas qu’ils auraient à
réaliser une évaluation par les pairs (EPP) avant de
démarrer le MOOC :
Seuls 59 % des apprenants savaient qu’ils auraient à évaluer
leurs pairs AVANT de démarrer le MOOC.
29 % l’ont découvert lors de la première semaine du MOOC et 9 %
lors de la réalisation ou l’évaluation du premier travail. 3 % l’ont appris
à un autre moment.
10. 10
Temps passé par type d’activité
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
72.00%
51.50%
86.00%
20.50%
39.00%
10.00%7.50% 9.50%
4.00%
Cours Travaux EPP
Temps passé par les apprenants par type d’activité
(en heures par semaine)
< à 3h De 4 à 6h > à 7h
La plupart des apprenants passent moins de 3 heures par semaine sur chaque type
d’activités (cours, travaux à rendre, évaluation par les pairs).
Les travaux à réaliser demandent souvent plus de temps (4 heures ou plus pour 48,50 %)
que le reste.
Les travaux à réaliser demandent généralement plus de temps que les évaluations de ses
pairs.
11. 11
Temps prévu vs temps passé
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
de temps que celui prévu (annoncé)
par les MOOC étudiés.
56 % des apprenants ont passé
20 % des apprenants ont passé
24 % des apprenants ont passé
Généralement, un temps moyen à passer par semaine est indiqué sur les
plateformes de MOOC. Ce temps n’est pas toujours celui réellement passé par les
apprenants.
Rappel : 41 % des "MOOCeurs" ne savaient pas qu'ils auraient à évaluer leurs
pairs avant de commencer le MOOC.
13. 13
Anonymat et qualité de la note
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
47 % des apprenants de notre échantillon connaissaient le nom ou pseudo
de l'étudiant à évaluer
Les apprenants pensent que l’anonymat…
19 % : améliore la qualité de la note
76 % : ne change rien
5 % : réduit la qualité de la note
14. 14
Anonymat : préférences
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
33%
20%
47%
Préférent être anonymes
Préfèrent être connus de leur correcteur
Y sont indifférents
Préférence vis-à-vis de leur correcteur
31%
28%
41%
Préfèrent ne pas connaître la personne qu'ils
corrigent
Préfère être connu de la personne qu'ils corrigent
Y sont indifférents
Préférences vis-à-vis de leurs pairs, en tant que correcteurs
16. 16
EPP et organisation des MOOC
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
42 % des apprenants devaient s’évaluer eux-mêmes (en plus
d’évaluer leurs pairs)
1.61%
43.55%
53.23%
1.61%
1 ou moins
2 à 3
4 à 5
Plus de 5
Nombre de travaux à évaluer
La majorité des apprenants avaient
entre 4 et 5 travaux à évaluer :
100 % des apprenants disposaient
d'aide à l'évaluation. La consigne est le
plus fréquent (87%).
87%
81%
47%
23%
Consigne
Barème
Conseils
Exemple de correction
Outils d’aide à l’évaluation
disponibles :
42 % des apprenants pouvaient contacter leur
pair-évaluateur. 18% d'entre eux ne savaient pas si
cela était possible.
18. 18
Expériences précédentes
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
56 % des apprenants avaient une expérience
d’évaluation par les pairs (dont 67 % en dehors des
MOOC) :
44%
12%
37%
7%
Aucune
expérience
Expérience dans
un autre MOOC
Expérience hors
MOOC
Autre MOOC +
hors MOOC
Expériences précédentes en EPP
Pour 78 %, cette expérience précédente a été une aide
pour évaluer leurs pairs dans le MOOC.
20. 20
Evaluer seul ou à plusieurs ?
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
90 % des apprenants ont réalisé les évaluations
seul
Seuls 20 % d’entre eux auraient préféré la faire
à plusieurs
21. 21
Echanges avec l’équipe pédagogique
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
32 % ont contacté l’équipe pédagogique au
sujet de l’évaluation par les pairs
56 % estiment ne pas en avoir eu besoin
12 % ne savaient pas si cela était possible
22. 22
Echanges avec les autres apprenants
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Avec l’ensemble des apprenants :
44 % des apprenants ont échangé avec leurs pairs au
sujet de l’évaluation par les pairs et ont obtenu une
réponse
43 % ne l’ont pas fait, jugeant cela non nécessaire
Pour les 13 % restants : ils ne savaient pas si cela était possible (7%), ne savaient pas
comment le faire (3 %) ou cela n'était pas possible dans leur MOOC (3 %).
Avec les pairs évalués :
42 % pouvaient contacter les pairs évalués et l’ont fait
40 % ne pouvaient pas les contacter (faute d’un
dispositif technique le permettant)
18 % n’ont pas su dire si cela était possible
24. 24
Sentiments d’être légitime, capable,
suffisamment formé
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Pour évaluer ses pairs, l’apprenant se sent…
24%
8%
39%
47%
48%
34%
29%
44%
27%
Suffisamment formé
Capable
Légitime
Tout à fait Plutôt oui Plutôt non ou pas du tout
25. 25
Importance des commentaires reçus
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
95 % des apprenants accordent de l’importance
aux commentaires reçus de la part de leurs
pairs sur leur évaluation.
2%
4%
39%
55%
Très faible
Plutôt faible
Plutôt grande
Très grande
Importance accordée aux commentaires
des pairs-évaluateurs
27. 27
Eléments pour aider à évaluer
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
86 % des apprenants ont un regard positif sur les
éléments mis à leur disposition pour les aider à
évaluer les travaux de leurs pairs :
75 % ont trouvé que les aides (consignes,
barèmes…) pour évaluer leurs pairs étaient en
nombre suffisant.
13.93%
62.30%
23.77%
Plutôt insatisfait
Plutôt satisfait
Totalement satisfait
Niveau de satisfaction sur les outils
d’aide à l’évaluation
Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de
l’échantillon.
28. 28
Outils pour évaluer
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
88 % des apprenants ont trouvé l’outil
d’évaluation par les pairs facile (41 %) ou très
facile (47 %) à utiliser.
Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de
l’échantillon.
29. 29
Utilité pédagogique
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
85 % considèrent qu’évaluer leurs pairs leur a
permis de progresser dans leur apprentissage.
81 % considèrent également que leur auto-
évaluation leur a permis de progresser.
30. 30
Motivation et plaisir à évaluer ses pairs
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
84 % des apprenants ont trouvé motivant
d’évaluer leurs pairs (39 % très motivant, 45 % plutôt
motivant)
89 % des apprenants ont trouvé plaisant
d’évaluer leurs pairs (44 % très plaisant, 45 % plutôt
plaisant).
31. 31
Contrainte à évaluer ses pairs
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
22 % ont trouvé l’évaluation par les pairs
contraignante. Les principales raisons évoquées
sont :
Le manque de temps / un nombre trop important de
travaux à évaluer
Le flou des consignes pour évaluer
La complexité du travail
Un sentiment d’illégitimité à évaluer
Une absence de goût pour l’évaluation en général
33. 33
Regards sur l’EPP
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier
Malgré un regard majoritairement positif sur l’EPP
(permettant de progresser dans l’apprentissage,
motivante, satisfaisante…), les répondants
indiquent :
À 50 %, qu’ils auraient préféré être notés par un
enseignant
(dont 43 % parmi ceux trouvant l’EPP motivante)
A 54 % qu’ils jugent l’EPP peu fiable
(dont 48 % parmi ceux trouvant l’EPP motivante)
Et cela même si 92 % estiment avoir été évalués avec
sérieux par leurs pairs.
L’enseignant reste, pour la majorité des
apprenants, l’évaluateur préféré, malgré les
avantages ressentis à être évalué par un pair et à
évaluer.