Evaluation par les pairs dans les MOOC : résultats d'une enquête

Evaluation par les pairs dans les
MOOC : résultats d’enquête
Février 2016 - Clément Dussarps & Elodie
Vaugier

2
Auteurs de l’enquête
 Clément DUSSARPS, docteur en sciences de
l’information et de la communication
clementdussarps@gmail.com
 Elodie VAUGIER, ingénieur pédagogique
elodievaugier@yahoo.fr
 Administrée en avril/mai 2015
Résultats d'enquête MOOC - Clément Dussarps & Elodie Vaugier

3
Sommaire
 Echantillon 4
 Activités et temps passé sur le MOOC 9
 Anonymat et évaluation par les pairs 12
 Evaluation par les pairs (EPP) :
 Organisation des MOOC 15
 Expérience en EPP 17
 EPP et communication avec autrui 19
 EPP et ressentis des apprenants 23
 Satisfaction des apprenants 26
 Préférences et avis sur l’EPP 32

N = 135
Remarques :
• tous les résultats suivants sont issus de
l’échantillon de répondants, 135
apprenants ayant réalisé des évaluations
par les pairs ;
• l’échantillon est opportuniste et n’a pas
vocation à être représentatif.
Echantillon

5
Echantillon
Coursera
13%
Autres
14,81%
France
Université
Numérique
36%
Unow
36,30%
Plateformes représentées
(répartition des individus par plateforme)
Principaux MOOC enquêtés :
- ABC de la gestion de projet (27 %)
- Comprendre le transmédia storytelling (22
%)
- Gamification (7 %)
- Monter un MOOC de A à Z (7 %)
- Effectuation - L’entreprenariat pour tous (5
%)
- Informer et communiquer sur les réseaux
sociaux (5 %)

6
Echantillon
 Sexe et âges :
 Statut :
 Localisation :
60 %
40 %
5% 24% 41% 30%
0% 20% 40% 60% 80% 100%
Age des répondants
(en années)
18-24
25-35
36-49
+ de 50
71 % ont plus de
35 ans
67 % en
emploi
18 % deman-
deurs d’emploi
6 %
étudiants
85 % en
France
11 % en
Europe
4 % hors
Europe
(9 % autres
statuts)

7
Un échantillon motivé et
satisfait
92%
94%
96%
60%
0% 20% 40% 60% 80% 100% 120%
Considèrent le MOOC important pour
eux
Sont satisfaits du MOOC
Ont plaisir à suivre le MOOC
Accordent de l'importance à la
certification
Les apprenants…
 Seuls 4 % ont abandonné le MOOC (pour lequel ils répondent à cette enquête)
 97 % se disent à l’aise avec les outils numériques

8
Communication sur l’EPP
Tous les apprenants ne savaient pas qu’ils auraient à
réaliser une évaluation par les pairs (EPP) avant de
démarrer le MOOC :
 Seuls 59 % des apprenants savaient qu’ils auraient à évaluer
leurs pairs AVANT de démarrer le MOOC.
 29 % l’ont découvert lors de la première semaine du MOOC et 9 %
lors de la réalisation ou l’évaluation du premier travail. 3 % l’ont appris
à un autre moment.

Activités et temps passé sur le
MOOC

10
Temps passé par type d’activité
72.00%
51.50%
86.00%
20.50%
39.00%
10.00%7.50% 9.50%
4.00%
Cours Travaux EPP
Temps passé par les apprenants par type d’activité
(en heures par semaine)
< à 3h De 4 à 6h > à 7h
 La plupart des apprenants passent moins de 3 heures par semaine sur chaque type
d’activités (cours, travaux à rendre, évaluation par les pairs).
 Les travaux à réaliser demandent souvent plus de temps (4 heures ou plus pour 48,50 %)
que le reste.
 Les travaux à réaliser demandent généralement plus de temps que les évaluations de ses
pairs.

11
Temps prévu vs temps passé
de temps que celui prévu (annoncé)
par les MOOC étudiés.
56 % des apprenants ont passé
 Généralement, un temps moyen à passer par semaine est indiqué sur les
plateformes de MOOC. Ce temps n’est pas toujours celui réellement passé par les
apprenants.
 Rappel : 41 % des "MOOCeurs" ne savaient pas qu'ils auraient à évaluer leurs
pairs avant de commencer le MOOC.

Anonymat et évaluation par les pairs

13
Anonymat et qualité de la note
 47 % des apprenants de notre échantillon connaissaient le nom ou pseudo
de l'étudiant à évaluer
 Les apprenants pensent que l’anonymat…
19 % : améliore la qualité de la note
76 % : ne change rien
5 % : réduit la qualité de la note

14
Anonymat : préférences
33%
20%
47%
Préférent être anonymes
Préfèrent être connus de leur correcteur
Y sont indifférents
Préférence vis-à-vis de leur correcteur
31%
28%
41%
Préfèrent ne pas connaître la personne qu'ils
corrigent
Préfère être connu de la personne qu'ils corrigent
Y sont indifférents
Préférences vis-à-vis de leurs pairs, en tant que correcteurs

(EPP : Evaluation Par les Pairs)
EPP: organisation des MOOC

16
EPP et organisation des MOOC
 42 % des apprenants devaient s’évaluer eux-mêmes (en plus
d’évaluer leurs pairs)
1.61%
43.55%
53.23%
1.61%
1 ou moins
2 à 3
4 à 5
Plus de 5
Nombre de travaux à évaluer
 La majorité des apprenants avaient
entre 4 et 5 travaux à évaluer :
 100 % des apprenants disposaient
d'aide à l'évaluation. La consigne est le
plus fréquent (87%).
87%
81%
47%
23%
Consigne
Barème
Conseils
Exemple de correction
Outils d’aide à l’évaluation
disponibles :
 42 % des apprenants pouvaient contacter leur
pair-évaluateur. 18% d'entre eux ne savaient pas si
cela était possible.

18
Expériences précédentes
 56 % des apprenants avaient une expérience
d’évaluation par les pairs (dont 67 % en dehors des
MOOC) :
44%
12%
37%
7%
Aucune
expérience
Expérience dans
un autre MOOC
Expérience hors
MOOC
Autre MOOC +
hors MOOC
Expériences précédentes en EPP
 Pour 78 %, cette expérience précédente a été une aide
pour évaluer leurs pairs dans le MOOC.

EPP et communication avec autrui

20
Evaluer seul ou à plusieurs ?
 90 % des apprenants ont réalisé les évaluations
seul
 Seuls 20 % d’entre eux auraient préféré la faire
à plusieurs

21
Echanges avec l’équipe pédagogique
 32 % ont contacté l’équipe pédagogique au
sujet de l’évaluation par les pairs
 56 % estiment ne pas en avoir eu besoin
 12 % ne savaient pas si cela était possible

22
Echanges avec les autres apprenants
Avec l’ensemble des apprenants :
 44 % des apprenants ont échangé avec leurs pairs au
sujet de l’évaluation par les pairs et ont obtenu une
réponse
 43 % ne l’ont pas fait, jugeant cela non nécessaire
Pour les 13 % restants : ils ne savaient pas si cela était possible (7%), ne savaient pas
comment le faire (3 %) ou cela n'était pas possible dans leur MOOC (3 %).
Avec les pairs évalués :
 42 % pouvaient contacter les pairs évalués et l’ont fait
 40 % ne pouvaient pas les contacter (faute d’un
dispositif technique le permettant)
 18 % n’ont pas su dire si cela était possible

EPP et ressentis des apprenants

24
Sentiments d’être légitime, capable,
suffisamment formé
Pour évaluer ses pairs, l’apprenant se sent…
24%
8%
39%
47%
48%
34%
29%
44%
27%
Suffisamment formé
Capable
Légitime
Tout à fait Plutôt oui Plutôt non ou pas du tout

25
Importance des commentaires reçus
 95 % des apprenants accordent de l’importance
aux commentaires reçus de la part de leurs
pairs sur leur évaluation.
2%
4%
39%
55%
Très faible
Plutôt faible
Plutôt grande
Très grande
Importance accordée aux commentaires
des pairs-évaluateurs

27
Eléments pour aider à évaluer
 86 % des apprenants ont un regard positif sur les
éléments mis à leur disposition pour les aider à
évaluer les travaux de leurs pairs :
 75 % ont trouvé que les aides (consignes,
barèmes…) pour évaluer leurs pairs étaient en
nombre suffisant.
13.93%
62.30%
23.77%
Plutôt insatisfait
Plutôt satisfait
Totalement satisfait
Niveau de satisfaction sur les outils
d’aide à l’évaluation
Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de
l’échantillon.

28
Outils pour évaluer
 88 % des apprenants ont trouvé l’outil
d’évaluation par les pairs facile (41 %) ou très
facile (47 %) à utiliser.
Cette observation semble sans lien avec une plateforme ou un MOOC, en regard de
l’échantillon.

29
Utilité pédagogique
 85 % considèrent qu’évaluer leurs pairs leur a
permis de progresser dans leur apprentissage.
 81 % considèrent également que leur auto-
évaluation leur a permis de progresser.

30
Motivation et plaisir à évaluer ses pairs
 84 % des apprenants ont trouvé motivant
d’évaluer leurs pairs (39 % très motivant, 45 % plutôt
motivant)
 89 % des apprenants ont trouvé plaisant
d’évaluer leurs pairs (44 % très plaisant, 45 % plutôt
plaisant).

31
Contrainte à évaluer ses pairs
 22 % ont trouvé l’évaluation par les pairs
contraignante. Les principales raisons évoquées
sont :
 Le manque de temps / un nombre trop important de
travaux à évaluer
 Le flou des consignes pour évaluer
 La complexité du travail
 Un sentiment d’illégitimité à évaluer
 Une absence de goût pour l’évaluation en général

Préférences et avis sur l’EPP
Crédit image : Elliot
Lepers

33
Regards sur l’EPP
 Malgré un regard majoritairement positif sur l’EPP
(permettant de progresser dans l’apprentissage,
motivante, satisfaisante…), les répondants
indiquent :
 À 50 %, qu’ils auraient préféré être notés par un
enseignant
(dont 43 % parmi ceux trouvant l’EPP motivante)
 A 54 % qu’ils jugent l’EPP peu fiable
(dont 48 % parmi ceux trouvant l’EPP motivante)
 Et cela même si 92 % estiment avoir été évalués avec
sérieux par leurs pairs.
 L’enseignant reste, pour la majorité des
apprenants, l’évaluateur préféré, malgré les
avantages ressentis à être évalué par un pair et à
évaluer.

Evaluation par les pairs dans les MOOC : résultats d'une enquête

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

En vedette

En vedette (20)

Similaire à Evaluation par les pairs dans les MOOC : résultats d'une enquête

Similaire à Evaluation par les pairs dans les MOOC : résultats d'une enquête (20)

Plus de Clément Dussarps

Plus de Clément Dussarps (20)

Dernier

Dernier (18)

Evaluation par les pairs dans les MOOC : résultats d'une enquête