Evaluation en ligne
Obstacles & Opportunités
Sylviane Bachy
19 nov 2020
1
Contexte01
Evaluer en ligne : processus, questions et principes02
Photographie de l’évaluation dans l’E.S.
06
Limites / Pièges / Fraude 2.0
07
04
05
Opportunités pédagogiques : Et après ?
03
Plan de l’exposé
Références bibliographiques
2
Outils pour évaluer en ligne
ERT	-	VICA	-	COVID19	en	classe	-	Médias
01	-	Contexte
3
Objec:fs
01	-	Contexte
1
2
3
Dans	évaluer	en	ligne,	il	y	a	«	évaluer	».	
Processus	?	Questions	?	Outils	?	
Obstacles	à	l’évaluation	(en	ligne)	
Entre	contrôle	et	confiance
Opportunités	pédagogiques	
Que	retenir	pour	ici	et	pour	demain	?	
4
Concept	de	l’évalua:on
02	-	Evaluer	en	ligne	:	processus,	quesOons	et	principes
1
2
Détecter	si	l’étudiant	possède	ou	non	les	
compétences	minimales	par	l’enseignement	
(Detroz	&	Romainville	2017)	
Recueillir	un	ensemble	d’informations	
pertinentes,	valides	et	fiables	et	confronter	
cet	ensemble	d’informations	à	un	ensemble	
de	critères	cohérent	avec	un	référentiel	
pertinent	pour	attribuer	une	signification	aux	
résultats	de	cette	confrontation	et	ainsi	
fonder	une	prise	de	décision	adéquate	à	la	
fonction	visée		(De	Ketele,	2011	-	1986)
5
Processus
Article	CEGEP	2016	qui	
permet	de	se	poser	des	
questions	Quoi	?	Pourquoi	?	
Qui	?	Quand	?	Comment	?	
6
02	-	Evaluer	en	ligne	:	processus,	quesOons	et	principes
Critères	de	scien:cité
Croisement	entre	processus	et	questions	permet	de	penser	
l’évaluation	certificative,	formative	ou	diagnostic		
Rigueur	
Pertinence	
Validité	
Fiabilité		
Transparence
7
02	-	Evaluer	en	ligne	:	processus,	quesOons	et	principes
Principe	de	cohérence	:	alignement
(Biggs	1996)
8
02	-	Evaluer	en	ligne	:	processus,	quesOons	et	principes
Evalua:ons	en	fin	de	quadri	HE	et	UNI
03	-	Photographie	des	praOques	d’évaluaOon
1
2
3
69%	examens	écrits	(58%	QO	-	35	%	QO/QF	-	6%	QF)	
Detroz	&	Romainville	2017 9
37	%	examens	oraux	(HE	=	60%	QO	-	45	%	analyse	
de	cas	-	26%	exposés	-	27	%	mise	en	situation)
28%	projet	-	Portfolio	-	TFE	(HE=	52%	recherche	-	
45%	synthèse	-	38%	portfolio)
Evalua:ons	en	fin	de	quadri	HE
03	-	Photographie	des	praOques	d’évaluaOon
10
98	%		
Examen	ecrit	
QO
31	%		
Examen	ecrit	
QCM	ou	VF
Evalua:ons	en	fin	de	quadri	HE
03	-	Photographie	des	praOques	d’évaluaOon
11
98	%		
Examen	ecrit	
QO
31	%		
Examen	ecrit	
QCM	ou	VF
Cible	principale	des	
interpellations	des	
fraudes	en	ligne
Variables	personnelles	dans	la	HE
03	-	Photographie	des	praOques	d’évaluaOon
1
2
3
MFP	proposent	+	d’évaluation	en	cours	de	quadri	
que	MA
Detroz	&	Romainville	2017 12
Temps	partiels	proposent	+	d’exa	écrit	QCM	-	QF
Les	plus	anciens	dans	le	cours	proposent	+	de	QO
Variables	contextuelles	dans	la	HE
03	-	Photographie	des	praOques	d’évaluaOon
1
2
3
>125	étudiants		+	d’évaluation	en	fin	de	quadri	et	QF
Detroz	&	Romainville	2017 13
Secteur	paramédical	+	d’évaluation	en	fin	de	quadri	
et	QF
Cycle	court	+	d’évaluation	en	fin	de	quadri
Variables	pédagogiques	dans	la	HE
03	-	Photographie	des	praOques	d’évaluaOon
Detroz	&	Romainville	2017 14
04-	OuOls	pour	évaluer	en	ligne
15
Article		Sylvestre	et	col.	2020
Examen	oral
04-	OuOls	pour	évaluer	en	ligne
1
2
3
16Detroz	&	Romainville	2017
«	Score	reflète	parfaitement	la	maitrise	de	
l’étudiant	»	Indice	de	confiance	++
Grille	critériée
L’enseignant	prend	note	et	attribue	des	points	
directement
Examen	oral	:	avantages	/	inconvénients
04-	OuOls	pour	évaluer	en	ligne
17Sylvestre	2020	-	Bourque	2001
+	
Permet	évaluation	
d’apprentissages	
proches	de	la	vie	
réelle	
Compétences	
complexes	
Correction	et	
feedback	rapide
Chronophage	si	
nombre	élevé	
d’étudiants
-
Niveau	de	stress	
élevé	chez	l’étudiant
Pièges	liés	à	plus	de	
subjectivité
Point	de	vue	de	l’étudiant
04-	OuOls	pour	évaluer	en	ligne
18
Augmentation	du	stress	car	essentiellement	sans	
préparation	
1
2
3
Augmentation	du	stress	car	difficile	de	maintenir	le	
regard	fixe	quand	on	réfléchit
Augmentation	du	stress	car	pas	de	vision	de	la	
gestion	du	temps	(salle	d’attente	virtuelle	?	)
04-	OuOls	pour	évaluer	en	ligne
19
Sylvestre	et	col.	2020
Examen	écrit	QO
04-	OuOls	pour	évaluer	en	ligne
1
2
3
20Detroz	&	Romainville	2017
92	%	à	livre	fermé	(tendance	différente	par	rapport	
aux	UNI)
70%	de	développement	court
En	présentiel	:	similarité	des	questions	(gage	
d’équité)
Examen	écrit	QO	(en	présen:el)
04-	OuOls	pour	évaluer	en	ligne
21Detroz	&	Romainville	2017
Examen	écrit	QO
04-	OuOls	pour	évaluer	en	ligne
22Sylvestre	2020	-	Bourque	2001
+	
Permet	évaluation	
d’apprentissages	
proches	de	la	vie	
réelle	
Compétences	
complexes	
Facile	à	gérer
Fastidieux	à	corriger
-
Teste	d’autres	
compétences	(biais)
Effet	d’ordre	de	
correction	(biais)
Point	de	vue	de	l’étudiant
04-	OuOls	pour	évaluer	en	ligne
23
Problème	de	gestion	du	temps	si	l’étudiant	n’a	pas	
un	aperçu	global	des	questions
1
2
3
Problème	de	vitesse	d’écriture	(recours	à	des	outils	
hors	du	système)
Stratégie	de	consultation	de	ressources	exhaustives
04-	OuOls	pour	évaluer	en	ligne
24
Sylvestre	et	col.	2020
Examen	écrit	QCM	/	VF
04-	OuOls	pour	évaluer	en	ligne
25Sylvestre	2020	-	Bourque	2001
+	
Correction	objective	
et	automatique	
Teste	les	
connaissances	
Correction	rapide
Peu	adapté	aux	
mesures	de	
compétences
-
Long	à	préparer
Calibrage	complexe	
du	temps	de	
passation
Point	de	vue	de	l’étudiant
04-	OuOls	pour	évaluer	en	ligne
26
Problème	de	gestion	du	temps	si	l’étudiant	n’a	pas	
un	aperçu	global	des	questions
1
2
3
Problème	de	stratégie	en	cas	de	barême	en	points	
négatifs	(retour	en	arrière	impossible	-	annulation)
Problème	de	gestion	du	stress	en	fonction	du	temps	
limité	et	du	nombre	de	questions
4 Problème	de	gestion	du	stress	selon	ordre	des	
questions
5 Stratégie	de	consultation	de	ressources	(mémo)
Percep:ons	au	terme	du	quadri	2019-2020	
Enseignants	et	étudiants	ULB
04-	OuOls	pour	évaluer	en	ligne
27
Permet	mieux	
d’évaluer	les	compétences		
• Les	E.O	sans	préparation	
• Présentation	orale	à	livre	
ouvert	
• Travail	écrit	indi	/	collectif	
asynchrone	
• E.E	avec	QO	
• E.E	avec	QF
Correspond	aux	
exigences	des	enseignants		
• Travail	écrit	individuel	
• E.E	à	livre	ouvert	et	Q.O.	
• Travail	écrit	collectif	
asynchrone	
• Présentation	orale	à	livre	
ouvert	
• E.E	avec	QF	
•E.O	sans	préparation
Enquête	interne	EASC	2020
Limites	des	évalua:ons	(en	ligne)
05	-	Limites	/	Pièges	/	Fraude	2.0
1
2
3
28
Réaliser	une	«	bonne	»	évaluation	est	complexe	et	
chronophage
Contexte	VICA	vient	titiller	nos	alignements	
pédagogiques	et	nos	critères	d’exigences
Impression	de	perte	de	contrôle
Pièges	(en	ligne)
05	-	Limites	/	Pièges	/	Fraude	2.0
29
Effet	de	halo	
Effet	de	contraste	
Tendance	centrale	
Divergence	entre	correcteurs	
Perte	de	fidélité	dans	le	temps	
Ordre	de	passage	
Genre	et	ethnie	du	correcteur	
par	rapport	à	l’évalué	
….
Detroz	&	Romainville	2017	-	Bourque	2001
Part	d’erreur	dans	la	mesure
05	-	Limites	/	Pièges	/	Fraude	2.0
30
Etudiant	qui	doit	
réussir	a	réussi
Detroz	&	Romainville	2017
Etudiant	qui	doit	
rater	a	échoué
Etudiant	qui	doit	
réussir	a	échoué
Etudiant	qui	doit	
rater	a	réussi
Part	d’erreur	dans	la	mesure
05	-	Limites	/	Pièges	/	Fraude	2.0
31
Quid	de	cette	responsabilité	quand	s’ajoutent	des	risques	de	fraude		
potentiellement	plus	élévés	dans	la	situation	en	ligne	?
Fraude	-	Etudes	américaines
05	-	Limites	/	Pièges	/	Fraude	2.0
1
2
3
32
70%	de	fraude	pendant	le	parcours	universitaire
Pas	de	lien	entre	triche	et	genre,	âge	ou	religion
Etudiants	ayant	un	niveau	plus	faible	trichent	
davantage
Guibert	et	Michaut,	2009
Fraude	-	Etude	française
05	-	Limites	/	Pièges	/	Fraude	2.0
1
2
3
33
Rapport	nombre	d’étudiants	/	nombre	d’examens	et	
le	nombre	de	sanctions	prononcées	est	anecdotique	
32.000	étudiants	-	21	dossiers	-	1.300.000	examens
5	catégories	de	fraude	:	Copier/plagier,	falsifier	(les	
résultats	d’une	expérience),	leurrer	le	correcteur	
(mettre	plusieurs	réponses),	utiliser	des	supports	
non	autorisés,	s’entraider	illicitement
Parmi	70%	de	fraudeurs	seulement	11,5%	dit	avoir	
triché	dans	E.S.
Guibert	et	Michaut,	2009
Fraude	-	Etude	française
05	-	Limites	/	Pièges	/	Fraude	2.0
34Guibert	et	Michaut,	2009
Fraude	-	Etude	française
05	-	Limites	/	Pièges	/	Fraude	2.0
35Guibert	et	Michaut,	2009
Expérimenter	la	fraude…
05	-	Limites	/	Pièges	/	Fraude	2.0
1
2
3
36
Les	meilleures	profils	trichent	de	manière	
stratégique	pour	augmenter	leur	niveau
En	fonction	du	contexte	:	«	si	la	triche	est	facilement	
réalisable	»
En	raison	des	exigences	:		
• «	j’ai	triché	aux	partiels	car	pas	le	temps	de	tout	
préparer	en	plus	des	stages	(BA3)	
• «	les	connaissances	à	avoir	étaient	indigestes	»	(MA3	
med)
Guibert	et	Michaut,	2009
Impact	des	technologies
05	-	Limites	/	Pièges	/	Fraude	2.0
37
Les	NTIC	facilitent	fraude	mais	nuance	
Le	Monde		2011	><	Avril	2020	:	annulation	d’épreuve
Article	Mazodier	et	col,	2012
• Impact	de	masse	
• Simple	suspicion	a	un	effet	dévastateur	(diffusion	réseaux	
sociaux,	stress,	médias)	
• Absence	de	vérification	(sentiment	d’injustice)	
• Dénonciation	entre	pairs	
• Contre	nature	(supports	de	plus	en	plus	nombreux	sur	
internet)
Impact	des	technologies
05	-	Limites	/	Pièges	/	Fraude	2.0
38
Acculturation	des	usages	numériques	(Digital	
natives	oui	mais	pas	pour	apprendre)
Article	Mazodier	et	col,	2012
Limites	du	contrôle	continu	:	augmenterait	les	
possibilités	de	fraude	/	évaluation	plus	banalisée	/	
moins	de	surveillance	/	recours	au	plagiat
Proximité	entre	étudiants	/	enseignants	diminuerait	
la	fraude
Retour	des	enseignants	et	étudiants	juin	2020
05	-	Limites	/	Pièges	/	Fraude	2.0
39
•«	Logiciels	anti-
fraude	sont	coûteux	et	pas	
toujours	efficaces	»	
• «	Problème	technique	»	
• «	Illusion	d’un	contrôle	»	
• «	Annulation	d’épreuve	car	
le	système	de	contrôle	a	
planté	»
Copie	des	modalités	
habituelles	liées	au	
présentiel
•«Intrusion	dans	
ma	vie	privée	»	
• «	La	surveillance	m’a	
encore	plus	stressé	»	
• «	Franchement	celui	qui	
veut	triché,	il	trouve	le	
moyen,	contrôle	ou	pas	»
Engendre	un	sentiment	
négatif	envers	
l’institution	et	les	
enseignants
Logiciels	de	surveillance	pour	donner	une	
illusion	de	contrôle	
TestWe	ou	WISEflow
05	-	Limites	/	Pièges	/	Fraude	2.0
40Article	Le	soir	2020
«	L’objectif	premier	de	ces	logiciels	n’est	pas	de	lutter	
contre	la	fraude.	Il	s’agit	avant	tout	de	proposer	des	
examens	de	qualité	et	équitables	;	la	surveillance	permet	à	
l’enseignant	de	poser	des	questions	plus	riches,	similaires	
à	celles	qu’il	poserait	en	auditoire.	»	Y.	Deville	(UCL)
Stratégies	des	enseignants	en	débat
05	-	Limites	/	Pièges	/	Fraude	2.0
41Article	Le	soir	2020
1
2
3
Restreindre	circulation	dans	QCM	><	respecter	le	
point	de	vue	cognitif	de	l’étudiant
Attribution	aléatoire	des	questions	><	perte	de	
logique	liée	au	contenu
Coup	de	sonde	hors	examen	><	surcharge	mentale	des	
étudiants
4 Proctoring	par	photo-surveillance	><		RGPD	(intrusion	
chez	l’étudiant	et	WEBCAM)
Limites	des	preuves…
05	-	Limites	/	Pièges	/	Fraude	2.0
42Article	Le	soir	2020	-	Mazodier	2012
«	En	cas	de	soupçon,	comment	utiliser	ces	“preuves”	;	que	
faut-il	en	faire	?	»	M.	Demeuse	
Comment	l’institution	gère	les	fraudes	?	Texte	?	Règlement	
des	études	?	Commission	?
Ques:ons	pour	trouver	le	«	juste	»	équilibre
05	-	Limites	/	Pièges	/	Fraude	2.0
43
1
2
3
Responsabilité	de	la	fraude	=>	Ne	faut-il	pas	opter	
pour	des	évaluations	intelligentes	(sinon	l’enseignant	
est	également	responsable)	?	
Triche	et	stratégie	=>	Faut-il	sanctionner	les	
étudiants	malins	qui	saisissent	les	occasions	
contextuelles	?	
Gestion	du	stress	COVID	=>	Les	«	tricheurs	»	
d’aujourd’hui	font-ils	exception	?
Lu`e	contre	la	fraude
05	-	Limites	/	Pièges	/	Fraude	2.0
44
1
2
Adapter	les	modalités	:	Livre	ouvert,	permettre	
utilisation	d’outils	(comme	calculette)
Adapter	les	sujets		:	Tenir	compte	de	la	disponibilité	
de	ressources
=	>	Penser	ses	évaluations	autrement…
Article	Mazodier	et	col,	2012
Que	retenir	pour	l’ici	et	maintenant	?	
06-	Opportunités	pédagogiques	:		Et	après	?	
45
Prendre	du	recul
06-	Opportunités	pédagogiques	:		Et	après	?	
46
• Conscience	des	limites	aux	évaluations	
• Respect	de	l’alignement	pédagogique	(méthodes	
utilisées	au	Q1	pour	la	session	qui	vient)	
• Respect	du	contexte	anxiogène	
• Prise	en	compte	des	étudiants	malades	ou	
fragilisés	
• Prise	en	compte	des	étudiants	stratèges	ou	
fraudeurs	
• Choisir	en	se	posant	les	«	bonnes	»	questions
Choisir		-	moduler	
06-	Opportunités	pédagogiques	:		Et	après	?	
47
Par	rapport	à	moi	-	UE	-	Programme	-	HE
Et	Après	?	Entrer	dans	une	logique	différente
06-	Opportunités	pédagogiques	:		Et	après	?	
48
Bachy,	2014
Vous	avez	
effleuré	
l’eLearning
Etudiant	-	Acteur	de	son	appren:ssage
06-	Opportunités	pédagogiques	:		Et	après	?	
49Bachy,	2014
Autonomie	
Autoévaluation	
Responsabilité	
Trace	
Libre	
Persévérance
Enseignant	-	Accompagnateur
06-	Opportunités	pédagogiques	:		Et	après	?	
50Bachy,	2014
Balise	les	apprentissages	
Est	attentif	aux	parcours	individuels	(lève	les	inégalités)	
Rythme	et	motive	
Recadre	les	ressources	
Apporte	son	expertise	
Valide	sur	la	base	de	preuves
Qui	dit	«	accompagner	»	dit	pédagogie	ac:ve
06-	Opportunités	pédagogiques	:		Et	après	?	
51
1
2
3
Choix	de	nouvelles	pratiques	d’évaluation	en	cours	
et	en	fin	de	quadri	
Logique	de	traces	:	l’étudiant	doit	faire	la	preuve	de	
ses	apprentissages	(portfolio)
Penser	auto-évaluation		
Penser	développement	de	compétences	(évaluation	
intégrée)
Et	après	?	
06-	Opportunités	pédagogiques	:		Et	après	?	
52
1
2
3
Analyse	réflexive,	développement	collectif
Impact	sur	son	enseignement	en	présentiel	et	son	
évaluation
Développement	de	compétences	numériques
Bachy	et	Liégeois	2013
Références	bibliographiques
• Bachy,	S.	et	Liégeois,	M.	(2013).	Influence	de	la	construction	de	cours	en	ligne	sur	le	cours	en	présentiel.	
RITPU_v10_n01_58.	
• Bachy,	S.	(2014).	Apprendre	en	ligne	à	l’université.	in	S.	Bachy	«	Enseignement	en	ligne	à	l’université	et	spécificités	
disciplinaires	».	Presses	académiques	francophones.	Chapitre	5,	83-102	
• Biggs,	J.	(1995).	Enhancing	teaching	through	constructive	alignment.	Higher	education,	32,3,	pp	347-364.	
• Boumazguida,	K.,	Temperman,	G.	et	De	Lièvre,	B.	(2018).	Questionner	les	traces	d’activités	en	ligne	pour	mieux	
comprendre	l’expérience	d’apprentissage	des	étudiants	,	Revue	internationale	de	pédagogie	de	l’enseignement	
supérieur.	34(3).	
• Bourque,	S.	(2001).	Evaluation	des	apprentissages.	Comment	éviter	les	pièges	de	la	correction	?	Vol	4	N°2.	Carnet	U.	
Sherbrooke	
• Cardinet,	J.	(1975	-	1979).	L’élargissement	de	l’évaluation.	Education	et	Recherche	1(1),	15-34	
• CEGEP	à	distance	et	Université	de	Sherbrooke	(2016).	Outil	de	questionnement	pour	la	planification	et	la	conception	des	
évaluation	d’un	cours	en	formation	à	distance.		
• De	Ketele,	JM	(2011).	L’évaluation	et	le	curriculum	:	les	fondements	conceptuels,	les	débats,	les	enjeux,	Les	dossiers	des	
sciences	de	l’éducation,	25	|	2011,	89-106.	
• Detroz,	P.	&	Romainville,	M.	(coord.)	(2017.	Comprendre	et	améliorer	les	pratiques	d’évaluation	des	acquis	des	étudiants	
dans	l’enseignement	supérieur.	Rapport	de	recherche	FWB.		
• EDUCATHON	(2019).	Stratégie	de	mise	en	place	du	contrôle	continu	intégral.		
• Guibert,	P.	et	Michaut,	C.	(2009).	Les	facteurs	individuels	et	contextuels	de	la	fraude	aux	examens	universitaires,	Revue	
française	de	pédagogie	169	|	2009,	43-52.		
• Leroux,	J.L.	et	Bélair,	L.	(2015).	Exercer	son	jugement	professionnel	en	enseignement	supérieur.	Dans	J.L.	Leroux(dir.)	
Evaluer	les	compétences	au	collégial	et	à	l’université	:	un	guide	pratique	(p.65-104).	Montréal,	Québec	:	Chenelière	
education.		
• Mazodier,	M.	et	col.	(2012).	La	fraude	aux	examens	dans	l’enseignement	supérieur.	Rapport	pour	le	ministère	de	
l’éducation	nationale	et	ministère	de	l’enseignement	supérieur.		
• Romero,	M.	(2019).	Analyser	les	apprentissages	à	partir	des	traces.	26	|	2019.	La	formation	initiale	et	continue	des	
enseignants	et	des	formateurs	à	distance	:	enjeux,	usages	et	ressources	
• Sylvestre,	E.	et	col.	(2020).	Vademecum	pour	l’évaluation	à	distance	des	étudiant.e.s.	UNIL
53

Evaluation en ligne : Obstacles et opportunités