Ce diaporama est le support de présentation de l'article suivant : M. Magnin, G. Moreau, V. Tourre, N. Varoquaux et B. Vialle. Apports de l’application web libre MarkUs dans le processus de correction de travaux en informatique. Retour d’Expérience (ReX). In the 8ème Colloque International Technologies de l’Information et de la Communication pour l’Enseignement (TICE), 10 pages, Lyon, Décembre 2012. L'article, téléchargeable sur http://eat-tice.ec-nantes.fr/?p=471, constitue un retour d’expérience l'usage du logiciel libre MarkUs, application web permettant de recueillir et d'évaluer en ligne les travaux remis par les étudiants. Ce logiciel a permis de soutenir les efforts d'amélioration de l'évaluation formative au sein de notre établissement.

1. Apports de l’application web libre MarkUs dans le
processus de correction de travaux en informatique
Morgan Magnin, Guillaume Moreau, Vincent Tourre, Nelle
Varoquaux et Benjamin Vialle
´
Ecole Centrale de Nantes
TICE 2012 - 12/12/12
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 1 / 24

2. Introduction
Des besoins identifi´s
e
Motivation
Comment g´rer et ´valuer efficacement les travaux rendus par les
e e
´tudiants en TP/Projet ?
e
Soumissions
´
Evaluation
Feedback
Distribution
Gestion d’archives
Enjeux majeurs
Quantit´ de travaux rendus (300-900 ´tudiants par cours)
e e
H´t´rog´n´it´ de l’´quipe enseignante
e e e e e e
Num´risation
e
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 2 / 24

3. Introduction
Limites des dispositifs traditionnels
Du cˆt´ des enseignants
oe
Gros volume de soumissions ` traiter (plusieurs centaines par TP)
a
Difficult´ d’harmonisation des facteurs de correction d’un charg´ de
e e
TD/TP ` l’autre
a
Gestion papier
Amoncellement de piles
Retour des dossiers aux ´tudiants
e
Gestion par courriels
Erreurs dans le destinataire
Archives .zip illisibles
Lourdeurs
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 3 / 24

4. Introduction
Limites des dispositifs traditionnels
Du cˆt´ des ´tudiants
oe e
Difficult´ pour r´cup´rer/consulter ses travaux corrig´s
e e e e
Gestion papier
Perte de rapports
Partage de la copie avec son binˆme ?
o
Gestion par courriels
Erreurs dans le destinataire
Un courriel parmi d’autres
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 4 / 24

5. L’outil MarkUs
Sommaire
1 L’outil MarkUs
2 Impact de MarkUs dans le processus d’´valuation formative
e
3 Conclusion
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 5 / 24

6. L’outil MarkUs Aper¸u
c
MarkUs, un outil de correction en ligne de travaux ´tudiant
e
MarkUs ? Mark us !
MarkUs est :
Un logiciel libre
Une application Web, donc multi-plateformes
Destin´ ` l’´valuation des projets des ´tudiants
ea e e
D´pˆt versionn´ des travaux des ´tudiants
e o e e
Annotation directe des documents par les enseignants
Diminution du temps de correction
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 6 / 24

7. L’outil MarkUs Aper¸u
c
MarkUs : dates cl´s
e
MarkUs, logiciel libre pour ´valuer le travail des ´tudiants
e e
2006 : d´but du d´veloppement ` l’Universit´ de Toronto (UoT)
e e a e
2009 :
D´ploiement ` l’UoT
e a
´
L’Ecole Centrale de Nantes (ECN) rejoint l’´quipe de d´veloppement
e e
2010 : D´ploiement ` l’ECN et ` l’Universit´ de Waterloo
e a a e
2011 : Valorisation
Mention sp´ciale aux“Troph´es des Technologies Educative” du “Salon
e e
de l’Education / Educatice”
De nouvelles universit´s fran¸aises et ´coles d’ing´nieurs commencent `
e c e e a
exp´rimenter MarkUs
e
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 7 / 24

8. L’outil MarkUs Aper¸u
c
Pr´-requis techniques
e
Comment les ´tudiants et les enseignants utilisent MarkUs ?
e
Simplement en ouvrant un navigateur web !
Comment les ing´nieurs syst`mes peuvent installer MarkUs ?
e e
En installant Ruby on Rails, PostgreSQL/MySQL, Passenger et
Subversion
En t´l´chargement MarkUs grˆce au code accessible publiquement
ee a
→ Pas d’autre coˆt que celui du temps pass´ sur l’installation !
u e
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 8 / 24

9. L’outil MarkUs Aper¸u
c
Les rˆles dans MarkUs
o
Responsable de cours (Instructor )
Le responsable du cours cr´´ et configure les travaux ` rendre (deadline,
ee a
bar`mes, annotions types, etc.)
e
Enseignant (Grader )
Les enseignants ´valuent les travaux en suivant les instructions du
e
responsable de cours.
´
Etudiant (Student)
Les ´tudiants soumettent leurs travaux et peuvent consulter les r´sultats
e e
de leurs pr´c´dentes soumissions.
e e
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 9 / 24

10. L’outil MarkUs Aper¸u
c
Quelques fonctionnalit´s
e
Am´lioration de l’enseignement (correcteur)
e
Possibilit´ d’annoter
e
Code source (avec coloration syntaxique)
Images
PDF
Figure: Vue du correcteur
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 10 / 24

11. L’outil MarkUs Aper¸u
c
Quelques fonctionnalit´s
e
Am´lioration de l’enseignement (correcteur)
e
Crit`res fixes d’´valuation
e e
Annotations (code source, images et pdf)
Plusieurs correcteurs pour une copie
Figure: D´termination de crit`res
e e
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 11 / 24

12. L’outil MarkUs Aper¸u
c
Quelques autres fonctionnalit´s
e
Am´lioration de l’enseignement (correcteur)
e
Prise en charge de plusieurs TP, dans l’id´e d’une instance de MarkUs
e
par mati`re
e
Gestion des ´ch´ances avec p´nalit´s de retard (configurables)
e e e e
Possibilit´ de voir et corriger une ancienne version
e
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 12 / 24

13. L’outil MarkUs Aper¸u
c
Quelques fonctionnalit´s
e
Am´lioration de l’enseignement (´l`ve)
e ee
Constitution des groupes en fonction des TP
Export des commentaires
Retour am´lior´ et plus rapide
e e
Possibilit´ de revoir les commentaires
e
Figure: Vue des r´sultats par les ´tudiants
e e
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 13 / 24

14. L’outil MarkUs D´monstration
e
D´mo
e
Et si nous passions ` une petite illustration pratique. . .
a
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 14 / 24

15. L’outil MarkUs D´monstration
e
MarkUs : chiffres cl´s
e
MarkUs, logiciel libre pour ´valuer le travail des ´tudiants
e e
Ecole Centrale de Nantes :
Deux cours d’informatique en tronc commun + option informatique
750 ´tudiants impact´s chaque ann´e
e e e
Jusqu’` 350 ´tudiants par cours
a e
Universit´ de Toronto :
e
8 cours diff´rents en informatique et ing´nierie
e e
1200 ´tudiants impact´s chaque ann´e
e e e
Jusqu’` 650 ´tudiants par cours
a e
University de Waterloo :
Deux cours importants chaque semestre
Plus de 800 ´tudiants impact´s chaque semestre
e e
Depuis 2008 : contribution de plus de 45 ´tudiants de licence et
e
master
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 15 / 24

16. Impact de MarkUs dans le processus d’´valuation formative
e
Sommaire
1 L’outil MarkUs
2 Impact de MarkUs dans le processus d’´valuation formative
e
3 Conclusion
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 16 / 24

17. Impact de MarkUs dans le processus d’´valuation formative
e Avantages pour les enseignants
Soutien de l’´valuation formative - Du cˆt´ des enseignants
e oe
Gestion de gros volumes (promotions allant jusqu’` 900 ´tudiants)
a e
Gestion centralis´e et versionn´ee des documents
e e
Diminution du temps de correction : entre 14% et 50%
Diminution du nombre de travaux rendus apr`s la deadline : de
e
15-20% ` 5-10%
a
D´mat´rialisation
e e
Acc`s nomade
e
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 17 / 24

18. Impact de MarkUs dans le processus d’´valuation formative
e Avantages pour les ´tudiants
e
Soutien de l’´valuation formative - Du cˆt´ des ´tudiants
e oe e
Une unique plate-forme de soumission et de correction
Am´lioration du d´lai d’obtention de la correction : 90 % en moins de
e e
deux semaines
Diminution du nombre de travaux pour lesquels les r´sultats sont
e
donn´s apr`s l’examen final
e e
Acc`s permanent aux anciens travaux annot´s par les enseignants
e e
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 18 / 24

19. Impact de MarkUs dans le processus d’´valuation formative
e Avantages pour l’enseignement et l’apprentissage
Effets b´n´fiques de MarkUs
e e
Impact sur l’activit´ d’enseignement
e
Am´lioration de la gestion logistique des travaux
e
Une premi`re uniformisation des crit`res de correction
e e
Aspect incitatif de la correction
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 19 / 24

20. Impact de MarkUs dans le processus d’´valuation formative
e Avantages pour l’enseignement et l’apprentissage
Effets b´n´fiques de MarkUs
e e
Impact sur le processes d’apprentissage
Meilleur respect des deadlines par les ´tudiants
e
Chaque ´tudiant (mˆme en groupe) acc`de au retour sur son travail
e e e
Plus d’int´rˆt pour les commentaires et les annotations laiss´es par
ee e
les enseignants
La rapidit´ du feedback permet d’en tenir compte pour les travaux
e
suivants.
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 20 / 24

21. Conclusion
Sommaire
1 L’outil MarkUs
2 Impact de MarkUs dans le processus d’´valuation formative
e
3 Conclusion
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 21 / 24

22. Conclusion Bilan interm´diaire
e
Synth`se
e
Objectif
Comment am´liorer la proc´dure d’´valuation des TP/projets d’´tudiants ?
e e e e
Usage de MarkUs
Logiciel libre
Annotation du code, des .pdf et des images
Facilit´ de prise en main
e
Seul coˆt : installation et maintenance
u
Vers la cr´ation de cercles vertueux : utilisateurs → contributeurs →
e
mentors (Magnin et Moreau, QPES’2011)
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 22 / 24

23. Conclusion Perspectives
Am´liorations ` venir
e a
Vers un ´largissement de l’utilisation de MarkUs
e
Analyse plus fine des effets du dispositif p´dagogique
e
Int´gration du module de test automatique de code
e
´
Elargissement ` d’autres mati`res
a e
Int´gration ` un ENT ?
e a
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 23 / 24

24. Conclusion R´f´rences
ee
Plus d’informations
Liens et contacts
Site du projet : http://markusproject.org
Essayer le logiciel en ligne :
http://markusproject.org/admin-demo
Sources : https://github.com/MarkUsProject/Markus
Blog EAT-TICE de l’Ecole Centrale de Nantes :
http://eat-tice.ec-nantes.fr
Chan IRC : #markus sur irc.freenode.net
Mailing list : markus-dev@cs.toronto.edu
M. Magnin et al. (ECN) ´
Evaluer avec MarkUs 12/12/2012 24 / 24