1.
Tests de concordance de
scripts
Réunion EAT/TICE
30 juin 2009
Morgan Magnin
MCF Centrale Nantes
morgan.magnin@irccyn.ec-nantes.fr
http://tinyurl.com/magnin-ecn
http://twitter.com/morgan_it/

2.
Contexte
● Projet UNIT :
– Centrale Nantes
– les Ecoles des Mines de Nantes, d'Alès et de
Douai,
– l'INSA de Rouen,
– l'Université de Bordeaux 2
● Objectif : assurer une meilleure évaluation du
savoir-faire en informatique

3.
Les TCS (1)
● Tests de concordance de script
● Instrument d'évaluation du raisonnement en
contexte d'incertitude
● Complémentaires des procédures d'évaluation
« traditionnelles »
● Issus du secteur médical – Université de Montréal

4.
Les TCS (2)
Image tirée de http://www.cme.umontreal.ca/tcs/

5.
Les TCS (3)
● Score de l’étudiant proportionnel au nombre
d’experts ayant choisi la même réponse
● Évalutoile : http://www.evalutoile.u-bordeaux2.fr/

6.
TCS en informatique (1)
● Scénario : Jean-Pierre et Gwen réservent tous les deux une place dans le
train Lyon-Nantes de 19h00 le 30 juin 2009. Lors de leur arrivée à la
gare, ils se retrouvent avec la même place dans le même wagon.
● Hypothèse / Option : Vous supposez que le logiciel de réservation comporte
un bug au niveau de la vérification d’attribution des places.
● Nouvelle donnée : Le problème ne se produit qu’une fois par an.
● Quel est l’effet de cette nouvelle donnée sur votre hypothèse ?
□ Rend l'hypothèse beaucoup moins probable
□ Rend l'hypothèse moins probable
Proposition de Guillaume Moreau
□ N'a aucun effet sur l'hypothèse (MCF Centrale Nantes)
□ Rend l'hypothèse plus probable
□ Rend l'hypothèse beaucoup plus probable

7.
Cours impactés à Centrale Nantes
● EI1 :
– Systèmes d'information et bases de données
– Algorithmique et programmation
● EI2 :
– Méthodes logicielles (Java, structures de données)
● EI3 Info :
– Systèmes, réseaux et technologies de l'information
– Bases de données

8.
Avancées du projet à Centrale Nantes
● 25 vignettes créées
● Première expérimentation sur l'examen de
« Systèmes d'information »
– 26 juin 2009
– 108 étudiants
– Évaluation d'après un panel de 9 experts
– Justification des choix demandée aux étudiants

9.
TCS en informatique (2)
● Scénario : Jean-Pierre et Gwen réservent tous les deux une place dans le
train Lyon-Nantes de 19h00 le 30 juin 2009. Lors de leur arrivée à la
gare, ils se retrouvent avec la même place dans le même wagon.
● Hypothèse / Option : Vous supposez que le logiciel de réservation comporte
un bug au niveau de la vérification d’attribution des places.
● Nouvelle donnée : Le problème ne se produit qu’une fois par an.
● Quel est l’effet de cette nouvelle donnée sur votre hypothèse ?
Experts Étudiants
□ Rend l'hypothèse beaucoup moins probable 0% 19%
□ Rend l'hypothèse moins probable 0% 19%
□ N'a aucun effet sur l'hypothèse 55% 27%
□ Rend l'hypothèse plus probable 22% 23%
□ Rend l'hypothèse beaucoup plus probable 22% 11%

10.
Conclusions partielles
● Évaluation du raisonnement et du savoir-faire
– Pertinent
– Efficace
● Particulièrement adapté pour :
– Diagnostic
– Conception
● Efforts sur l'écriture des vignettes : objectivité

11.
Plan de mise en oeuvre de TCS
1.Établissement du référentiel de compétences
2.Conception de questions
3.Saisie des questions
4.Recueil de l’expertise
5.Expérimentations

12.
Quelques références bibliographiques
● Site de référence :
http://www.cme.umontreal.ca/tcs/
● Conférence de Bernard Charlin :
– Canal U : http://tinyurl.com/bcharlin-tcs
– Supports : http://tinyurl.com/bcharlin-slides