Utilisation des TCS en informatique Évaluer les compétences des étudiants avec les tests de concordance de scripts Avec ...
Plan <ul><li>Motivations du projet </li></ul><ul><li>Les TCS </li></ul><ul><li>Retour sur expérience </li></ul><ul><li>Per...
Contexte <ul><li>Objectif : assurer une meilleure évaluation du savoir-faire en informatique </li></ul><ul><li>Projet UNIT...
Les TCS (1) <ul><li>Tests de concordance de script </li></ul><ul><li>Instrument d'évaluation du raisonnement en contexte d...
Les TCS (2) Compétence ciblée :  identifier le périmètre d'origine d'un bug dans un système d'information
Les TCS (3) <ul><li>Evaluation </li></ul><ul><ul><li>Confier le TCS à un panel d'experts </li></ul></ul><ul><ul><li>Score ...
Exemple 1 : réponses <ul><li>Réponses </li></ul><ul><ul><li>classique : exclusion mutuelle </li></ul></ul><ul><ul><ul><li>...
Exemples <ul><li>Système d'information </li></ul><ul><ul><li>au delà de la théorie, multidisciplinaire </li></ul></ul><ul>...
Utilisation pratique des TCS à Centrale Nantes <ul><li>Expérimentation sur l'examen de « Systèmes d'information » </li></u...
Conclusions partielles <ul><li>Pas simple à évaluer : il faudrait deux demi-promos évaluées avec et sans TCS </li></ul><ul...
Utilisation pratique <ul><li>En TD/TP </li></ul><ul><ul><li>Confronter l'étudiant à des situations réalistes </li></ul></u...
Bilan <ul><li>Dispositif adapté à l'évaluation de compétences </li></ul><ul><li>Savoir-faire en termes d'écriture de vigne...
Références <ul><li>Bilan du projet UNIT :  </li></ul><ul><ul><li>Documents : https://campus.mines-nantes.fr/gemcampus/cour...
Perspectives <ul><li>Poursuite de l'écriture de vignettes et généralisation </li></ul><ul><li>Confrontations de l'expérien...
Quelques références bibliographiques supplémentaires <ul><li>Site de référence sur les TCS en médecine :  http://www.cme.u...
Contact et informations <ul><li>Contacts </li></ul><ul><ul><li>[email_address] </li></ul></ul><ul><ul><li>[email_address] ...
Prochain SlideShare
Chargement dans…5
×

Un nouvel outil pour l’évaluation des compétences des étudiants : les tests de concordance de scripts

3 115 vues

Publié le

Ce diaporama est le support de présentation de la contribution suivante :
C. Colin, S. Lorenzo, M. Magnin et G. Moreau. Un nouvel outil pour l’évaluation des compétences des étudiants : les tests de concordance de scripts. Séminaire Vivaldi. Le Mans, Avril 2011.

Cette présentation concerne le rôle des tests de concordance de script (TCS) pour valider les compétences des étudiants en informatique. Les TCS constituent un outil pour évaluer les compétences des étudiants face à des problèmes ouverts. Une centaine d'entre eux ont été conçu dans le cadre d'un projet de l'UNT UNIT.

Plus d'informations sur :
- http://imedia.emn.fr/wp/?page_id=1648
- http://eat-tice.ec-nantes.fr/index.php/tag/tcs/

Publié dans : Formation, Technologie, Business
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
3 115
Sur SlideShare
0
Issues des intégrations
0
Intégrations
615
Actions
Partages
0
Téléchargements
11
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Un nouvel outil pour l’évaluation des compétences des étudiants : les tests de concordance de scripts

  1. 1. Utilisation des TCS en informatique Évaluer les compétences des étudiants avec les tests de concordance de scripts Avec le soutien de l’UNT UNIT Mines Nantes : Christian Colin , Sophie Lorenzo [email_address] Centrale Nantes : Morgan Magnin , Guillaume Moreau [email_address]
  2. 2. Plan <ul><li>Motivations du projet </li></ul><ul><li>Les TCS </li></ul><ul><li>Retour sur expérience </li></ul><ul><li>Perspectives </li></ul>
  3. 3. Contexte <ul><li>Objectif : assurer une meilleure évaluation du savoir-faire en informatique </li></ul><ul><li>Projet UNIT : </li></ul><ul><ul><li>les Ecoles des Mines de Nantes, d'Alès et de Douai, </li></ul></ul><ul><ul><li>Centrale Nantes, </li></ul></ul><ul><ul><li>l'INSA de Rouen, </li></ul></ul><ul><ul><li>l'Université de Bordeaux 2 </li></ul></ul>
  4. 4. Les TCS (1) <ul><li>Tests de concordance de script </li></ul><ul><li>Instrument d'évaluation du raisonnement en contexte d'incertitude </li></ul><ul><li>Complémentaires des procédures d'évaluation « traditionnelles » </li></ul><ul><li>Issus du secteur médical – Université de Montréal </li></ul><ul><ul><li>aider à poser un diagnostic </li></ul></ul>
  5. 5. Les TCS (2) Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information
  6. 6. Les TCS (3) <ul><li>Evaluation </li></ul><ul><ul><li>Confier le TCS à un panel d'experts </li></ul></ul><ul><ul><li>Score de l’étudiant proportionnel au nombre d’experts ayant choisi la même réponse : </li></ul></ul><ul><li>Évalutoile : http://www.evalutoile.u-bordeaux2.fr/ </li></ul>
  7. 7. Exemple 1 : réponses <ul><li>Réponses </li></ul><ul><ul><li>classique : exclusion mutuelle </li></ul></ul><ul><ul><ul><li>d'où la probabilité faible </li></ul></ul></ul><ul><ul><li>différents points de vue… </li></ul></ul><ul><ul><ul><li>pb : rédiger la question ! </li></ul></ul></ul><ul><ul><li>éviter les réponses binaires </li></ul></ul><ul><ul><ul><li>retour au QCM </li></ul></ul></ul>Experts Étudiants 0% 19% 0% 19% 55% 27% 22% 23% 22% 11%
  8. 8. Exemples <ul><li>Système d'information </li></ul><ul><ul><li>au delà de la théorie, multidisciplinaire </li></ul></ul><ul><ul><li>relève de la problématique de l'ingénieur généraliste </li></ul></ul><ul><li>Droit de l'informatique </li></ul><ul><ul><li>Texte, jurisprudence, lacunes… </li></ul></ul><ul><li>Programmation </li></ul><ul><ul><li>la complexité crée la situation en apparence non-déterministe </li></ul></ul><ul><ul><li>débogage : commence par un diagnostic </li></ul></ul>
  9. 9. Utilisation pratique des TCS à Centrale Nantes <ul><li>Expérimentation sur l'examen de « Systèmes d'information » </li></ul><ul><ul><li>26 juin 2009, 28 juin 2010 </li></ul></ul><ul><ul><li>108 étudiants, 110 étudiants </li></ul></ul><ul><ul><li>Évaluation d'après un panel de 11 experts </li></ul></ul><ul><ul><li>Biais expérimental : justification des choix demandés aux étudiants </li></ul></ul><ul><li>Expérience élargie à des enseignements M2 </li></ul>
  10. 10. Conclusions partielles <ul><li>Pas simple à évaluer : il faudrait deux demi-promos évaluées avec et sans TCS </li></ul><ul><ul><li>compensé par les lignes d'explication </li></ul></ul><ul><li>Évaluation du raisonnement et du savoir-faire </li></ul><ul><ul><li>Pertinent </li></ul></ul><ul><ul><li>Efficace </li></ul></ul><ul><li>Particulièrement adapté pour : </li></ul><ul><ul><li>Diagnostic </li></ul></ul><ul><ul><li>Conception </li></ul></ul><ul><li>Efforts sur l'écriture des vignettes : objectivité (décontextualisation), problème de la langue </li></ul>
  11. 11. Utilisation pratique <ul><li>En TD/TP </li></ul><ul><ul><li>Confronter l'étudiant à des situations réalistes </li></ul></ul><ul><ul><li>Identifier les failles dans le raisonnement de l'étudiant </li></ul></ul><ul><li>En auto-évaluation </li></ul><ul><ul><li>Vérification de l'acquisition de compétences </li></ul></ul><ul><li>En examen </li></ul><ul><ul><li>Validation de compétences &quot;fondamentales&quot; </li></ul></ul>
  12. 12. Bilan <ul><li>Dispositif adapté à l'évaluation de compétences </li></ul><ul><li>Savoir-faire en termes d'écriture de vignettes </li></ul><ul><li>Expérience « grandeur réelle » (Centrale Nantes) </li></ul><ul><ul><li>2009 et 2010 : cours de 110 étudiants, niveau L3 </li></ul></ul><ul><ul><li>2011 : </li></ul></ul><ul><ul><ul><li>Promotion de 370 étudiants, niveau L3 </li></ul></ul></ul><ul><ul><ul><li>Usage en M2 </li></ul></ul></ul><ul><ul><li>Voir (Magnin et Moreau, TICE’2010) </li></ul></ul>
  13. 13. Références <ul><li>Bilan du projet UNIT : </li></ul><ul><ul><li>Documents : https://campus.mines-nantes.fr/gemcampus/course/view.php?id=26 </li></ul></ul><ul><ul><li>Tests : http://cape.mines-nantes.fr/tcs/ </li></ul></ul><ul><li>Implémentation pour : </li></ul><ul><ul><li>Moodle </li></ul></ul><ul><ul><li>Claroline (EM Lyon/Centrale Lyon) </li></ul></ul>
  14. 14. Perspectives <ul><li>Poursuite de l'écriture de vignettes et généralisation </li></ul><ul><li>Confrontations de l'expérience avec le secteur médical </li></ul><ul><li>Application à d'autres domaines </li></ul><ul><ul><li>diagnostic </li></ul></ul><ul><ul><li>problèmes ouverts </li></ul></ul>
  15. 15. Quelques références bibliographiques supplémentaires <ul><li>Site de référence sur les TCS en médecine : http://www.cme.umontreal.ca/tcs/ </li></ul><ul><li>Les motivations des TCS en informatique : http://tinyurl.com/tcs-unit </li></ul><ul><li>Conférence de Bernard Charlin : </li></ul><ul><ul><li>Canal U : http://tinyurl.com/bcharlin-tcs </li></ul></ul><ul><ul><li>Supports : http://tinyurl.com/bcharlin-slides </li></ul></ul>
  16. 16. Contact et informations <ul><li>Contacts </li></ul><ul><ul><li>[email_address] </li></ul></ul><ul><ul><li>[email_address] </li></ul></ul><ul><ul><li>[email_address] </li></ul></ul><ul><ul><li>[email_address] </li></ul></ul><ul><li>Informations </li></ul><ul><ul><li>CAPE Mines Nantes: http://imedia.emn.fr/wp/ </li></ul></ul><ul><ul><li>EAT-TICE Centrale Nantes: http://eat-tice.ec-nantes.fr </li></ul></ul>

×