SlideShare une entreprise Scribd logo
1  sur  27
Télécharger pour lire hors ligne
Utilisation des TCS en informatique


     Utilisation des TCS pour l’évaluation
     en informatique

     Morgan Magnin, Guillaume Moreau
     http://eat-tice.ec-nantes.fr
     contact : eat-tice@ec-nantes.fr
Plan

  Motivations du projet
  Les TCS
  Exemples
  Retour sur expérience
  Perspectives




                           2
Contexte : enseignement de
l'informatique
    Centrale Nantes
     >  Tronc commun : informatique pour l'ingénieur
        •  on ne forme pas des informaticiens
        •  proportion non négligeable de public allergique à
           l'informatique
        •  cours électifs : attractivité, ouverture  attirer les non-geeks
     >  Option informatique : coloration (600h)
        •  contenu plus technique
    2 types de cours
     >  Algorithmique, programmation
     >  Systèmes d'information, Web strategy & development
                                                                              3
Evaluation

    Cours techniques
     >  TP, projets
     >  Difficultés : volume, fraude
     >  Eléments de solution
        •  corrections électroniques : Tablet PC
        •  Projet MarkUs
        •  QCM+
    Cours moins techniques
     >  Etude de cas : pb du volume, note globale
     >  Connaissances : QCM, questions ouvertes
     >  Quid des compétences ?
                                                    4
Contexte

    Objectif : assurer une meilleure évaluation du
     savoir-faire en informatique

    Projet UNIT :
     >  Centrale Nantes
     >  les Ecoles des Mines de Nantes, d'Alès et de Douai,
     >  l'INSA de Rouen,
     >  l'Université de Bordeaux 2



                                                              5
Les TCS (1)

    Tests de concordance de script

  Instrument d'évaluation du raisonnement en
   contexte d'incertitude
  Complémentaires des procédures d'évaluation
   « traditionnelles »

    Issus du secteur médical – Université de
     Montréal
     >  aider à poser un diagnostic
                                                 6
Les TCS (2)




Image tirée de http://www.cme.umontreal.ca/tcs/
                                                  7
Les TCS (3)

    Evaluation
     >  Confier le TCS à un panel d'experts
     >  Score de l’étudiant proportionnel au nombre d’experts
        ayant choisi la même réponse


    Évalutoile : http://www.evalutoile.u-bordeaux2.fr/




                                                            8
Exemples

    Système d'information
     >  au delà de la théorie, multidisciplinaire
     >  relève de la problématique de l'ingénieur généraliste
    Droit de l'informatique
     >  Texte, jurisprudence, lacunes…
    Programmation
     >  la complexité crée la situation en apparence non-
        déterministe
     >  débogage : commence par un diagnostic

                                                                9
Exemple 1a : énoncé
    Scénario : Vincent et Laurence réservent tous deux une place
     dans le train Nantes-Paris de 19h00 le 24 juin 2010. Lors de
     leur arrivée à la gare, ils se retrouvent avec la même place
     dans le même wagon.
    Hypothèse / Option : Vous supposez que le logiciel de réservation
     comporte un bug au niveau de la vérification d’attribution des
     places.
    Nouvelle donnée : Le problème ne se produit qu’une fois par an.
    Quel est l’effet de cette nouvelle donnée sur votre hypothèse ?
          □     Rend l'hypothèse beaucoup moins probable
          □     Rend l'hypothèse moins probable
          □     N'a aucun effet sur l'hypothèse
          □     Rend l'hypothèse plus probable
          □     Rend l'hypothèse beaucoup plus probable


Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information
                                                                                         10
Exemple 1 : réponses

    Réponses
                                         Experts   Étudiants
     >  classique : exclusion mutuelle
                                           0%        19%
        •  d'où la probabilité faible
                                           0%        19%
     >  différents points de vue…         55%        27%
        •  pb : rédiger la question !     22%        23%
     >  éviter les réponses binaires      22%        11%
        •  retour au QCM




                                                               11
Exemple 1b : énoncé

  Scénario : Pour payer les enseignants non-
   permanents de l’Ecole, le secrétariat Général
   édite la liste des vacataires à partir du système
   d’information. Lors de cette édition, Luc Baudoin
   apparaît deux fois
  Option : Si vous pensez à :
     >  un doublon dans la base de données
    Nouvelle donnée : la date de naissance est
     différente

                                                   12
Exemple 1b : réponses

    2 grands types d'hypothèses :
     >  simple homonymie
     >  erreur sur une ou plusieurs dates de naissance
    Mais aussi :
     >  homonymie + même date       70%

                                    60%
     >  Erreur de saisie des noms   50%

    Possibilité de dériver :       40%
                                                                  expert
                                    30%
     >  Luc Baudoin et L. Baudoin 20%                             étudiant



     >  modifier nouvelles données 10%
                                    0%
                                          -2   -1   0   +1   +2

                                                                   13
Exemple 2

    Scénario : Vous venez d'être nommé Correspondant
     Informatique et Liberté dans votre entreprise. Parmi les
     adresses e-mail figurant dans les fichiers de prospection
     publicitaire de l'entreprise, vous soupçonnez que certaines ont
     été collectées sans l'accord préalable des personnes à
     recevoir des messages commerciaux. Mais les fichiers ne
     contiennent aucune information sur le fait que les personnes
     ont - ou non - donné leur consentement.
    Option : Si vous pensez à :
     >  Il est nécessaire de supprimer l'intégralité des fichiers d'adresses e-
        mail.
    Nouvelle donnée : Vous apprenez que ces adresses e-mail
     appartiennent majoritairement à des personnes morales. Le
     reste des adresses e-mail appartiennent à d'anciens clients de
     l'entreprise.

                                                                             14
Exemple 2 : réponses

    La réponse pourrait être une exclusion totale de
     l'hypothèse
     >  Le droit français accorde l’autorisation de prospecter
        par courriel - sans accord préalable - des personnes
        morales et d'anciens clients n'ayant pas manifesté leur
        refus par une demande de désinscription
     >  on ne sait pas s'il y a eu des demandes de
        désinscription
    Ce n'est pas le cas
     >  Difficulté de trouver des experts
     >  Difficulté à utiliser certaines parties des échelles
                                                               15
Exemple 3 : énoncé

  Scénario : Alexandre et Antoine ont écrit chacun
   la moitié du programme dans deux fichiers x.c et
   y.c. Une fois compilé correctement et les liens
   édités sans problème, le programme plante
  Option : Si vous pensez à :
     >  Alexandre a tort car il est habituellement moins fort en
        programmation
    Nouvelle donnée : Antoine a vérifié le
     fonctionnement de toutes ses fonctions

                                                              16
Exemple 3 : réponses

  Cas classique pour les enseignants
  On fait appel aux notions de tests unitaires
   versus tests d'intégration, voire de chaîne de
   génie logiciel
  Pas de conclusion évidente sans autre apport
  Extension possible :
     >  question courte : que faire pour affiner le diagnostic ?




                                                               17
Bilan intermédiaire du projet à
Centrale Nantes
  64 vignettes créées
  Première expérimentation sur l'examen de
   « Systèmes d'information »
     >  26 juin 2009
     >  108 étudiants
     >  Évaluation d'après un panel de 9 experts
     >  Biais expérimental : justification des choix demandée
        aux étudiants
    Expérimentation reconduite le 28 juin 2010, et
     désormais élargie à d’autres enseignements
                                                           18
Conclusions partielles

    Pas simple à évaluer : il faudrait deux demi-promos
     évaluées avec et sans TCS
     >  compensé par les lignes d'explication
    Évaluation du raisonnement et du savoir-faire
     >  Pertinent
     >  Efficace
    Particulièrement adapté pour :
     >  Diagnostic
     >  Conception

    Efforts sur l'écriture des vignettes : objectivité
     (décontextualisation), problème de la langue

                                                           19
Plan de mise en oeuvre de TCS

  Acquisition du savoir-faire en termes de TCS
  Établissement du référentiel de compétences
  Conception de questions
  Saisie des questions
  Recueil de l’expertise
  Expérimentations
  Retour éventuel sur la rédaction de certaines
   questions → itération

                                                   20
Recommandations autour des
TCS (1)
    Convaincre les enseignants de la pertinence des
     TCS pour évaluer des compétences
     >  plus facile à écrire qu'un QCM, tout aussi facile à
        corriger
     >  plus de réflexion : pas de situation simple
     >  pas toujours pas facile de parler de compétences…


    Situer la complémentarité des TCS par rapport
     aux :
     >  QCM
     >  Exercices "classiques"
                                                              21
Recommandations autour des
TCS (2)
    Envisager une rédaction collective des vignettes
     >  limite la "contexualisation"
     >  plus efficace que la relecture pour affiner le texte
    Pour une utilisation en évaluation
     >  coupler à une justification très courte
     >  Valide la compétence de l'élève et le TCS !
    Elargir le panel d'experts en dehors de l'établissement
    Ne pas oublier que les cas simples (réponses binaires)
     sont des QCM
    Réutiliser !
     >  dériver les TCS existants en changeant hypothèses et nouvelles
        données
     >  D'une année sur l'autre, d'une matière à l'autre

                                                                    22
Utilisation pratique

    En TD/TP
     >  Confronter l'étudiant à des situations réalistes
     >  Identifier les failles dans le raisonnement de l'étudiant
    En auto-évaluation
     >  Vérification de l'acquisition de compétences
  En   examen
     >  Validation de compétences "fondamentales"




                                                                23
Bilan

  Première mise en œuvre réelle des TCS en
   dehors du monde médical
  Dispositif adopté par l'équipe pédagogique pour
   l'évaluation de compétences
  Savoir-faire en termes d'écriture de vignettes




    Utile pour l'évaluation des compétences pour le
     C2i2mi ?
                                                       24
Perspectives

  Poursuite de l'écriture de vignettes et
   généralisation
  Confrontations de l'expérience avec le secteur
   médical
  Extension au niveau M
  Application à d'autres domaines
     >  diagnostic
     >  problèmes ouverts


                                                    25
Quelques références
bibliographiques
  Blog EAT-TICE Centrale Nantes :
   http://eat-tice.ec-nantes.fr
  Site de référence sur les TCS en médecine :
   http://www.cme.umontreal.ca/tcs/
  Les motivations des TCS en informatique :
   http://tinyurl.com/tcs-unit
  Conférence de Bernard Charlin :
     >  Canal U : http://tinyurl.com/bcharlin-tcs
     >  Supports : http://tinyurl.com/bcharlin-slides

                                                        26
Contact et informations

    Contacts
     >  Guillaume.Moreau@ec-nantes.fr
     >  Morgan.Magnin@ec-nantes.fr


    Informations
     >  Blog : https://pedagogie.ec-nantes.fr/tablet-pc/
     >  Blog : http://eat-tice.ec-nantes.fr




                                                           27

Contenu connexe

En vedette

Usage de l'iPad en enseignement et en apprentissage
Usage de l'iPad en enseignement et en apprentissageUsage de l'iPad en enseignement et en apprentissage
Usage de l'iPad en enseignement et en apprentissageMorgan Magnin
 
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l’Éco...
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l’Éco...Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l’Éco...
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l’Éco...Morgan Magnin
 
"Retour sur l’usage de Tablet PC à l’Ecole Centrale de Nantes : autonomie et ...
"Retour sur l’usage de Tablet PC à l’Ecole Centrale de Nantes : autonomie et ..."Retour sur l’usage de Tablet PC à l’Ecole Centrale de Nantes : autonomie et ...
"Retour sur l’usage de Tablet PC à l’Ecole Centrale de Nantes : autonomie et ...Morgan Magnin
 
"Apports de l’application web libre MarkUs dans le processus de correction de...
"Apports de l’application web libre MarkUs dans le processus de correction de..."Apports de l’application web libre MarkUs dans le processus de correction de...
"Apports de l’application web libre MarkUs dans le processus de correction de...Morgan Magnin
 
La professionnalisation des étudiants en informatique par des projets libres....
La professionnalisation des étudiants en informatique par des projets libres....La professionnalisation des étudiants en informatique par des projets libres....
La professionnalisation des étudiants en informatique par des projets libres....Morgan Magnin
 
Le cercle vertueux de la participation d’étudiants à des projets libres. Expo...
Le cercle vertueux de la participation d’étudiants à des projets libres. Expo...Le cercle vertueux de la participation d’étudiants à des projets libres. Expo...
Le cercle vertueux de la participation d’étudiants à des projets libres. Expo...Morgan Magnin
 
Présentation de Zotero, outil pour collecter, gérer, citer et partager des ré...
Présentation de Zotero, outil pour collecter, gérer, citer et partager des ré...Présentation de Zotero, outil pour collecter, gérer, citer et partager des ré...
Présentation de Zotero, outil pour collecter, gérer, citer et partager des ré...Morgan Magnin
 
Tablets PC, alliance du manuscrit et du numérique pour un cartable électronique
Tablets PC, alliance du manuscrit et du numérique pour un cartable électroniqueTablets PC, alliance du manuscrit et du numérique pour un cartable électronique
Tablets PC, alliance du manuscrit et du numérique pour un cartable électroniqueMorgan Magnin
 
Retour d'expérience sur l'utilisation de l'application web d'annotation et co...
Retour d'expérience sur l'utilisation de l'application web d'annotation et co...Retour d'expérience sur l'utilisation de l'application web d'annotation et co...
Retour d'expérience sur l'utilisation de l'application web d'annotation et co...Morgan Magnin
 
Contribution des Étudiants de l’École Centrale de Nantes à MarkUs, un projet ...
Contribution des Étudiants de l’École Centrale de Nantes à MarkUs, un projet ...Contribution des Étudiants de l’École Centrale de Nantes à MarkUs, un projet ...
Contribution des Étudiants de l’École Centrale de Nantes à MarkUs, un projet ...Morgan Magnin
 
Développement du module d’annotation dans Office Impress. Exposé aux 12e RMLL...
Développement du module d’annotation dans Office Impress. Exposé aux 12e RMLL...Développement du module d’annotation dans Office Impress. Exposé aux 12e RMLL...
Développement du module d’annotation dans Office Impress. Exposé aux 12e RMLL...Morgan Magnin
 
La professionnalisation des étudiants en informatique par les projets libres,...
La professionnalisation des étudiants en informatique par les projets libres,...La professionnalisation des étudiants en informatique par les projets libres,...
La professionnalisation des étudiants en informatique par les projets libres,...Morgan Magnin
 
Mission Enseigner et Apprendre avec les Technologies - T.I.C.E. à l'École Cen...
Mission Enseigner et Apprendre avec les Technologies - T.I.C.E. à l'École Cen...Mission Enseigner et Apprendre avec les Technologies - T.I.C.E. à l'École Cen...
Mission Enseigner et Apprendre avec les Technologies - T.I.C.E. à l'École Cen...Morgan Magnin
 
MarkUs, un logiciel libre pour l’annotation du code et des travaux rendus par...
MarkUs, un logiciel libre pour l’annotation du code et des travaux rendus par...MarkUs, un logiciel libre pour l’annotation du code et des travaux rendus par...
MarkUs, un logiciel libre pour l’annotation du code et des travaux rendus par...Morgan Magnin
 
Quel intérêt pour les réseaux sociaux en pédagogie ? Exposé donné à la Matiné...
Quel intérêt pour les réseaux sociaux en pédagogie ? Exposé donné à la Matiné...Quel intérêt pour les réseaux sociaux en pédagogie ? Exposé donné à la Matiné...
Quel intérêt pour les réseaux sociaux en pédagogie ? Exposé donné à la Matiné...Morgan Magnin
 
Enjeux légaux de la société de l'information et de la communication - cours d...
Enjeux légaux de la société de l'information et de la communication - cours d...Enjeux légaux de la société de l'information et de la communication - cours d...
Enjeux légaux de la société de l'information et de la communication - cours d...Morgan Magnin
 
Modèles pour l'inférence de paramètres temporels des réseaux de régulation bi...
Modèles pour l'inférence de paramètres temporels des réseaux de régulation bi...Modèles pour l'inférence de paramètres temporels des réseaux de régulation bi...
Modèles pour l'inférence de paramètres temporels des réseaux de régulation bi...Morgan Magnin
 
Introduction au droit informatique - Version de juin 2010
Introduction au droit informatique - Version de juin 2010Introduction au droit informatique - Version de juin 2010
Introduction au droit informatique - Version de juin 2010Morgan Magnin
 
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l'Éco...
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l'Éco...Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l'Éco...
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l'Éco...Morgan Magnin
 
Introduction au droit informatique
Introduction au droit informatiqueIntroduction au droit informatique
Introduction au droit informatiqueMorgan Magnin
 

En vedette (20)

Usage de l'iPad en enseignement et en apprentissage
Usage de l'iPad en enseignement et en apprentissageUsage de l'iPad en enseignement et en apprentissage
Usage de l'iPad en enseignement et en apprentissage
 
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l’Éco...
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l’Éco...Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l’Éco...
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l’Éco...
 
"Retour sur l’usage de Tablet PC à l’Ecole Centrale de Nantes : autonomie et ...
"Retour sur l’usage de Tablet PC à l’Ecole Centrale de Nantes : autonomie et ..."Retour sur l’usage de Tablet PC à l’Ecole Centrale de Nantes : autonomie et ...
"Retour sur l’usage de Tablet PC à l’Ecole Centrale de Nantes : autonomie et ...
 
"Apports de l’application web libre MarkUs dans le processus de correction de...
"Apports de l’application web libre MarkUs dans le processus de correction de..."Apports de l’application web libre MarkUs dans le processus de correction de...
"Apports de l’application web libre MarkUs dans le processus de correction de...
 
La professionnalisation des étudiants en informatique par des projets libres....
La professionnalisation des étudiants en informatique par des projets libres....La professionnalisation des étudiants en informatique par des projets libres....
La professionnalisation des étudiants en informatique par des projets libres....
 
Le cercle vertueux de la participation d’étudiants à des projets libres. Expo...
Le cercle vertueux de la participation d’étudiants à des projets libres. Expo...Le cercle vertueux de la participation d’étudiants à des projets libres. Expo...
Le cercle vertueux de la participation d’étudiants à des projets libres. Expo...
 
Présentation de Zotero, outil pour collecter, gérer, citer et partager des ré...
Présentation de Zotero, outil pour collecter, gérer, citer et partager des ré...Présentation de Zotero, outil pour collecter, gérer, citer et partager des ré...
Présentation de Zotero, outil pour collecter, gérer, citer et partager des ré...
 
Tablets PC, alliance du manuscrit et du numérique pour un cartable électronique
Tablets PC, alliance du manuscrit et du numérique pour un cartable électroniqueTablets PC, alliance du manuscrit et du numérique pour un cartable électronique
Tablets PC, alliance du manuscrit et du numérique pour un cartable électronique
 
Retour d'expérience sur l'utilisation de l'application web d'annotation et co...
Retour d'expérience sur l'utilisation de l'application web d'annotation et co...Retour d'expérience sur l'utilisation de l'application web d'annotation et co...
Retour d'expérience sur l'utilisation de l'application web d'annotation et co...
 
Contribution des Étudiants de l’École Centrale de Nantes à MarkUs, un projet ...
Contribution des Étudiants de l’École Centrale de Nantes à MarkUs, un projet ...Contribution des Étudiants de l’École Centrale de Nantes à MarkUs, un projet ...
Contribution des Étudiants de l’École Centrale de Nantes à MarkUs, un projet ...
 
Développement du module d’annotation dans Office Impress. Exposé aux 12e RMLL...
Développement du module d’annotation dans Office Impress. Exposé aux 12e RMLL...Développement du module d’annotation dans Office Impress. Exposé aux 12e RMLL...
Développement du module d’annotation dans Office Impress. Exposé aux 12e RMLL...
 
La professionnalisation des étudiants en informatique par les projets libres,...
La professionnalisation des étudiants en informatique par les projets libres,...La professionnalisation des étudiants en informatique par les projets libres,...
La professionnalisation des étudiants en informatique par les projets libres,...
 
Mission Enseigner et Apprendre avec les Technologies - T.I.C.E. à l'École Cen...
Mission Enseigner et Apprendre avec les Technologies - T.I.C.E. à l'École Cen...Mission Enseigner et Apprendre avec les Technologies - T.I.C.E. à l'École Cen...
Mission Enseigner et Apprendre avec les Technologies - T.I.C.E. à l'École Cen...
 
MarkUs, un logiciel libre pour l’annotation du code et des travaux rendus par...
MarkUs, un logiciel libre pour l’annotation du code et des travaux rendus par...MarkUs, un logiciel libre pour l’annotation du code et des travaux rendus par...
MarkUs, un logiciel libre pour l’annotation du code et des travaux rendus par...
 
Quel intérêt pour les réseaux sociaux en pédagogie ? Exposé donné à la Matiné...
Quel intérêt pour les réseaux sociaux en pédagogie ? Exposé donné à la Matiné...Quel intérêt pour les réseaux sociaux en pédagogie ? Exposé donné à la Matiné...
Quel intérêt pour les réseaux sociaux en pédagogie ? Exposé donné à la Matiné...
 
Enjeux légaux de la société de l'information et de la communication - cours d...
Enjeux légaux de la société de l'information et de la communication - cours d...Enjeux légaux de la société de l'information et de la communication - cours d...
Enjeux légaux de la société de l'information et de la communication - cours d...
 
Modèles pour l'inférence de paramètres temporels des réseaux de régulation bi...
Modèles pour l'inférence de paramètres temporels des réseaux de régulation bi...Modèles pour l'inférence de paramètres temporels des réseaux de régulation bi...
Modèles pour l'inférence de paramètres temporels des réseaux de régulation bi...
 
Introduction au droit informatique - Version de juin 2010
Introduction au droit informatique - Version de juin 2010Introduction au droit informatique - Version de juin 2010
Introduction au droit informatique - Version de juin 2010
 
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l'Éco...
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l'Éco...Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l'Éco...
Quel intérêt pour les réseaux sociaux en pédagogie ? Usage de Twitter à l'Éco...
 
Introduction au droit informatique
Introduction au droit informatiqueIntroduction au droit informatique
Introduction au droit informatique
 

Similaire à "Utilisation des Tests de Concordance de Scripts pour l’évaluation en informatique", , diaporama réalisé pour la présentation de l'article éponyme à TICE'2010

Présentation sur l'expérimentation menée autour de l'utilisation des Tests de...
Présentation sur l'expérimentation menée autour de l'utilisation des Tests de...Présentation sur l'expérimentation menée autour de l'utilisation des Tests de...
Présentation sur l'expérimentation menée autour de l'utilisation des Tests de...Morgan Magnin
 
Softshake 2015 - Comment tester et optimiser la performance d'un SI ?
Softshake 2015 - Comment tester et optimiser la performance d'un SI ?Softshake 2015 - Comment tester et optimiser la performance d'un SI ?
Softshake 2015 - Comment tester et optimiser la performance d'un SI ?cyrilpicat
 
PerfUG Comment tester et optimiser la performance d'un SI ?
PerfUG Comment tester et optimiser la performance d'un SI ?PerfUG Comment tester et optimiser la performance d'un SI ?
PerfUG Comment tester et optimiser la performance d'un SI ?Marc Bojoly
 
Datamining appliqué au churn client dans les télécommunications
Datamining appliqué au churn client dans les télécommunicationsDatamining appliqué au churn client dans les télécommunications
Datamining appliqué au churn client dans les télécommunicationsabdelmoumène taleb
 
PFE : ENS_yousser
PFE : ENS_yousserPFE : ENS_yousser
PFE : ENS_yousserchammem
 
Softshake 2015 comment tester et optimiser la performance d'un si
Softshake 2015   comment tester et optimiser la performance d'un siSoftshake 2015   comment tester et optimiser la performance d'un si
Softshake 2015 comment tester et optimiser la performance d'un siMarc Bojoly
 
Des mesures pour des décisions
Des mesures pour des décisionsDes mesures pour des décisions
Des mesures pour des décisionsJean-Michel POU
 
Groupware et outils web en projet sept 2014
Groupware et outils web en projet sept 2014Groupware et outils web en projet sept 2014
Groupware et outils web en projet sept 2014Rémi Bachelet
 
i.a et droit - données d'apprentissage - village de la legaltech
i.a et droit - données d'apprentissage - village de la legaltechi.a et droit - données d'apprentissage - village de la legaltech
i.a et droit - données d'apprentissage - village de la legaltechLaurane Coudriet
 
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptx
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptxChapitre 1 - Introcution & cycles de développement - Etudiant.pptx
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptxssuserec8501
 
Web 2.0 dans les organisations: usages et adoption
Web 2.0 dans les organisations: usages et adoptionWeb 2.0 dans les organisations: usages et adoption
Web 2.0 dans les organisations: usages et adoptionSaïd Assar
 
Projet sur les carrieres informatiques
Projet sur les carrieres informatiquesProjet sur les carrieres informatiques
Projet sur les carrieres informatiquesJanelleLeblanc3
 
Movie Recommendation system
Movie Recommendation systemMovie Recommendation system
Movie Recommendation systemSakher BELOUADAH
 
Forêts uniformément aléatoires - Saïp CISS
Forêts uniformément aléatoires - Saïp CISSForêts uniformément aléatoires - Saïp CISS
Forêts uniformément aléatoires - Saïp CISSKezhan SHI
 

Similaire à "Utilisation des Tests de Concordance de Scripts pour l’évaluation en informatique", , diaporama réalisé pour la présentation de l'article éponyme à TICE'2010 (20)

tcs et c2i2mi
tcs et c2i2mitcs et c2i2mi
tcs et c2i2mi
 
Présentation sur l'expérimentation menée autour de l'utilisation des Tests de...
Présentation sur l'expérimentation menée autour de l'utilisation des Tests de...Présentation sur l'expérimentation menée autour de l'utilisation des Tests de...
Présentation sur l'expérimentation menée autour de l'utilisation des Tests de...
 
Tp1 6-141218060317-conversion-gate02
Tp1 6-141218060317-conversion-gate02Tp1 6-141218060317-conversion-gate02
Tp1 6-141218060317-conversion-gate02
 
Softshake 2015 - Comment tester et optimiser la performance d'un SI ?
Softshake 2015 - Comment tester et optimiser la performance d'un SI ?Softshake 2015 - Comment tester et optimiser la performance d'un SI ?
Softshake 2015 - Comment tester et optimiser la performance d'un SI ?
 
PerfUG Comment tester et optimiser la performance d'un SI ?
PerfUG Comment tester et optimiser la performance d'un SI ?PerfUG Comment tester et optimiser la performance d'un SI ?
PerfUG Comment tester et optimiser la performance d'un SI ?
 
Datamining appliqué au churn client dans les télécommunications
Datamining appliqué au churn client dans les télécommunicationsDatamining appliqué au churn client dans les télécommunications
Datamining appliqué au churn client dans les télécommunications
 
Cours1.pptx
Cours1.pptxCours1.pptx
Cours1.pptx
 
PFE : ENS_yousser
PFE : ENS_yousserPFE : ENS_yousser
PFE : ENS_yousser
 
Softshake 2015 comment tester et optimiser la performance d'un si
Softshake 2015   comment tester et optimiser la performance d'un siSoftshake 2015   comment tester et optimiser la performance d'un si
Softshake 2015 comment tester et optimiser la performance d'un si
 
Des mesures pour des décisions
Des mesures pour des décisionsDes mesures pour des décisions
Des mesures pour des décisions
 
Groupware et outils web en projet sept 2014
Groupware et outils web en projet sept 2014Groupware et outils web en projet sept 2014
Groupware et outils web en projet sept 2014
 
test
testtest
test
 
i.a et droit - données d'apprentissage - village de la legaltech
i.a et droit - données d'apprentissage - village de la legaltechi.a et droit - données d'apprentissage - village de la legaltech
i.a et droit - données d'apprentissage - village de la legaltech
 
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptx
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptxChapitre 1 - Introcution & cycles de développement - Etudiant.pptx
Chapitre 1 - Introcution & cycles de développement - Etudiant.pptx
 
Web 2.0 dans les organisations: usages et adoption
Web 2.0 dans les organisations: usages et adoptionWeb 2.0 dans les organisations: usages et adoption
Web 2.0 dans les organisations: usages et adoption
 
Carrière
CarrièreCarrière
Carrière
 
Projet sur les carrieres informatiques
Projet sur les carrieres informatiquesProjet sur les carrieres informatiques
Projet sur les carrieres informatiques
 
Carrière
CarrièreCarrière
Carrière
 
Movie Recommendation system
Movie Recommendation systemMovie Recommendation system
Movie Recommendation system
 
Forêts uniformément aléatoires - Saïp CISS
Forêts uniformément aléatoires - Saïp CISSForêts uniformément aléatoires - Saïp CISS
Forêts uniformément aléatoires - Saïp CISS
 

Plus de Morgan Magnin

Comprendre la dynamique des systèmes biologiques grâce à la modélisation hybr...
Comprendre la dynamique des systèmes biologiques grâce à la modélisation hybr...Comprendre la dynamique des systèmes biologiques grâce à la modélisation hybr...
Comprendre la dynamique des systèmes biologiques grâce à la modélisation hybr...Morgan Magnin
 
Diaporama d'HDR Morgan Magnin, "Contributions à l’élaboration de connaissance...
Diaporama d'HDR Morgan Magnin, "Contributions à l’élaboration de connaissance...Diaporama d'HDR Morgan Magnin, "Contributions à l’élaboration de connaissance...
Diaporama d'HDR Morgan Magnin, "Contributions à l’élaboration de connaissance...Morgan Magnin
 
Support de formation sur l'usage des réseaux sociaux en pédagogie, interventi...
Support de formation sur l'usage des réseaux sociaux en pédagogie, interventi...Support de formation sur l'usage des réseaux sociaux en pédagogie, interventi...
Support de formation sur l'usage des réseaux sociaux en pédagogie, interventi...Morgan Magnin
 
Un nouvel outil pour l’évaluation des compétences des étudiants : les tests d...
Un nouvel outil pour l’évaluation des compétences des étudiants : les tests d...Un nouvel outil pour l’évaluation des compétences des étudiants : les tests d...
Un nouvel outil pour l’évaluation des compétences des étudiants : les tests d...Morgan Magnin
 
Retour d’expérience sur le déploiement à Centrale Nantes d’une application we...
Retour d’expérience sur le déploiement à Centrale Nantes d’une application we...Retour d’expérience sur le déploiement à Centrale Nantes d’une application we...
Retour d’expérience sur le déploiement à Centrale Nantes d’une application we...Morgan Magnin
 
Information technologies and legislation part.1: Intellectual Property
Information technologies and legislation part.1: Intellectual PropertyInformation technologies and legislation part.1: Intellectual Property
Information technologies and legislation part.1: Intellectual PropertyMorgan Magnin
 
Social networks: technical issues
Social networks: technical issuesSocial networks: technical issues
Social networks: technical issuesMorgan Magnin
 
Présentation introductive aux réseaux sociaux et à leur utilisation dans des ...
Présentation introductive aux réseaux sociaux et à leur utilisation dans des ...Présentation introductive aux réseaux sociaux et à leur utilisation dans des ...
Présentation introductive aux réseaux sociaux et à leur utilisation dans des ...Morgan Magnin
 

Plus de Morgan Magnin (8)

Comprendre la dynamique des systèmes biologiques grâce à la modélisation hybr...
Comprendre la dynamique des systèmes biologiques grâce à la modélisation hybr...Comprendre la dynamique des systèmes biologiques grâce à la modélisation hybr...
Comprendre la dynamique des systèmes biologiques grâce à la modélisation hybr...
 
Diaporama d'HDR Morgan Magnin, "Contributions à l’élaboration de connaissance...
Diaporama d'HDR Morgan Magnin, "Contributions à l’élaboration de connaissance...Diaporama d'HDR Morgan Magnin, "Contributions à l’élaboration de connaissance...
Diaporama d'HDR Morgan Magnin, "Contributions à l’élaboration de connaissance...
 
Support de formation sur l'usage des réseaux sociaux en pédagogie, interventi...
Support de formation sur l'usage des réseaux sociaux en pédagogie, interventi...Support de formation sur l'usage des réseaux sociaux en pédagogie, interventi...
Support de formation sur l'usage des réseaux sociaux en pédagogie, interventi...
 
Un nouvel outil pour l’évaluation des compétences des étudiants : les tests d...
Un nouvel outil pour l’évaluation des compétences des étudiants : les tests d...Un nouvel outil pour l’évaluation des compétences des étudiants : les tests d...
Un nouvel outil pour l’évaluation des compétences des étudiants : les tests d...
 
Retour d’expérience sur le déploiement à Centrale Nantes d’une application we...
Retour d’expérience sur le déploiement à Centrale Nantes d’une application we...Retour d’expérience sur le déploiement à Centrale Nantes d’une application we...
Retour d’expérience sur le déploiement à Centrale Nantes d’une application we...
 
Information technologies and legislation part.1: Intellectual Property
Information technologies and legislation part.1: Intellectual PropertyInformation technologies and legislation part.1: Intellectual Property
Information technologies and legislation part.1: Intellectual Property
 
Social networks: technical issues
Social networks: technical issuesSocial networks: technical issues
Social networks: technical issues
 
Présentation introductive aux réseaux sociaux et à leur utilisation dans des ...
Présentation introductive aux réseaux sociaux et à leur utilisation dans des ...Présentation introductive aux réseaux sociaux et à leur utilisation dans des ...
Présentation introductive aux réseaux sociaux et à leur utilisation dans des ...
 

Dernier

Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdfBibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdfBibdoc 37
 
Presentation de la plateforme Moodle - avril 2024
Presentation de la plateforme Moodle - avril 2024Presentation de la plateforme Moodle - avril 2024
Presentation de la plateforme Moodle - avril 2024Gilles Le Page
 
Présentation - Initiatives - CECOSDA - OIF - Fact Checking.pptx
Présentation - Initiatives - CECOSDA - OIF - Fact Checking.pptxPrésentation - Initiatives - CECOSDA - OIF - Fact Checking.pptx
Présentation - Initiatives - CECOSDA - OIF - Fact Checking.pptxJCAC
 
Bibdoc 2024 - Ecologie du livre et creation de badge.pdf
Bibdoc 2024 - Ecologie du livre et creation de badge.pdfBibdoc 2024 - Ecologie du livre et creation de badge.pdf
Bibdoc 2024 - Ecologie du livre et creation de badge.pdfBibdoc 37
 
Potentiel du Maroc en Produits du Terroir et Stratégie Adoptée pour le dévelo...
Potentiel du Maroc en Produits du Terroir et Stratégie Adoptée pour le dévelo...Potentiel du Maroc en Produits du Terroir et Stratégie Adoptée pour le dévelo...
Potentiel du Maroc en Produits du Terroir et Stratégie Adoptée pour le dévelo...NaimDoumissi
 
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdfSKennel
 
Apprendre avec des top et nano influenceurs
Apprendre avec des top et nano influenceursApprendre avec des top et nano influenceurs
Apprendre avec des top et nano influenceursStagiaireLearningmat
 
PIE-A2-P4-support stagiaires sept 22-validé.pdf
PIE-A2-P4-support stagiaires sept 22-validé.pdfPIE-A2-P4-support stagiaires sept 22-validé.pdf
PIE-A2-P4-support stagiaires sept 22-validé.pdfRiDaHAziz
 
Bernard Réquichot.pptx Peintre français
Bernard Réquichot.pptx   Peintre françaisBernard Réquichot.pptx   Peintre français
Bernard Réquichot.pptx Peintre françaisTxaruka
 
Zotero avancé - support de formation doctorants SHS 2024
Zotero avancé - support de formation doctorants SHS 2024Zotero avancé - support de formation doctorants SHS 2024
Zotero avancé - support de formation doctorants SHS 2024Alain Marois
 
DIGNITAS INFINITA - DIGNITÉ HUMAINE; déclaration du dicastère .pptx
DIGNITAS INFINITA - DIGNITÉ HUMAINE; déclaration du dicastère .pptxDIGNITAS INFINITA - DIGNITÉ HUMAINE; déclaration du dicastère .pptx
DIGNITAS INFINITA - DIGNITÉ HUMAINE; déclaration du dicastère .pptxMartin M Flynn
 
Pas de vagues. pptx Film français
Pas de vagues.  pptx      Film   françaisPas de vagues.  pptx      Film   français
Pas de vagues. pptx Film françaisTxaruka
 
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdfSKennel
 
Cours de Management des Systèmes d'information
Cours de Management des Systèmes d'informationCours de Management des Systèmes d'information
Cours de Management des Systèmes d'informationpapediallo3
 
Pas de vagues. pptx Film français
Pas de vagues.  pptx   Film     françaisPas de vagues.  pptx   Film     français
Pas de vagues. pptx Film françaisTxaruka
 
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdfSKennel
 
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdfSciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdfSKennel
 
Faut-il avoir peur de la technique ? (G. Gay-Para)
Faut-il avoir peur de la technique ? (G. Gay-Para)Faut-il avoir peur de la technique ? (G. Gay-Para)
Faut-il avoir peur de la technique ? (G. Gay-Para)Gabriel Gay-Para
 
PIE-A2-P 5- Supports stagiaires.pptx.pdf
PIE-A2-P 5- Supports stagiaires.pptx.pdfPIE-A2-P 5- Supports stagiaires.pptx.pdf
PIE-A2-P 5- Supports stagiaires.pptx.pdfRiDaHAziz
 

Dernier (20)

Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdfBibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
Bibdoc 2024 - Les maillons de la chaine du livre face aux enjeux écologiques.pdf
 
Presentation de la plateforme Moodle - avril 2024
Presentation de la plateforme Moodle - avril 2024Presentation de la plateforme Moodle - avril 2024
Presentation de la plateforme Moodle - avril 2024
 
Présentation - Initiatives - CECOSDA - OIF - Fact Checking.pptx
Présentation - Initiatives - CECOSDA - OIF - Fact Checking.pptxPrésentation - Initiatives - CECOSDA - OIF - Fact Checking.pptx
Présentation - Initiatives - CECOSDA - OIF - Fact Checking.pptx
 
Bibdoc 2024 - Ecologie du livre et creation de badge.pdf
Bibdoc 2024 - Ecologie du livre et creation de badge.pdfBibdoc 2024 - Ecologie du livre et creation de badge.pdf
Bibdoc 2024 - Ecologie du livre et creation de badge.pdf
 
Potentiel du Maroc en Produits du Terroir et Stratégie Adoptée pour le dévelo...
Potentiel du Maroc en Produits du Terroir et Stratégie Adoptée pour le dévelo...Potentiel du Maroc en Produits du Terroir et Stratégie Adoptée pour le dévelo...
Potentiel du Maroc en Produits du Terroir et Stratégie Adoptée pour le dévelo...
 
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_FormationRecherche.pdf
 
Apprendre avec des top et nano influenceurs
Apprendre avec des top et nano influenceursApprendre avec des top et nano influenceurs
Apprendre avec des top et nano influenceurs
 
PIE-A2-P4-support stagiaires sept 22-validé.pdf
PIE-A2-P4-support stagiaires sept 22-validé.pdfPIE-A2-P4-support stagiaires sept 22-validé.pdf
PIE-A2-P4-support stagiaires sept 22-validé.pdf
 
Bernard Réquichot.pptx Peintre français
Bernard Réquichot.pptx   Peintre françaisBernard Réquichot.pptx   Peintre français
Bernard Réquichot.pptx Peintre français
 
Zotero avancé - support de formation doctorants SHS 2024
Zotero avancé - support de formation doctorants SHS 2024Zotero avancé - support de formation doctorants SHS 2024
Zotero avancé - support de formation doctorants SHS 2024
 
DIGNITAS INFINITA - DIGNITÉ HUMAINE; déclaration du dicastère .pptx
DIGNITAS INFINITA - DIGNITÉ HUMAINE; déclaration du dicastère .pptxDIGNITAS INFINITA - DIGNITÉ HUMAINE; déclaration du dicastère .pptx
DIGNITAS INFINITA - DIGNITÉ HUMAINE; déclaration du dicastère .pptx
 
Pas de vagues. pptx Film français
Pas de vagues.  pptx      Film   françaisPas de vagues.  pptx      Film   français
Pas de vagues. pptx Film français
 
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_IA.pdf
 
DO PALÁCIO À ASSEMBLEIA .
DO PALÁCIO À ASSEMBLEIA                 .DO PALÁCIO À ASSEMBLEIA                 .
DO PALÁCIO À ASSEMBLEIA .
 
Cours de Management des Systèmes d'information
Cours de Management des Systèmes d'informationCours de Management des Systèmes d'information
Cours de Management des Systèmes d'information
 
Pas de vagues. pptx Film français
Pas de vagues.  pptx   Film     françaisPas de vagues.  pptx   Film     français
Pas de vagues. pptx Film français
 
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdfSciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
SciencesPo_Aix_InnovationPédagogique_Atelier_EtudiantActeur.pdf
 
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdfSciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
SciencesPo_Aix_InnovationPédagogique_Conférence_SK.pdf
 
Faut-il avoir peur de la technique ? (G. Gay-Para)
Faut-il avoir peur de la technique ? (G. Gay-Para)Faut-il avoir peur de la technique ? (G. Gay-Para)
Faut-il avoir peur de la technique ? (G. Gay-Para)
 
PIE-A2-P 5- Supports stagiaires.pptx.pdf
PIE-A2-P 5- Supports stagiaires.pptx.pdfPIE-A2-P 5- Supports stagiaires.pptx.pdf
PIE-A2-P 5- Supports stagiaires.pptx.pdf
 

"Utilisation des Tests de Concordance de Scripts pour l’évaluation en informatique", , diaporama réalisé pour la présentation de l'article éponyme à TICE'2010

  • 1. Utilisation des TCS en informatique Utilisation des TCS pour l’évaluation en informatique Morgan Magnin, Guillaume Moreau http://eat-tice.ec-nantes.fr contact : eat-tice@ec-nantes.fr
  • 2. Plan   Motivations du projet   Les TCS   Exemples   Retour sur expérience   Perspectives 2
  • 3. Contexte : enseignement de l'informatique   Centrale Nantes >  Tronc commun : informatique pour l'ingénieur •  on ne forme pas des informaticiens •  proportion non négligeable de public allergique à l'informatique •  cours électifs : attractivité, ouverture  attirer les non-geeks >  Option informatique : coloration (600h) •  contenu plus technique   2 types de cours >  Algorithmique, programmation >  Systèmes d'information, Web strategy & development 3
  • 4. Evaluation   Cours techniques >  TP, projets >  Difficultés : volume, fraude >  Eléments de solution •  corrections électroniques : Tablet PC •  Projet MarkUs •  QCM+   Cours moins techniques >  Etude de cas : pb du volume, note globale >  Connaissances : QCM, questions ouvertes >  Quid des compétences ? 4
  • 5. Contexte   Objectif : assurer une meilleure évaluation du savoir-faire en informatique   Projet UNIT : >  Centrale Nantes >  les Ecoles des Mines de Nantes, d'Alès et de Douai, >  l'INSA de Rouen, >  l'Université de Bordeaux 2 5
  • 6. Les TCS (1)   Tests de concordance de script   Instrument d'évaluation du raisonnement en contexte d'incertitude   Complémentaires des procédures d'évaluation « traditionnelles »   Issus du secteur médical – Université de Montréal >  aider à poser un diagnostic 6
  • 7. Les TCS (2) Image tirée de http://www.cme.umontreal.ca/tcs/ 7
  • 8. Les TCS (3)   Evaluation >  Confier le TCS à un panel d'experts >  Score de l’étudiant proportionnel au nombre d’experts ayant choisi la même réponse   Évalutoile : http://www.evalutoile.u-bordeaux2.fr/ 8
  • 9. Exemples   Système d'information >  au delà de la théorie, multidisciplinaire >  relève de la problématique de l'ingénieur généraliste   Droit de l'informatique >  Texte, jurisprudence, lacunes…   Programmation >  la complexité crée la situation en apparence non- déterministe >  débogage : commence par un diagnostic 9
  • 10. Exemple 1a : énoncé   Scénario : Vincent et Laurence réservent tous deux une place dans le train Nantes-Paris de 19h00 le 24 juin 2010. Lors de leur arrivée à la gare, ils se retrouvent avec la même place dans le même wagon.   Hypothèse / Option : Vous supposez que le logiciel de réservation comporte un bug au niveau de la vérification d’attribution des places.   Nouvelle donnée : Le problème ne se produit qu’une fois par an.   Quel est l’effet de cette nouvelle donnée sur votre hypothèse ? □  Rend l'hypothèse beaucoup moins probable □  Rend l'hypothèse moins probable □  N'a aucun effet sur l'hypothèse □  Rend l'hypothèse plus probable □  Rend l'hypothèse beaucoup plus probable Compétence ciblée : identifier le périmètre d'origine d'un bug dans un système d'information 10
  • 11. Exemple 1 : réponses   Réponses Experts Étudiants >  classique : exclusion mutuelle 0% 19% •  d'où la probabilité faible 0% 19% >  différents points de vue… 55% 27% •  pb : rédiger la question ! 22% 23% >  éviter les réponses binaires 22% 11% •  retour au QCM 11
  • 12. Exemple 1b : énoncé   Scénario : Pour payer les enseignants non- permanents de l’Ecole, le secrétariat Général édite la liste des vacataires à partir du système d’information. Lors de cette édition, Luc Baudoin apparaît deux fois   Option : Si vous pensez à : >  un doublon dans la base de données   Nouvelle donnée : la date de naissance est différente 12
  • 13. Exemple 1b : réponses   2 grands types d'hypothèses : >  simple homonymie >  erreur sur une ou plusieurs dates de naissance   Mais aussi : >  homonymie + même date 70% 60% >  Erreur de saisie des noms 50%   Possibilité de dériver : 40% expert 30% >  Luc Baudoin et L. Baudoin 20% étudiant >  modifier nouvelles données 10% 0% -2 -1 0 +1 +2 13
  • 14. Exemple 2   Scénario : Vous venez d'être nommé Correspondant Informatique et Liberté dans votre entreprise. Parmi les adresses e-mail figurant dans les fichiers de prospection publicitaire de l'entreprise, vous soupçonnez que certaines ont été collectées sans l'accord préalable des personnes à recevoir des messages commerciaux. Mais les fichiers ne contiennent aucune information sur le fait que les personnes ont - ou non - donné leur consentement.   Option : Si vous pensez à : >  Il est nécessaire de supprimer l'intégralité des fichiers d'adresses e- mail.   Nouvelle donnée : Vous apprenez que ces adresses e-mail appartiennent majoritairement à des personnes morales. Le reste des adresses e-mail appartiennent à d'anciens clients de l'entreprise. 14
  • 15. Exemple 2 : réponses   La réponse pourrait être une exclusion totale de l'hypothèse >  Le droit français accorde l’autorisation de prospecter par courriel - sans accord préalable - des personnes morales et d'anciens clients n'ayant pas manifesté leur refus par une demande de désinscription >  on ne sait pas s'il y a eu des demandes de désinscription   Ce n'est pas le cas >  Difficulté de trouver des experts >  Difficulté à utiliser certaines parties des échelles 15
  • 16. Exemple 3 : énoncé   Scénario : Alexandre et Antoine ont écrit chacun la moitié du programme dans deux fichiers x.c et y.c. Une fois compilé correctement et les liens édités sans problème, le programme plante   Option : Si vous pensez à : >  Alexandre a tort car il est habituellement moins fort en programmation   Nouvelle donnée : Antoine a vérifié le fonctionnement de toutes ses fonctions 16
  • 17. Exemple 3 : réponses   Cas classique pour les enseignants   On fait appel aux notions de tests unitaires versus tests d'intégration, voire de chaîne de génie logiciel   Pas de conclusion évidente sans autre apport   Extension possible : >  question courte : que faire pour affiner le diagnostic ? 17
  • 18. Bilan intermédiaire du projet à Centrale Nantes   64 vignettes créées   Première expérimentation sur l'examen de « Systèmes d'information » >  26 juin 2009 >  108 étudiants >  Évaluation d'après un panel de 9 experts >  Biais expérimental : justification des choix demandée aux étudiants   Expérimentation reconduite le 28 juin 2010, et désormais élargie à d’autres enseignements 18
  • 19. Conclusions partielles   Pas simple à évaluer : il faudrait deux demi-promos évaluées avec et sans TCS >  compensé par les lignes d'explication   Évaluation du raisonnement et du savoir-faire >  Pertinent >  Efficace   Particulièrement adapté pour : >  Diagnostic >  Conception   Efforts sur l'écriture des vignettes : objectivité (décontextualisation), problème de la langue 19
  • 20. Plan de mise en oeuvre de TCS   Acquisition du savoir-faire en termes de TCS   Établissement du référentiel de compétences   Conception de questions   Saisie des questions   Recueil de l’expertise   Expérimentations   Retour éventuel sur la rédaction de certaines questions → itération 20
  • 21. Recommandations autour des TCS (1)   Convaincre les enseignants de la pertinence des TCS pour évaluer des compétences >  plus facile à écrire qu'un QCM, tout aussi facile à corriger >  plus de réflexion : pas de situation simple >  pas toujours pas facile de parler de compétences…   Situer la complémentarité des TCS par rapport aux : >  QCM >  Exercices "classiques" 21
  • 22. Recommandations autour des TCS (2)   Envisager une rédaction collective des vignettes >  limite la "contexualisation" >  plus efficace que la relecture pour affiner le texte   Pour une utilisation en évaluation >  coupler à une justification très courte >  Valide la compétence de l'élève et le TCS !   Elargir le panel d'experts en dehors de l'établissement   Ne pas oublier que les cas simples (réponses binaires) sont des QCM   Réutiliser ! >  dériver les TCS existants en changeant hypothèses et nouvelles données >  D'une année sur l'autre, d'une matière à l'autre 22
  • 23. Utilisation pratique   En TD/TP >  Confronter l'étudiant à des situations réalistes >  Identifier les failles dans le raisonnement de l'étudiant   En auto-évaluation >  Vérification de l'acquisition de compétences   En examen >  Validation de compétences "fondamentales" 23
  • 24. Bilan   Première mise en œuvre réelle des TCS en dehors du monde médical   Dispositif adopté par l'équipe pédagogique pour l'évaluation de compétences   Savoir-faire en termes d'écriture de vignettes   Utile pour l'évaluation des compétences pour le C2i2mi ? 24
  • 25. Perspectives   Poursuite de l'écriture de vignettes et généralisation   Confrontations de l'expérience avec le secteur médical   Extension au niveau M   Application à d'autres domaines >  diagnostic >  problèmes ouverts 25
  • 26. Quelques références bibliographiques   Blog EAT-TICE Centrale Nantes : http://eat-tice.ec-nantes.fr   Site de référence sur les TCS en médecine : http://www.cme.umontreal.ca/tcs/   Les motivations des TCS en informatique : http://tinyurl.com/tcs-unit   Conférence de Bernard Charlin : >  Canal U : http://tinyurl.com/bcharlin-tcs >  Supports : http://tinyurl.com/bcharlin-slides 26
  • 27. Contact et informations   Contacts >  Guillaume.Moreau@ec-nantes.fr >  Morgan.Magnin@ec-nantes.fr   Informations >  Blog : https://pedagogie.ec-nantes.fr/tablet-pc/ >  Blog : http://eat-tice.ec-nantes.fr 27