Le document traite de la méthodologie pour concevoir des tests de concordance de script dans le cadre du projet C2i2mi, en mettant l'accent sur l'importance de l'expertise et des scénarios basés sur des cas réels. Il décrit également les caractéristiques de sécurité des systèmes d'information et les compétences sollicitées pour élaborer ces tests. La conclusion suggère d'adapter des outils existants et de proposer un format d'export/import pour faciliter l'utilisation des tests.

1. 1Tests de Concordance de Script et C2i2miProjet

2. Les tests de Concordance de ScriptsPrincipe2

3. Origine des TCSIntroduction en médecine Université de Sherbrooke (Charlet 1998)Introduction en informatiqueEcole Centrale de Nantes (Magnin2010) http://eat-tice.ec-nantes.fr15/12/20103

4. PrincipeScénarioQuestionEnoncé d’un casHypothèseÉlément nouveauRéponseImpact sur l’hypothèse : +2, +1, 0, -1, -2Renforce fortement l’hypothèseRenforce CorrectionAdéquation aux réponses des experts15/12/20104

5. PrérequisRédaction des questionsSolliciter la compétence sous une forme d’une expertise issu d’un raisonnement en environnement incertain :TCS ≠ QCMHistoriquement, le TCS doit rendre compte de cas réels S’appuyer sur des expériences réelles, et donc des expertsExpertise des questionsDisposer d’experts (non contextuels)15/12/20105

6. Types d’expertises évaluées16/12/20106Source : Demeester 2004

7. CréationMéthodologie dans le contexte du C2i 2mi15/12/20107

8. Méthodologie de créationGrille de lecturePour chaque compétence, identifier des questions issues si possible de cas réelsBrainstormingRédactionValidationExpertise15/12/20108Enseignants + Experts métiersExperts métiers (+ nombreux)

9. Exemples D2D2-1 : Maîtriser les processus d'une politique de sécurité pour participer à sa mise en placeComprendre le rôle du document de définition de PSSIConnaître les caractéristiques attendues d’un système d’information, en termes de sécurité : confidentialité, disponibilité, intégrité, non répudiationConnaître l’existence de méthodes de mise en place d’une PSSIAdapter ses comportements et ceux de son équipe en conformité avec la PSSI, dans son secteur d’activité15/12/20109

10. Caractéristiques de sécurité du SI : confidentialité, disponibilité, intégrité, non répudiationScénario :L’entreprise dans laquelle vous travaillez veut mettre en place une PSSI. Elle procède donc à une évaluation des risques et liste les points à respecter. Vous faites partie de l’équipe. Le secteur d’activité est en permanence en flux tendu et implique la manipulation de nombreuses informations documentaires.Hypothèse :Les risques liés à la sécurité sont liés à 80% à la disponibilité des documents.Elément Nouveau :Vous travaillez dans un cabinet de notaires.15/12/201010

11. Caractéristiques de sécurité du SI : confidentialité, disponibilité, intégrité, non répudiationScénario :L’entreprise dans laquelle vous travaillez veut mettre en place une PSSI. Elle procède donc à une évaluation des risques et liste les points à respecter. Vous faites partie de l’équipe. Le secteur d’activité est en permanence en flux tendu et implique la manipulation de nombreuses informations documentaires.Hypothèse :Les risques liés à la sécurité sont liés à 80% à la disponibilité des documents.Elément Nouveau :15/12/201011Votre entreprise travaille dans le domaine de l’enseignement à distance dans un contexte professionnelCaractéristiques de sécurité du SI : confidentialité, disponibilité, intégrité, non répudiationScénario :L’entreprise dans laquelle vous travaillez veut mettre en place une PSSI. Elle procède donc à une évaluation des risques et liste les points à respecter. Vous faites partie de l’équipe. Le secteur d’activité est en permanence en flux tendu et implique la manipulation de nombreuses informations documentaires.Hypothèse :Les risques liés à la sécurité sont liés à 80% à la disponibilité des documents.Elément Nouveau :15/12/201012 D2-2 : Distinguer les acteurs de la PSSI et identifier leurs responsabilités légales.Les avis sont partagés dans l’entreprise, et si le responsable technique est de votre avis, ce n’est pas le cas du responsable qualité.Scénario :Dans une entreprise de taille moyenne, il existe un compte utilisateur avec des droits d’accès étendus qui est utilisé par de nombreuses personnes. On vous explique qu’elle permet aux personnes qui ont besoin de documents auxquels ils n’ont pas accès de les consulter sans avoir à perdre du temps en s’adressant à la personne responsable. Hypothèse :Vous envisagez de réactualiser la PSSI. Elément Nouveau :La direction vous dit qu’elle a confiance en son personnel.La direction avance que les documents accessibles par cette session ne sont pas critiques.La direction assure que l’existence d’une telle session n’a jamais posé problème.16/12/201013

12. ConstatsQuelles sont les compétences sollicitées ?Un changement léger des hypothèses, peut changer les compétences sollicitées.Deux déclinaisons peuvent solliciter des compétences différentesUne même déclinaison peut solliciter plusieurs compétencesLa fabrication des questions est issueD’expertises réalisées par certains enseignantsDe retours d’expérience de la DCRILes cas proposés sont souvent fortement contextualisés16/12/201014

13. Un point essentielSolliciter des experts pour la constitution des questions, et leur évaluationDCRICLUSIFIndustriels…16/12/201015

14. OutilsQuelle(s) plateforme(s)15/12/201016

15. Outil spécifique ou générique ?ConstatTCS ≠ QCMMaisModélisation question : idem QCMRéponse de l’expert : idem QCM + commentaireRéponse du candidat : idem QCM + commentaireCorrection : spécifique16/12/201017

16. Exemple d’intégration sous Claroline à l’ISARA16/12/201018

17. Correction16/12/201019

18. Correction16/12/201020

19. ConclusionIl est possible de :Adapter des outils QCM existantClarolineOutil du C2i1…Etendre QTI, pour proposer un format de représentation des TCSExport/import de TCS !16/12/201021

20. 22Merci de votre attentionChristophe MATHIEUchristophe.mathieu@ecam.frJean Marc FERREROJean-marc.ferrero@isara.fr