Aller plus loin avec les
QCM grâce aux
degrés de certitude
S Abry — B Bailly — JL Castaigne — E Sylvestre
dimanche 13 déce...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Abraham Maslow
2
1943
dimanche 13...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Objectifs de l’atelier
À la fin de...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Introduction
Activité
Mise en com...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise e...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Question à Choix Multiple
L’unité...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
2 étudiants ont 16 / 20
Sont-ils ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
2 étudiants ont 16 / 20
étudiant ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Ce qu’il ne faut pas faire
Ne jam...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
2 stagiaires
Sur pour 10 question...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Shuford, Albert & Massengill
Ne p...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise e...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Lorsque l’on cote les réponses de...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Barème par test
14
Sur base d’un ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Barème par test
15
Sur base d’un ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Pas de barème
16
Tarif
Réponse Co...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise e...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC
1. Une ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Probabilités de certitude
Admissi...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC
1. Une ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise e...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC
1. Une ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Score avec les DC
Nombre de Répon...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 24
Note et indices
Leclercq, 1975...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 25
Note et indices
Brown et Shufo...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Réalisme par classe de certitude
...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Droite de réalisme idéal et sur- ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
Sur base d’un tar...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
Score de “réalism...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
11
FAUX
OK
dimanc...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
!"#$%&'& (%)$**')...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
RI:-0,25
RC:+1
Omis:-0,5
13,75
No...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 33
Note et indices
Tarif
Réponse ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
RI:-0,25
RC:+1
Omis:-0,5
Note et ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Note et indices
0 0 1 0 3 32 2 3 ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise e...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
4 règles d’utilisation DC
1. Une ...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Entraînement
38
Test-Wiseness
Exa...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Entraînement
39
Castaigne et Gill...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Plan
Introduction
Activité
Mise e...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 41
Métacognitionrégulatrice(Noël1...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015
Bruno De Finetti
42
“It is only s...
Maslow, A. H. (1943). A theory of human motivation. Psychological review, 50(4), 370.
Castaigne, J.-L. (2006). Excel sprea...
A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2014
Jean-Loup Castaigne,
04 78 79 43 ...
Prochain SlideShare
Chargement dans…5
×

Aller plus loin avec les QCM grâce aux degrés de certitude

471 vues

Publié le

Atelier pédagogique sur l'évaluation des acquis des étudiants à l'aide de questions à choix multiples (QCM) en ajoutant des degrés de certitude. Exploration de 3 méthodes de recueil d'information et d'analyses de ces informations en retour d'information (feedback) pour l'étudiant et pour l'enseignant.

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
471
Sur SlideShare
0
Issues des intégrations
0
Intégrations
24
Actions
Partages
0
Téléchargements
11
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Aller plus loin avec les QCM grâce aux degrés de certitude

  1. 1. Aller plus loin avec les QCM grâce aux degrés de certitude S Abry — B Bailly — JL Castaigne — E Sylvestre dimanche 13 décembre 2015
  2. 2. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Abraham Maslow 2 1943 dimanche 13 décembre 2015
  3. 3. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Objectifs de l’atelier À la fin de cet atelier, vous serez capable de construire un argumentaire pour l'utilisation des QCM avec Degrés de Certitude de différencier différentes méthodes d'utilisation des QCM avec Degrés de Certitude de choisir la méthode la plus adaptée aux objectifs que vous vous fixez 3 À la fin de cet atelier, vous serez capable dimanche 13 décembre 2015
  4. 4. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Introduction Activité Mise en commun Pause Activité Mise en commun Conclusion Plan 4 dimanche 13 décembre 2015
  5. 5. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Plan Introduction Activité Mise en commun Pause Activité Mise en commun Conclusion 5 dimanche 13 décembre 2015
  6. 6. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Question à Choix Multiple L’unité de mesure de la force d’un piment est le 1. scoville. 2.thermoptim. 3.cherit. 4.hauy. 6 Amorce Propositions Réponse correcte Distracteurs L’unité de mesure de la force d’un piment est le scoville. L’unité de mesure de la force d’un piment est le thermoptim. dimanche 13 décembre 2015
  7. 7. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 2 étudiants ont 16 / 20 Sont-ils égaux ? À ce degré de finesse de mesure oui, mais… si nous ajoutons la notion de certitude des réponses choisies, nous augmentons la finesse et dès lors, nous pouvons imaginer… 7 Castaigne, 2006 dimanche 13 décembre 2015
  8. 8. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 2 étudiants ont 16 / 20 étudiant A 4 erreurs mais chaque erreur avec une certitude >60% 16 réponses correctes mais chaque fois avec une certitude <40% étudiant B 4 erreurs mais chaque erreur avec une certitude <40% 16 réponses correctes mais chaque fois avec une certitude >60% 8 Castaigne, 2006 dimanche 13 décembre 2015
  9. 9. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Ce qu’il ne faut pas faire Ne jamais utiliser des expressions verbales pour exprimer sa certitude comme sûr, très sûr, sûr et certain, peu sûr, pas sûr du tout, moyennement sûr... 9 dimanche 13 décembre 2015
  10. 10. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 2 stagiaires Sur pour 10 questions Pas sur pour 6 questions 0 2 4 6 0 % 20 % 40 % 60 % 80 % 100 % Sur Pas sur 10Castaigne, 2005 dimanche 13 décembre 2015
  11. 11. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Shuford, Albert & Massengill Ne pas utiliser d’expressions verbales (pas sûr, peu sûr, moyennement sûr, très sûr, sûr et certain,...) Utiliser des expressions numériques (probabilités subjectives) comme certitude de 0%, 20%, 40%, 60%, 80% ou à 100% certitude entre 0 et 25%, 25-50, 50-70, 70-85, 85-95 et entre 95 et 100% 11 Admissible Probability Measurement Procedures Emir H. Shuford, Arthur Albert and H. Edward Massengill 1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145 dimanche 13 décembre 2015
  12. 12. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Plan Introduction Activité Mise en commun Pause Activité Mise en commun Conclusion 12 Auguste Rodin, 1880 Le Penseur, Bronze, Paris : Musée Rodin dimanche 13 décembre 2015
  13. 13. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Lorsque l’on cote les réponses de l’étudiant, il reçoit plus de points pour une réponse correcte donnée avec une certitude plus élevée qu’une réponse correcte donnée avec une certitude plus basse. Barème lié à chaque question 13 Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100% RC +13 +16 +17 +18 +19 +20 RI +4 +3 +2 +0 -6 -20 Leclercq, 1975 dimanche 13 décembre 2015
  14. 14. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Barème par test 14 Sur base d’un tarif pour les réponses correctes, les réponses incorrectes et les omissions, on calcule le score d’exactitude de l’étudiant. Score d’exactitude RI:-0,25 RC:+1 Omis:-0,50 dimanche 13 décembre 2015
  15. 15. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Barème par test 15 Sur base d’un tarif pour les réponses correctes, les réponses incorrectes et les omissions, on calcule le score d’exactitude de l’étudiant. Ensuite, sur base de calcul d’indices à partir des DC portant sur l’ensemble des questions, on ajoute des points (pas de perte). indices Score d’exactitude Score de réalisme+ Leclercq, 2003 RI:-0,25 RC:+1 Omis:-0,50 dimanche 13 décembre 2015
  16. 16. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Pas de barème 16 Tarif Réponse Correcte (RC) = +1 Réponse Incorrecte (RI) = - 0,25 Omission = - 0,5 Les degrés de certitude n’influencent pas le score (certitude de 0%, 20%, 40%, 60%, 80% ou à 100%) Castaigne, 2005 dimanche 13 décembre 2015
  17. 17. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Plan Introduction Activité Mise en commun Pause Activité Mise en commun Conclusion 17 Escher M.C., 1935 Mains avec sphère dimanche 13 décembre 2015
  18. 18. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 4 règles d’utilisation DC 1. Une consigne probabiliste 18 dimanche 13 décembre 2015
  19. 19. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Probabilités de certitude Admissible Probability Measurement Procedures Emir H. Shuford, Arthur Albert and H. Edward Massengill 1966, PSYCHOMETRIKA, Volume 31, Number 2, 125-145 Ne pas utiliser d’expressions verbales Utilisez des pourcentages 0% 20% 40% 60% 80% 100% 0-25% 25-50% 50-70% 70-85% 85-95% 95-100% 19 dimanche 13 décembre 2015
  20. 20. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 4 règles d’utilisation DC 1. Une consigne probabiliste 2. Un barème respectant la théorie des décisions 20 Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100% RC +13 +16 +17 +18 +19 +20 RI +4 +3 +2 +0 -6 -20 dimanche 13 décembre 2015
  21. 21. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Plan Introduction Activité Mise en commun Pause Activité Mise en commun Conclusion 21 http://angiemcgovern.files.wordpress.com/2010/01/bigstockphoto_we_all_make_mistakes__131640.jpg dimanche 13 décembre 2015
  22. 22. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 4 règles d’utilisation DC 1. Une consigne probabiliste 2. Un barème respectant la théorie des décisions 3. un feedback métacognitif (graphes, indices,…) 22 dimanche 13 décembre 2015
  23. 23. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Score avec les DC Nombre de Réponses Correctes (RC) 23 Note et indices Certitude 0-25% 25-50% 50-70% 70-85% 85-95% 95-100% RC +13 +16 +17 +18 +19 +20 RI +4 +3 +2 +0 -6 -20 Leclercq, 1975 dimanche 13 décembre 2015
  24. 24. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 24 Note et indices Leclercq, 1975 +18 +4 Total = 22 / 40 = 11 / 20 Pourcentage de RC = 1 / 2 = 10 / 2O FAUX OK 0-25% 25-50% 50-70% 70-85% 85-95% 95-100% +13 +16 +17 +18 +19 +20 +4 +3 +2 +0 -6 -20 dimanche 13 décembre 2015
  25. 25. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 25 Note et indices Brown et Shuford (1973) Leclercq et Gilles (1994) Droite de réalisme idéal Certitude choisie Réalisme idéal PourcentagedeRC dimanche 13 décembre 2015
  26. 26. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Réalisme par classe de certitude 26 Note et indices Brown et Shuford (1973) Leclercq et Gilles (1994)Certitude choisie PourcentagedeRC Pour toutes les QCM où vous avez choisi une certitude de 20% Vous avez pour ces QCM 38% de réponses correctes Vous avez réussi plus (38%) qu’annoncé (20%) dimanche 13 décembre 2015
  27. 27. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Droite de réalisme idéal et sur- ou sous-estimation 27 Note et indices Brown et Shuford (1973) Leclercq et Gilles (1994)Certitude choisie PourcentagedeRC Vous avez réussi moins qu’annoncé SUR estimation Vous avez réussi plus qu’annoncé SOUS estimation dimanche 13 décembre 2015
  28. 28. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Note et indices Sur base d’un tarif pour les réponses correctes, les réponses incorrectes et les omissions, on calcule le score d’exactitude de l’étudiant. Ensuite, sur base du calcul à partir des DC portant sur l’ensemble des questions, on ajoute des points (pas de perte de points). Score d’exactitude Score de réalisme+ Leclercq, 2003 indices RI:-0,25 RC:+1 Omis:-0,50 dimanche 13 décembre 2015
  29. 29. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Note et indices Score de “réalisme” = bien utiliser les DC DC élevés avec les RC DC bas avec les RI Indices : degré de certitude moyen des Réponses Correctes (RC) des Réponses Incorrectes (RI) dimanche 13 décembre 2015
  30. 30. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Note et indices 11 FAUX OK dimanche 13 décembre 2015
  31. 31. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Note et indices !"#$%&'& (%)$**')+'& ,'*+(+-.' )/$(&(' !"#$%&'& )$**')+'& 01 2()+$* 3-4$ '&+ 5&&$)(" 5- )$-*5%+ 6(++"*5(*' !"" #" $" %" &" " ' ()*+,-.),/ 0 -)**12+3-4,/ "5 &"5 %"5 " &" %" $" #" !"" 6 724)*2+3-4,/ 8 *9:2743.),/ $"5 #"5 !""5 71 85%& 65 9:+/$6$4(' 4*');-'< =%+(4$%' '&+ 65 >(66' !"" #" $" %" &" " ' ;, <)=34,*/ 0 ;) >=?37@/ "5 &"5 %"5 " &" %" $" #" !"" 6 ;AB;3=,/ 8 ;A':24,*2-)/ $"5 #"5 !""5 ?1 @"*5*. .' A'*B56 5 &$->>'*+ !"" #" $" %" &" " ' ;, C*3-,- ;, D9+3,/ 0 ;, +2 E*3==, F ,-=2E79+, G/ "5 &"5 %"5 " &" %" $" #" !"" 6 ;) >H'> I-J7;*9:, *,-=3*2493*, 23E) -1KL*,M/ 8 ;, -C?3N9=?*173,/ $"5 #"5 !""5 C1 D5*+(% E-+/'* F(%4 5 "+" 5&&5&&(%" '% 0GHI !"" #" $" %" &" " ' 2)@ O;,- ;, P2*-/ 0 Q P,:=?3-/ "5 &"5 %"5 " &" %" $" #" !"" 6 Q 82++2-/ 8 Q R2-?37E497/ $"5 #"5 !""5 J1 E5 .(B(&($% '&+ -%' 6$( .' )$9#$&(+($% ;-( K .'-L %$9M*'& 5&&$)(' 6' #*$.-(+ .- #*'9('* #5* 6N(%B'*&' .- &')$%.1 E' &')$%. '&+ %$99" !"" #" $" %" &" " ' +, ;3K3;,7;,/ 0 +, =*9;)34/ "5 &"5 %"5 " &" %" $" #" !"" 6 +, .)943,74/ 8 +, ;179:3724,)*/ $"5 #"5 !""5 H1 265.(9(* O6(+)/ P-6(5%$B '&+ #6-& )$%%- &$-& 6' %$9 .' !"" #" $" %" &" " ' S3T342 >,*E),U,K34C? V?*9)C?4C?,K/ 0 W1737,/ "5 &"5 %"5 " &" %" $" #" !"" 6 P3T?2U+ >,*E),U,K34C? X9*(24C?,K/ 8 >42+37,/ $"5 #"5 !""5 Q1 R% &'*#'%+ $#/($#/54' 95%4' .'& !"" #" $" %" &" " ' 93-3++97-/ 0 9=?39+34,-/ "5 &"5 %"5 " &" %" $" #" !"" 6 9,)D-/ 8 -,*=,74-/ $"5 #"5 !""5 I1 E5 )5#(+-65+($% 566'95%.' 5 "+" &(4%"' 6' !"" #" $" %" &" " ' $ Y)37 !Z%%/ 0 # :23 !Z%[/ "5 &"5 %"5 " &" %" $" #" !"" 6 :23 !Z%[/ 8 Z :23 !Z%[/ $"5 #"5 !""5 G1 =B5%+ 0GIG< 6NR%($% .' D:5%95*K &' %$995(+ !"" #" $" %" &" " ' +, 627E+2;,-?/ 0 +, W29-/ "5 &"5 %"5 " &" %" $" #" !"" 6 +AO7;,/ 8 +, H9J2):, ;, >32:/ $"5 #"5 !""5 0S1 R% .'& 9$-B'9'%+& .' 4-"*(665 '% ,$6$9M(' &' %$99' !"" #" $" %" &" " ' +,- 0?9)27-/ 0 '(9) S3;2+/ "5 &"5 %"5 " &" %" $" #" !"" 6 +, ]2:2-/ 8 +,- ^2*C-/ $"5 #"5 !""5 001 E-.T(4 B5% U''+/$B'% 5 ")*(+ 6N$#"*5 !"" #" $" %" &" " ' ^3;,+39/ 0 W, H93 >9+,3+/ "5 &"5 %"5 " &" %" $" #" !"" 6 W,- 79C,- ;, ^3E2*9/ 8 R,-4 >3;, >49*J/ $"5 #"5 !""5 071 A$-& 5(9'*($%& +$-& "B(+'* .' *'%)$%+*'* 6' 9$(%.*' #*$M6V9' !"" #" $" %" &" " ' =1C)73,*/ 0 =1C)73L*,/ "5 &"5 %"5 " &" %" $" #" !"" 6 =1C)731/ 8 =1C)7323*,/ $"5 #"5 !""5 0?1 E' B$6+ '&+ 6N-%(+" .' !"" #" $" %" &" " ' C9)*274 1+,C4*3.),/ 0 *1-3-427C, 1+,C4*3.),/ "5 &"5 %"5 " &" %" $" #" !"" 6 4,7-397 1+,C4*3.),/ 8 C2=2C341 1+,C4*3.),/ $"5 #"5 !""5 0C1 85%& 6' 9$%.' 9".()56< O1!1D1 &(4%(>(' (954'*(' !"" #" $" %" &" " ' =2* *2;39E*2=?3, :1;3C2+,/ 0 =9)* *,C?,*C?,- :1;3C2+,-/ "5 &"5 %"5 " &" %" $" #" !"" 6 =2* *2J97- :2E7143.),-// 8 =2* *1-9727C, :2E7143.),/ $"5 #"5 !""5 0J1 E' #5&&54' .N-% )$*#& .' 6N"+5+ &$6(.' K 6N"+5+ 45W'-L &5%& #5&&'* #5* 6N"+5+ 6(;-(.' '&+ !"" #" $" %" &" " ' +A1()++34397/ 0 +2 -)(+3:24397/ "5 &"5 %"5 " &" %" $" #" !"" 6 +A1K2=9*24397/ 8 +2 K2=9*3-24397/ $"5 #"5 !""5 0H1 E5 B56'-* .- #3 .- ,$)5 ,$65 '&+ .' !"" #" $" %" &" " ' &_`/ 0 [_`/ "5 &"5 %"5 " &" %" $" #" !"" 6 %_[/ 8 $_Z/ $"5 #"5 !""5 0Q1 E5 #'(%+-*' &-* +$(6' 65 #6-& )"6VM*' .- D-&"' .- E$-B*' '&+ !"" #" $" %" &" " ' +2 W3(,*41 E)3;274 +, =,)=+, ;ab)EL7, 8,+2C*93@ / 0 +2 <9C97;, ;, W1972*; 8, c37C3/ "5 &"5 %"5 " &" %" $" #" !"" 6 O:=*,--397 -9+,3+ +,K274 ;, 0+2);, P97,4/ 8 +2 c17)- ;, P3+9/ $"5 #"5 !""5 0I1 A$-& 5B$%& .'& '-*$& '% #$)/' .'#-(& !"" #" $" %" &" " ' !ZZZ/ 0 &""!/ "5 &"5 %"5 " &" %" $" #" !"" 6 &"""/ 8 &""&/ $"5 #"5 !""5 0G1 X$6>45%4 =95.'-& D$W5*+< %" K Y56WM$-*4 '% 0QJH< '&+ .' %5+($%56(+" !"" #" $" %" &" " ' '++,:27;,/ 0 ]97E*93-,/ "5 &"5 %"5 " &" %" $" #" !"" 6 ')4*3C?3,77,/ 8 d9+9723-,/ $"5 #"5 !""5 7S1 E' &-))'&&'-* &-* 6' +*Z%' .' [/(6(##' 0'* '&+ !"" #" $" %" &" " ' 0?2*+,- c/ 0 d1=37 +, 6*,D/ "5 &"5 %"5 " &" %" $" #" !"" 6 W9)3- cO/ 8 d?3+3==, OO ')E)-4,/ $"5 #"5 !""5 S9)- K9)- 37K3497- Q *1=97;*, Q +$-+'& +,- .),-4397-/ d9)* C?2.), .),-4397_ ,749)*,N +2 *1=97-, .)3 K9)- -,:(+, C9**,C4,/ R%' &'-6' #*$#$&(+($% '&+ )$**')+'1 ,749)*,N K94*, ;,E*1 ;, C,*434);, .), K94*, *1=97-, ,-4 C9**,C4,/ >3 K9)- 7, ;977,N =2- ;, ;,E*1 ;, C,*434);,_ K94*, *1=97-, -,*2 C97-3;1*1, C9::, 37C9**,C4,/ 62*L:, e !"#$%&' )$**')+' ]0 !"#$%&' (%)$**')+' S<7J P9(&&($% .N-%' *"#$%&' $- .- .'4*" .' )'*+(+-.' S<J 15 0 2 0 0 6 750 1 0 2 2 0 0 80 2000 80 40 0 0 x 100 = 01 x 80 = 80 1220 0 40 0 0 480 700 7 x 100 = 700 40 81 40<50 : +1 81>50 : +1 200 ÷ 5 = 50 1220 ÷ 15 = 81 dimanche 13 décembre 2015
  32. 32. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 RI:-0,25 RC:+1 Omis:-0,5 13,75 Note et indices 15 !"#$%&'& (%)$**')+'& ,'*+(+-.' )/$(&(' !"#$%&'& )$**')+'& 01 2()+$* 3-4$ '&+ 5&&$)(" 5- )$-*5%+ 6(++"*5(*' !"" #" $" %" &" " ' ()*+,-.),/ 0 -)**12+3-4,/ "5 &"5 %"5 " &" %" $" #" !"" 6 724)*2+3-4,/ 8 *9:2743.),/ $"5 #"5 !""5 71 85%& 65 9:+/$6$4(' 4*');-'< =%+(4$%' '&+ 65 >(66' !"" #" $" %" &" " ' ;, <)=34,*/ 0 ;) >=?37@/ "5 &"5 %"5 " &" %" $" #" !"" 6 ;AB;3=,/ 8 ;A':24,*2-)/ $"5 #"5 !""5 ?1 @"*5*. .' A'*B56 5 &$->>'*+ !"" #" $" %" &" " ' ;, C*3-,- ;, D9+3,/ 0 ;, +2 E*3==, F ,-=2E79+, G/ "5 &"5 %"5 " &" %" $" #" !"" 6 ;) >H'> I-J7;*9:, *,-=3*2493*, 23E) -1KL*,M/ 8 ;, -C?3N9=?*173,/ $"5 #"5 !""5 C1 D5*+(% E-+/'* F(%4 5 "+" 5&&5&&(%" '% 0GHI !"" #" $" %" &" " ' 2)@ O;,- ;, P2*-/ 0 Q P,:=?3-/ "5 &"5 %"5 " &" %" $" #" !"" 6 Q 82++2-/ 8 Q R2-?37E497/ $"5 #"5 !""5 J1 E5 .(B(&($% '&+ -%' 6$( .' )$9#$&(+($% ;-( K .'-L %$9M*'& 5&&$)(' 6' #*$.-(+ .- #*'9('* #5* 6N(%B'*&' .- &')$%.1 E' &')$%. '&+ %$99" !"" #" $" %" &" " ' +, ;3K3;,7;,/ 0 +, =*9;)34/ "5 &"5 %"5 " &" %" $" #" !"" 6 +, .)943,74/ 8 +, ;179:3724,)*/ $"5 #"5 !""5 H1 265.(9(* O6(+)/ P-6(5%$B '&+ #6-& )$%%- &$-& 6' %$9 .' !"" #" $" %" &" " ' S3T342 >,*E),U,K34C? V?*9)C?4C?,K/ 0 W1737,/ "5 &"5 %"5 " &" %" $" #" !"" 6 P3T?2U+ >,*E),U,K34C? X9*(24C?,K/ 8 >42+37,/ $"5 #"5 !""5 Q1 R% &'*#'%+ $#/($#/54' 95%4' .'& !"" #" $" %" &" " ' 93-3++97-/ 0 9=?39+34,-/ "5 &"5 %"5 " &" %" $" #" !"" 6 9,)D-/ 8 -,*=,74-/ $"5 #"5 !""5 I1 E5 )5#(+-65+($% 566'95%.' 5 "+" &(4%"' 6' !"" #" $" %" &" " ' $ Y)37 !Z%%/ 0 # :23 !Z%[/ "5 &"5 %"5 " &" %" $" #" !"" 6 :23 !Z%[/ 8 Z :23 !Z%[/ $"5 #"5 !""5 G1 =B5%+ 0GIG< 6NR%($% .' D:5%95*K &' %$995(+ !"" #" $" %" &" " ' +, 627E+2;,-?/ 0 +, W29-/ "5 &"5 %"5 " &" %" $" #" !"" 6 +AO7;,/ 8 +, H9J2):, ;, >32:/ $"5 #"5 !""5 0S1 R% .'& 9$-B'9'%+& .' 4-"*(665 '% ,$6$9M(' &' %$99' !"" #" $" %" &" " ' +,- 0?9)27-/ 0 '(9) S3;2+/ "5 &"5 %"5 " &" %" $" #" !"" 6 +, ]2:2-/ 8 +,- ^2*C-/ $"5 #"5 !""5 001 E-.T(4 B5% U''+/$B'% 5 ")*(+ 6N$#"*5 !"" #" $" %" &" " ' ^3;,+39/ 0 W, H93 >9+,3+/ "5 &"5 %"5 " &" %" $" #" !"" 6 W,- 79C,- ;, ^3E2*9/ 8 R,-4 >3;, >49*J/ $"5 #"5 !""5 071 A$-& 5(9'*($%& +$-& "B(+'* .' *'%)$%+*'* 6' 9$(%.*' #*$M6V9' !"" #" $" %" &" " ' =1C)73,*/ 0 =1C)73L*,/ "5 &"5 %"5 " &" %" $" #" !"" 6 =1C)731/ 8 =1C)7323*,/ $"5 #"5 !""5 0?1 E' B$6+ '&+ 6N-%(+" .' !"" #" $" %" &" " ' C9)*274 1+,C4*3.),/ 0 *1-3-427C, 1+,C4*3.),/ "5 &"5 %"5 " &" %" $" #" !"" 6 4,7-397 1+,C4*3.),/ 8 C2=2C341 1+,C4*3.),/ $"5 #"5 !""5 0C1 85%& 6' 9$%.' 9".()56< O1!1D1 &(4%(>(' (954'*(' !"" #" $" %" &" " ' =2* *2;39E*2=?3, :1;3C2+,/ 0 =9)* *,C?,*C?,- :1;3C2+,-/ "5 &"5 %"5 " &" %" $" #" !"" 6 =2* *2J97- :2E7143.),-// 8 =2* *1-9727C, :2E7143.),/ $"5 #"5 !""5 0J1 E' #5&&54' .N-% )$*#& .' 6N"+5+ &$6(.' K 6N"+5+ 45W'-L &5%& #5&&'* #5* 6N"+5+ 6(;-(.' '&+ !"" #" $" %" &" " ' +A1()++34397/ 0 +2 -)(+3:24397/ "5 &"5 %"5 " &" %" $" #" !"" 6 +A1K2=9*24397/ 8 +2 K2=9*3-24397/ $"5 #"5 !""5 0H1 E5 B56'-* .- #3 .- ,$)5 ,$65 '&+ .' !"" #" $" %" &" " ' &_`/ 0 [_`/ "5 &"5 %"5 " &" %" $" #" !"" 6 %_[/ 8 $_Z/ $"5 #"5 !""5 0Q1 E5 #'(%+-*' &-* +$(6' 65 #6-& )"6VM*' .- D-&"' .- E$-B*' '&+ !"" #" $" %" &" " ' +2 W3(,*41 E)3;274 +, =,)=+, ;ab)EL7, 8,+2C*93@ / 0 +2 <9C97;, ;, W1972*; 8, c37C3/ "5 &"5 %"5 " &" %" $" #" !"" 6 O:=*,--397 -9+,3+ +,K274 ;, 0+2);, P97,4/ 8 +2 c17)- ;, P3+9/ $"5 #"5 !""5 0I1 A$-& 5B$%& .'& '-*$& '% #$)/' .'#-(& !"" #" $" %" &" " ' !ZZZ/ 0 &""!/ "5 &"5 %"5 " &" %" $" #" !"" 6 &"""/ 8 &""&/ $"5 #"5 !""5 0G1 X$6>45%4 =95.'-& D$W5*+< %" K Y56WM$-*4 '% 0QJH< '&+ .' %5+($%56(+" !"" #" $" %" &" " ' '++,:27;,/ 0 ]97E*93-,/ "5 &"5 %"5 " &" %" $" #" !"" 6 ')4*3C?3,77,/ 8 d9+9723-,/ $"5 #"5 !""5 7S1 E' &-))'&&'-* &-* 6' +*Z%' .' [/(6(##' 0'* '&+ !"" #" $" %" &" " ' 0?2*+,- c/ 0 d1=37 +, 6*,D/ "5 &"5 %"5 " &" %" $" #" !"" 6 W9)3- cO/ 8 d?3+3==, OO ')E)-4,/ $"5 #"5 !""5 S9)- K9)- 37K3497- Q *1=97;*, Q +$-+'& +,- .),-4397-/ d9)* C?2.), .),-4397_ ,749)*,N +2 *1=97-, .)3 K9)- -,:(+, C9**,C4,/ R%' &'-6' #*$#$&(+($% '&+ )$**')+'1 ,749)*,N K94*, ;,E*1 ;, C,*434);, .), K94*, *1=97-, ,-4 C9**,C4,/ >3 K9)- 7, ;977,N =2- ;, ;,E*1 ;, C,*434);,_ K94*, *1=97-, -,*2 C97-3;1*1, C9::, 37C9**,C4,/ 62*L:, e !"#$%&' )$**')+' ]0 !"#$%&' (%)$**')+' S<7J P9(&&($% .N-%' *"#$%&' $- .- .'4*" .' )'*+(+-.' S<J 0 2 0 0 6 750 1 0 2 2 0 2000 80 0 80 40 0 1220 0 40 0 0 480 700 40 81 40<50 : +1 81>50 : +1 15,75 +1 +1 -1,25 +15 dimanche 13 décembre 2015
  33. 33. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 33 Note et indices Tarif Réponse Correcte (RC) = +1 Réponse Incorrecte (RI) = - 0,25 Omission = - 0,5 Les degrés de certitude n’influencent pas le score Castaigne, 2004 dimanche 13 décembre 2015
  34. 34. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 RI:-0,25 RC:+1 Omis:-0,5 Note et indices FAUX OK 7 0 0 1 0 3 3132 2 3 1 4 1 -3,25 +7 3,75 dimanche 13 décembre 2015
  35. 35. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Note et indices 0 0 1 0 3 32 2 3 1 4 1 3,75 dʼaprès Hunt & Furustig (1989); Hunt (2003); Jans & Leclercq (1999); Leclercq (2003) dimanche 13 décembre 2015
  36. 36. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Plan Introduction Activité Mise en commun Pause Activité Mise en commun Conclusion 36 "Escheresque Metacognition" 1998, Timothy R. Haldane dimanche 13 décembre 2015
  37. 37. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 4 règles d’utilisation DC 1. Une consigne probabiliste 2. Un barème respectant la théorie des décisions 3. Un feedback métacognitif (graphes, indices,…) 4. un entraînement des étudiants 37 dimanche 13 décembre 2015
  38. 38. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Entraînement 38 Test-Wiseness Examen “blanc” Banque de questions en ligne 0 5 10 20 30 40 50 Samson, 1985 Berliner, 1986 dimanche 13 décembre 2015
  39. 39. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Entraînement 39 Castaigne et Gilles, 2001 dimanche 13 décembre 2015
  40. 40. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Plan Introduction Activité Mise en commun Pause Activité Mise en commun Conclusion 40 "L'Angélus" 1858, Jean-François Millet Courant Réaliste Huile sur toile, 55 × 66 cm Musée d'Orsay, Paris dimanche 13 décembre 2015
  41. 41. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 41 Métacognitionrégulatrice(Noël1991) Castaigne, 2005 dimanche 13 décembre 2015
  42. 42. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2015 Bruno De Finetti 42 “It is only subjective probability that can give an objective meaning to every response and scoring method.” (p. 111) « Methods of discriminating levels of partial knowledge concerning a test item » Brit. Journ. of Math. & Statist. Psychol., 1965, 18, 87-123. (1906-1985) dimanche 13 décembre 2015
  43. 43. Maslow, A. H. (1943). A theory of human motivation. Psychological review, 50(4), 370. Castaigne, J.-L. (2006). Excel spreadsheet to support veterinary student’s metacognition. Presented at the Second bi-annual Conference of EARLI SIG Metacognition, Cambridge, United Kingdom. Retrieved from http://orbi.ulg.ac.be/handle/2268/23434 Castaigne, J.-L. (2005). Recherches récentes sur l’utilisation des Degrés de Certitude Recherches récentes sur l’utilisation des Degrés de Certitude : Directions de recherches dans le calcul des notes liant exactitude et réalisme. In Actes du 18ème colloque international de l’ADMEE : Comment évaluer ? Outils, dispositifs et acteurs. Reims, France. Retrieved from http://orbi.ulg.ac.be/handle/2268/23416 Shuford, E., Albert, A., & Massengill, H. (1966). Admissible probability measurement procedures. Psychometrika, 31(2), 125–145. Leclercq, D. (1975). L’évaluation subjective de la probabilité d’exactitude des réponses en situation pédagogique (Doctorat en Sciences de l’Education). Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/10119 Leclercq, D., & Poumay, M. (2003). Trois nouveaux indices de réalisme dans l’auto-évaluation des performances. Cahiers du Service de Pédagogie Expérimentale (SPE), 15-16. Retrieved from http://orbi.ulg.ac.be/handle/2268/27518 Castaigne, J.-L. (2005). Un outil d’autoréflexion cognitive et métacognitive pour l’amélioration des performance. Presented at the Journée d’étude AIPU- CFB -- AdAPTE : L’accompagnement pédagogique : Un outil pour favoriser la réussite dans l’enseignement supérieur., Gembloux, Belgique. Retrieved from http://orbi.ulg.ac.be/handle/2268/23418 Brown, T. A., & Shuford, E. H. (1973). Quantifying uncertainty into numerical probabilities for the reporting of intelligence. DTIC Document. Retrieved from http://oai.dtic.mil/oai/oai?verb=getRecord&metadataPrefix=html&identifier=AD0777063 Leclercq, D., & Gilles, J.-L. (1994). GUESS, un logiciel pour s’entraîner à l’auto-estimation de sa compétence cognitive. In QCM et questionnaires fermés, actes du 3ème colloque international ESIEE (pp. 137–158). Marne-la-Vallée, France: Université Paris 7 Denis Diderot, Laboratoire d’Ingénierie Didactique. Retrieved from http://orbi.ulg.ac.be/handle/2268/8953 Hunt, D. P., & Furustig, H. (1989). Being informed, being misinformed and disinformation: A human learning and performance approach. National Defence Research Institute, Technical Report PM, 56(238), 1–17. Hunt, D. P. (2003). The concept of knowledge and how to measure it. Journal of Intellectual Capital, 4(1), 100–113. Jans, V., & Leclercq, D. (1999). Mesurer l’effet de l’apprentissage à l’aide de l’analyse spectrale des performances. In L’évaluation des compétences et des processus cognitifs: modèles, pratiques et contextes (pp. 303–317). Bruxelles, Belgique: De Boeck Université. Retrieved from http://orbi.ulg.ac.be/ handle/2268/27553 Leclercq, D. (2003). Diagnostic cognitif et métacognitif au seuil de l’Université : le projet Mohican mené par les 9 universités de la Communauté française Wallonie-Bruxelles. Liège, Belgique: Editions de l’Université de Liège. Retrieved from http://orbi.ulg.ac.be/handle/2268/17837 Samson, G. E. (1985). Effects of Training in Test-Taking Skills on Achievement Test Performance: A Quantitative Synthesis. The Journal of Educational Research, 78(5), 261–266. http://doi.org/10.1080/00220671.1985.10885613 Berliner, D. C. (1986). In pursuit of the expert pedagogue. Educational Researcher, 5–13. Castaigne, J.-L., Gilles, J.-L., & Hanzen, C. (2001). Application du cycle gestion qualité SMART des tests pédagogiques au cours d’obstétrique et pathologie de la reproduction des ruminants, équidés et porcs. In Actes du 18e congrès de l’AIPU : Les stratégies de réussite dans l’enseignement supérieur. Dakar, Sénégal: Université Cheikh Anta Diop. Retrieved from http://orbi.ulg.ac.be/handle/2268/23014 Castaigne, J.-L. (2005). Directions de recherches dans le calcul des notes liant exactitude et réalisme: illustration à travers une démarche en formation à distance. In Actes du 22e congrès de l’association internationale de pédagogie universitaire (AIPU) : L’enseignement supérieur du {XXIe} siècle : de nouveaux défis à relever. Genève, Switzerland. Retrieved from http://orbi.ulg.ac.be/handle/2268/23420 Finetti, B. de. (1965). Methods for Discriminating Levels of Partial Knowledge Concerning a Test Item. British Journal of Mathematical and Statistical Psychology, 18(1), 87–123. http://doi.org/10.1111/j.2044-8317.1965.tb00695.x dimanche 13 décembre 2015
  44. 44. A!er plus loin avec les QCM grâce aux degrés de certitude, Grenoble INP, Castaigne, 2014 Jean-Loup Castaigne, 04 78 79 43 24 jean-loup.castaigne@lyon.archi.fr Yvan Pigeonnat 04 76 82 82 56 yvan.pigeonnat@grenoble-inp.fr Mis à disposition selon les termes de la licence Creative Commons Paternité - Pas d'Utilisation Commerciale - Pas de Modification. 44 dimanche 13 décembre 2015

×