Tsaap-Notes - Développer et valoriser l’activité des
étudiants pendant le cours pour la constitution de
feedback dans les ...
Le contexte
• Évaluations informatisées
• Tests en ligne
• Feedback
• Tsaap-Notes
2
Le défi
Qualifier les contributions des étudiants pour la
constitution de feedback de qualité dans les tests
d’auto-évaluati...
Les bénéfices des tests en ligne
• Mise en oeuvre d’évaluations formatives fréquentes
[12] [10]
• Mise à disposition du fee...
Limites du feedback dans les tests en ligne
• Saisi par l’enseignant
- Dans le dialecte de l’enseignant
- Consommateur de ...
Tsaap-Notes [16]
Micro-blogging, scope et fragment pour prise de notes éventuellement collaborative
6
Tsaap-Notes [16]
• Cours en face à face
• Système de vote interactif
7
• Augmentation de la prise de notes
par les étudian...
L’approche « notes as feedback » [16]
• Recycler les questions posées en cours
• Recycler les notes prises par les étudian...
Comment ?
9
Dans Moodle
10
Bénéfices
• Mise en oeuvre des tests d’auto-évaluation en ligne
facilitée
• Feedback produit dans le contexte du cours, dan...
Les limites
• Aucun filtre sur les contributions des étudiants pour
une question données => limite qualitative
• Trop peu d...
Vers le dispositif NP-Q
• Pourquoi les étudiants participent massivement au
sondage interactif (80 à 90% en moyenne) et
be...
Le succès du sondage interactif
• Le sondage interactif est un outil d’évaluation
formative
• Il fournit un feedback imméd...
Comment intégrer la rédaction d’explications dans un processus
procurant un feedback immédiat à chaque étudiant ?
Le dispositif NP-Q
• Dispositif de soumission d’une réponse en N
phases
• Feedback immédiat
• Évaluation des contributions...
La phase 1
17
La phase 2
18
La phase 3
19
La vue finale
20
Dans Moodle
21
Focus sur l’algorithme d’association de réponses
22
a1
[ 100; 2; 92 ]
a2
[ 0; 3 ; 24 ]
a3
[ 100; 3; 0 ]
a4
[ 100; 4 ; 65 ]...
Première expérimentation
• 2 groupes d’étudiants
• Master 1 Informatique
• Cours « Développement collaboratif et logiciels...
Taux de participation
24
Impact du conflit socio-cognitif
25
L’évaluation par les pairs
26
Conclusion
• Passage d’un processus de recyclage non
qualifiant à un processus qualifiant
• Taux de participation à la tâche...
Perspectives
• Traitement des évaluations « défaillantes »
• Traitement des questions ouvertes : comment
associer les répo...
Bibliographie
1. Biggs, J. and Tang, C.: Teaching for quality learning at university. (2011).
2. Black, P. and Wiliam, D.:...
Prochain SlideShare
Chargement dans…5
×

PédagoTICE 2015

986 vues

Publié le

Tsaap-Notes - Développer et valoriser l’activité des étudiants pendant le cours pour la constitution de feedback dans les évaluations informatisées

Nos travaux précédents ont introduit la plateforme Tsaap-Notes dédiée à la génération semi-automatique de questionnaires à choix multiples pourvus de feedbacks en recyclant (1) les questions interactives posées pendant le cours par l’enseignant, et (2) les notes prises par les étudiants pour constituer les feedbacks présentés aux étudiants durant les tests. Dans cet article nous présentons un nouveau dispositif (NP-Q) qui vise à augmenter considérablement le nombre de contributions des étudiants afin d’améliorer de manière significative la qualité des feedbacks restitués au sein des tests générés par Tsaap-Notes. Ce dispositif repose sur le découpage en plusieurs phases du processus de soumission d’une réponse à une question, ainsi que sur un algorithme d’identification et de filtrage des contributions à inclure dans les tests. Notre approche a été validée par une première expérimentation sur un groupe de 51 étudiants inscrits en Master Informatique.

Publié dans : Formation
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
986
Sur SlideShare
0
Issues des intégrations
0
Intégrations
280
Actions
Partages
0
Téléchargements
7
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

PédagoTICE 2015

  1. 1. Tsaap-Notes - Développer et valoriser l’activité des étudiants pendant le cours pour la constitution de feedback dans les évaluations informatisées Franck Silvestre, Julien Broisin IRIT, Université Toulouse III, France Pedagotice 2015 Juin 2015 1
  2. 2. Le contexte • Évaluations informatisées • Tests en ligne • Feedback • Tsaap-Notes 2
  3. 3. Le défi Qualifier les contributions des étudiants pour la constitution de feedback de qualité dans les tests d’auto-évaluation 3
  4. 4. Les bénéfices des tests en ligne • Mise en oeuvre d’évaluations formatives fréquentes [12] [10] • Mise à disposition du feedback aux apprenants - n’importe quand, - depuis n’importe où, - aussi souvent qu’ils le souhaitent [11] 4 La qualité du feedback est une clé de succès de l’apprentissage [2][7][8]
  5. 5. Limites du feedback dans les tests en ligne • Saisi par l’enseignant - Dans le dialecte de l’enseignant - Consommateur de temps • Identique pour tous les apprenants 5
  6. 6. Tsaap-Notes [16] Micro-blogging, scope et fragment pour prise de notes éventuellement collaborative 6
  7. 7. Tsaap-Notes [16] • Cours en face à face • Système de vote interactif 7 • Augmentation de la prise de notes par les étudiants sur les questions posées
  8. 8. L’approche « notes as feedback » [16] • Recycler les questions posées en cours • Recycler les notes prises par les étudiants • Pour générer des tests d’auto-évaluation avec feedback provenant des notes des étudiants 8 Semi-automatic
  9. 9. Comment ? 9
  10. 10. Dans Moodle 10
  11. 11. Bénéfices • Mise en oeuvre des tests d’auto-évaluation en ligne facilitée • Feedback produit dans le contexte du cours, dans le dialecte des étudiants • Valorisation des productions des étudiants • Résultats premières expérimentations positifs [15] 11
  12. 12. Les limites • Aucun filtre sur les contributions des étudiants pour une question données => limite qualitative • Trop peu d’étudiants participent à la tâche de saisie d’une explication => limite quantitative 12
  13. 13. Vers le dispositif NP-Q • Pourquoi les étudiants participent massivement au sondage interactif (80 à 90% en moyenne) et beaucoup moins à la rédaction d’explications (25% dans le meilleur des cas) ? 13
  14. 14. Le succès du sondage interactif • Le sondage interactif est un outil d’évaluation formative • Il fournit un feedback immédiat à chaque étudiant • Impacts positifs sur l’apprentissage [1,4,6,13,14,18] 14
  15. 15. Comment intégrer la rédaction d’explications dans un processus procurant un feedback immédiat à chaque étudiant ?
  16. 16. Le dispositif NP-Q • Dispositif de soumission d’une réponse en N phases • Feedback immédiat • Évaluation des contributions par les pairs • Sélection des contributions les mieux notées comme feedback des tests d’auto-évaluation 16
  17. 17. La phase 1 17
  18. 18. La phase 2 18
  19. 19. La phase 3 19
  20. 20. La vue finale 20
  21. 21. Dans Moodle 21
  22. 22. Focus sur l’algorithme d’association de réponses 22 a1 [ 100; 2; 92 ] a2 [ 0; 3 ; 24 ] a3 [ 100; 3; 0 ] a4 [ 100; 4 ; 65 ] a5 [100; 3 ; 86 ] a6 [ 40; 2 ; 153 ] a7 [ 65; 1 ; 0 ] a8 [ 100;2 ; 38 ] a1 [ 100; 2 ; 92 ] a4 [ 100; 4 ; 65 ] a5 [ 100; 3 ; 86 ] a8 [ 100; 2 ; 38 ] a2 [0; 3 ; 24 ] a6 [40; 2 ; 153 ] A AcAc a1 [ 100; 2 ; 92 ] a3 [ 100; 3; 0 ] a4 [ 100; 4; 65 ] a5 [ 100; 3 ; 86 ] a8 [ 100; 2 ; 38 ] a2 [0; 3 ; 24 ] a6 [40; 2 ; 153 ] a7 [ 65; 1 ; 0 ] CcCc a1 [ 100; 2 ; 92 ] a4 [100; 4 ; 65 ] a5 [ 100; 3 ; 86 ] a8 [100; 2 ; 38 ] a2 [0; 3 ; 24 ] a6 [ 2 ; 153 ] Ac a1 [ 100; 2 ; 92 ] a3 [ 100; 3; 0 ] a4 [ 100; 4 ; 65 ] a5 [ 100; 3 ; 86 ] a8 [ 100; 2 ; 38 ] a2 [0; 3 ; 24 ] a6 [40; 2 ; 153 ] a7 [65; 1 ; 0 ] Cc Ac Cc 2 1 fg
  23. 23. Première expérimentation • 2 groupes d’étudiants • Master 1 Informatique • Cours « Développement collaboratif et logiciels libres » (DCLL) et « Méthodes agiles » (MA) • 3 séances de 2 heures • 5 questions à soumission en N phases 23
  24. 24. Taux de participation 24
  25. 25. Impact du conflit socio-cognitif 25
  26. 26. L’évaluation par les pairs 26
  27. 27. Conclusion • Passage d’un processus de recyclage non qualifiant à un processus qualifiant • Taux de participation à la tâche de rédaction se rapproche sensiblement du taux de participation aux sondages interactifs • Premiers résultats très encourageants à confirmer par expérimentations complémentaires 27
  28. 28. Perspectives • Traitement des évaluations « défaillantes » • Traitement des questions ouvertes : comment associer les réponses dans ce contexte ? • Passage à l’échelle : grands amphithéâtres, MOOC 28
  29. 29. Bibliographie 1. Biggs, J. and Tang, C.: Teaching for quality learning at university. (2011). 2. Black, P. and Wiliam, D.: Assessment and Classroom Learning, Assess. Educ. Princ. Policy Pract., vol. 5, no. 1, pp. 7–74, Mar. 1998. 3. Boud, D., Cohen, R., and Sampson, J.: Peer learning in higher education: Learning from and with each other, (2014). 4. Caldwell, J.: Clickers in the large classroom: Current research and best-practice tips, CBELife Sci. Educ., (2007). 5. Dochy, F., Segers, M., and Sluijsmans, D.: The use of self-, peer and co-assessment in higher education: A review, Stud. High. Educ., (1999). 6. Gauci, S. and Dantas, A.: Promoting student-centered active learning in lectures with a personal response system, Adv. …, (2009). 7. Hattie, J. and Jaeger, R.: Assessment and classroom learning: A deductive approach, Assess. Educ., (1998). 8. Higgins, R., Hartley, P., and Skelton, A.: The conscientious consumer: reconsidering the role of assessment feedback in student learning, Stud. High. Educ., vol. 27, no. 1, (2002). 9. IMS Global Learning Consortium: IMS Question & Test Interoperability Specification. (2012). 10. Miller, T.: Formative computer-based assessment in higher education: The effectiveness of feedback in supporting student learning, Assess. Eval. High. Educ., (2009). 11. Nicol, D. and Macfarlane-Dick, D.: Formative assessment and self-regulated learning : A model and seven principles of good feedback practice ., Stud. High. Educ., (2006) 1–19. 12. Ricketts, C. and Wilks, S.: Improving student performance through computer-based assessment: Insights from recent research, Assess. Eval. High. Educ., vol. 27, no. 5, (2002). 13. Scouller, K.: The influence of assessment method on students’ learning approaches: Multiple choice question examination versus assignment essay, High. Educ., (1998). 14. Shaffer, D. and Collura, M.: Evaluating the effectiveness of a personal response system in the classroom, Teach. Psychol., (2009). 15. Silvestre, F., Vidal, P., and Broisin, J.: Génération semi-automatique de tests d’auto- évaluation pourvus de feedback résultant de la prise de notes collaborative, conférence des Technologies de l'Information et de la Communication pour l'Enseignement, (2014). 16. Silvestre, F., Vidal, P., and Broisin, J.: Tsaap-Notes--An Open Micro-blogging Tool for Collaborative Notetaking during Face-to-Face Lectures, International Conference on Advanced Learning Technologies (ICALT), (2014). 17. Topping, K.: Peer assessment between students in colleges and universities, Rev. Educ. Res., (1998).

×