Le document aborde les limitations des MOOC en matière d'évaluation des compétences et souligne l'importance de l'apprentissage adaptatif. Il examine différentes méthodes d'évaluation, y compris l'évaluation par les pairs et l'évaluation automatisée, tout en critiquant leur efficacité. Enfin, le texte se projette sur l'évolution des MOOC vers un modèle d'apprentissage adaptatif, intégrant des technologies modernes et des dynamiques collaboratives.

1. Peut-on vraiment évaluer la montée en compétences dans les MOOC ?
Une apologie de l’apprentissage adaptatif
Matthieu Cisel – Laboratoire STEF – ENS Cachan

2. • Limitations des MOOC sur le plan de l’évaluation
• Définitions : de l’enseignement programmé au CAT
• L’essor de l’apprentissage adaptatif
• Prospective : vers une métamorphose des MOOC ?
Introduction

3. Limitations des MOOC
Session (équipe présente)
Archives
ouvertes
Archives
fermées
Session (équipe
présente)
o Contrainte de la synchronicité
o Difficulté d’évaluer les compétences acquises
• Evaluation par les pairs : problème de l’expertise des évaluateurs
• Evaluation automatisée : limites des Quizz et des correcteurs automatisés
• Quid de l’auto-évaluation ?

4. Limitations des MOOC
• Comment s’assurer que l’apprenant saura refaire l’activité ?
• Pas de renforcement des connaissances/compétences acquises
• Exercices d’évaluation inadaptés au niveau individuel
• Pas de liens entre résultats aux évaluations et séquence des contenus
Dans les MOOC, l’évaluation mesure davantage l’implication que la compétence

5. L’enseignement programmé
• Behaviorisme, Skinner, années 1960
• Deux concepts clés :
• Le renforcement par conditionnement opérant
• Les branchements (le livre dont vous êtes le héros)
• Pas d’inférence sur les connaissances de l’étudiant (i.e. pas de modèle étudiant)
• Trajets prédéterminés par l’enseignant

6. L’enseignement programmé
De la machine à apprendre de Skinner à Smart Sparrow
Branchement certes, mais pas de renforcement !

8. Spaced Repetition Systems et courbes d’oubli

9. Spaced Repetition Systems
Pure players Intégrés
Renforcement certes, mais séquence linéaire
Skinner, toujours pas implémenté en 2014

10. Question 1
Réponse juste
Réponse fausse
Niveau de difficulté croissant
Niveau de difficulté décroissant
Question 2a
Question 2b
Réponse juste
Réponse fausse
Réponse juste
Réponse fausse
Question 3a
Question 3b
Question 3c
Question 3d
Computerized Adaptive Testing

11. Théorie de la Réponse à l’Item
• IRT : théorie derrière le CAT (depuis les années 50, Modèle de Rasch)
• CAT : Logique des tests de positionnement
• Meilleur pouvoir de discrimination (cf. concours)
• Vers le multiple-IRT : estimation multi-axiale de la compétence

12. Systèmes Tuteurs Intelligents et tuteurs cognitifs
• Le modèle de domaine (Knowledge graph)
• Dessiner un graphe à épistèmes, pas toujours simple
• Inférence et modèle étudiant
• Modèle d’expertise partielle
• Vs. Modèle de déviation (modéliser l’incompétence)
• Modèles de tuteur : séquençage des tâches et ressources sur la base du modèle étudiant

13. Systèmes Tuteurs Intelligents et tuteurs cognitifs
• Prototypes de laboratoire depuis les années 70, buzz dans les années 1990 (ex : Andes)
• Fondation en 2008, levées de fonds successives (105 millions $)

14. Historique de l’apprentissage adaptatif

15. Historique de l’apprentissage adaptatif

16. Historique de l’apprentissage adaptatif

17. Paysage de l’apprentissage adaptatif

18. • Format actuel des MOOC
Session (équipe
présente)
Archives
ouvertes
Archives
fermées
• Quel format pour les MOOC 2.0 ?
Session (équipe
présente)
Cours adaptatif + forums + OCW +Evaluations par les pairs
• Quid de l’apprentissage adaptatif collectif ?
MOOC et apprentissage adaptatif

19. Quelles implications pour l’avenir ?
• Alliance de startups edtech (Knewton, etc) avec des éditeurs
• Editeurs de contenus, qui deviennent éditeurs d’applications et de formations
• Vers un établissement de monopoles privés ? (barrière à l’entrée, etc)