Sémantron: Évaluation de compétences par des questions
ouvertes dans un CLOM
par Claude Coulombe
candidat au doctorat en s...
C.Coulombe - Sémantron
Source image: http://www.i-programmer.info/images/stories/prof/training/TrackingMOOC/classcentral.j...
C.Coulombe - Sémantron
Introduction
De la CLOM-manie à la CLOM-phobie
Source: http://en.wikipedia.org/wiki/Hype_cycle
C.Coulombe - Sémantron
● Ils sont massifs;
● Ils favorisent la flexibilité dans l’apprentissage;
● Ils proposent une inter...
C.Coulombe - Sémantron
● L’enseignement en « mode cours magistral traditionnel » ne fonctionne pas aussi bien que
l'enseig...
C.Coulombe - Sémantron
Types d’évaluation Questions ouvertes / fermées Agents
évaluation automatique fermées QCM (question...
C.Coulombe - Sémantron
● Collecte massive des données sur le comportement des apprenants;
● Analytique de l’apprentissage ...
C.Coulombe - Sémantron
● Enseignement insuffisamment personnalisé;
● Acquisition de connaissances au détriment des
compéte...
C.Coulombe - Sémantron
● Adapter un cours aux besoins individuels de chaque apprenant;
● Les jours de la politique de « ta...
C.Coulombe - Sémantron
● Au coeur de l'approche par compétences on trouve l'évaluation fréquente
des compétences [Tardif, ...
C.Coulombe - Sémantron
● Les CLOM se cantonnent pour le moment à la transmission des
connaissances en empruntant une pédag...
C.Coulombe - Sémantron
● La vaste majorité des CLOM se cantonne dans l’emploi de questionnaires à
choix multiples (QCM) po...
C.Coulombe - Sémantron
Importance des questions ouvertes ou à développement
Avantages Inconvénients
Permet à l’apprenant d...
C.Coulombe - Sémantron
Différents types de question ouverte
Remplacement En remplacement d’une question fermée pour obteni...
C.Coulombe - Sémantron
● Le caractère massif des CLOM rend impraticable la correction par des évaluateurs
humains de quest...
C.Coulombe - Sémantron
● Plus de 100 mots en anglais ou plus d’un paragraphe [Burrows, Gurevych & Stein, 2015];
● +12 prod...
C.Coulombe - Sémantron
● Moins de 100 mots ou entre une phrase et un paragraphe;
● Un article récent recense 35 systèmes d...
C.Coulombe - Sémantron
Hypothèse de recherche principale
L’évaluation de compétences à partir de réponses écrites
en franç...
C.Coulombe - Sémantron
Objectifs de la recherche
● Modéliser les compétences d’une façon opérationnelle;
● Élaborer une mé...
C.Coulombe - Sémantron
● Ce qui nous amène à l’idée d’améliorer les CLOM actuels en les recentrant
sur l’acquisition des c...
C.Coulombe - Sémantron
Modèle MOT (Modélisation par Objets Typés) qui décrit une compétence selon la définition suivante: ...
C.Coulombe - Sémantron
La taxonomie des habilités sur 2 niveaux [Paquette, 2002b]
Méthodologie
La modélisation des compéte...
C.Coulombe - Sémantron
Inspiré du schéma: [Raynauld, Gerbé & Téta Nokam, 2012]
Méthodologie
Référentiel de compétences (1)
C.Coulombe - Sémantron
Domaines de compétences: i.e. l’ensemble des compétences liées à la mission
1. Compétences en écrit...
C.Coulombe - Sémantron
● Automatiser l’évaluation de compétences à partir de courtes réponses
textuelles en à des question...
C.Coulombe - Sémantron
● Il existe quelques systèmes expérimentaux de correction automatique basés
sur l’apprentissage sta...
C.Coulombe - Sémantron
Le problème d’évaluation des réponses à des questions ouvertes peut être
envisagé comme:
● Un probl...
C.Coulombe - Sémantron
Définir des habiletés puis mesurer des indicateurs [Shermis & Burstein, 2013]
○ comme l’orthographe...
C.Coulombe - Sémantron
● Une première approche « naïve »
○ Mesurer l’usage du vocabulaire propre à la taxonomie du domaine...
C.Coulombe - Sémantron
● Préparation des données;
● Ingénierie des attributs;
● Création et entraînement de modèles statis...
C.Coulombe - Sémantron
Méthodologie
Chaîne de traitements intelligents des données
*Note: Cours sur l’apprentissage statis...
C.Coulombe - Sémantron
Source: http://peekaboo-vision.blogspot.ca/2013/01/machine-learning-cheat-sheet-for-scikit.html
Mét...
C.Coulombe - Sémantron
● Les attributs les plus usuels [Burrows, Gurevych & Stein, 2015];
○ lexicométriques: nombre de car...
C.Coulombe - Sémantron
● Le jeu de données est divisé en 3 groupes*:
○ les données d’entraînement (training set) 60 % des ...
C.Coulombe - Sémantron
Tendances observées pour un modèle statistique
modèle simple modèle complexe
biais élevé variance é...
C.Coulombe - Sémantron
● Économiser la création d’attributs complexes;
● Laisser les algorithmes de réseaux de neurones à ...
C.Coulombe - Sémantron
La validation des résultats du prototype reposera sur plusieurs approches:
● Étiquetage indirect pa...
C.Coulombe - Sémantron
Méthodologie
Processus de recherche
C.Coulombe - Sémantron
État d’avancement des travaux
C.Coulombe - Sémantron
État d’avancement des travaux (1)
● L'usage d'un corpus de taille suffisante en langue française es...
C.Coulombe - Sémantron
État d’avancement des travaux (2)
● En avril - premiers résultats de Sémantron sur un modèle statis...
C.Coulombe - Sémantron
État d’avancement des travaux (3)
● Problème d’équilibre des classes
● En vérifiant mes résultats, ...
C.Coulombe - Sémantron
État d’avancement des travaux (4)
● Rééquilibrage du corpus
○ Créer un corpus équilibré au niveau d...
C.Coulombe - Sémantron
État d’avancement des travaux (5)
C.Coulombe - Sémantron
État d’avancement des travaux (6)
C.Coulombe - Sémantron
Contribution originale attendue
● Premier outil de correction automatique de réponses courtes à des...
C.Coulombe - Sémantron
Perspectives
● Mise à la disposition du corpus CLOM-TÉLUQ;
● Étendre Sémantron à la correction d’es...
C.Coulombe - Sémantron
C.Coulombe - Sémantron
Annexe - Open edX
● Disponible depuis juin 2013, la plateforme Open edX en logiciel libre sous
lice...
C.Coulombe - Sémantron
Bibliographie
[Androutsopoulos & Malakasiotis, 2010] Androutsopoulos, I., & Malakasiotis, P. (2010)...
C.Coulombe - Sémantron
Bibliographie (2)
[Csikszentmihalyi & Nakamura, 2002] Csikszentmihalyi, M., & Nakamura, J. (2002). ...
C.Coulombe - Sémantron
Bibliographie (3)
[Hollands & Tirthali, 2014] Hollands, F. M., & Tirthali, D. (2014). MOOCs: Expect...
C.Coulombe - Sémantron
Bibliographie (4)
[Paquette, 2007] Paquettte G., An ontology and Software Framework for Competency
...
Prochain SlideShare
Chargement dans…5
×

Séminaire polytechnique 12nov15

463 vues

Publié le

Présentation des travaux sur le projet « Sémantron » qui vise l'évaluation de compétences par des questions ouvertes dans un CLOM.

Publié dans : Données & analyses
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
463
Sur SlideShare
0
Issues des intégrations
0
Intégrations
4
Actions
Partages
0
Téléchargements
5
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Séminaire polytechnique 12nov15

  1. 1. Sémantron: Évaluation de compétences par des questions ouvertes dans un CLOM par Claude Coulombe candidat au doctorat en sciences cognitives UQAM / TÉLUQ Séminaire du département de génie informatique et génie logiciel Polytechnique 12 novembre 2015
  2. 2. C.Coulombe - Sémantron Source image: http://www.i-programmer.info/images/stories/prof/training/TrackingMOOC/classcentral.jpg Introduction Le phénomène CLOM, une déferlante...
  3. 3. C.Coulombe - Sémantron Introduction De la CLOM-manie à la CLOM-phobie Source: http://en.wikipedia.org/wiki/Hype_cycle
  4. 4. C.Coulombe - Sémantron ● Ils sont massifs; ● Ils favorisent la flexibilité dans l’apprentissage; ● Ils proposent une interactivité riche et ils sont conviviaux (web 2.0); ● Il se basent sur: ● une pédagogie active; ● une pédagogie de la maîtrise; ● Ils sont « sociaux » ● Ils recueillent et exploitent les données des étudiants via l’analytique d’apprentissage Introduction Les innovations des CLOM
  5. 5. C.Coulombe - Sémantron ● L’enseignement en « mode cours magistral traditionnel » ne fonctionne pas aussi bien que l'enseignement dans un «mode d'engagement interactif» [Hake, 1998]. ● Prônée par Bloom, la pédagogie de la maîtrise (mastery learning) émulerait en partie l’ effet d’un tutorat individuel [Norvig, 2012], [Glance, Forsey & Riley, 2013]. ● L’usage de courts questionnaires associés aux capsules vidéo offrent aux apprenants une occasion de pratiquer le rappel mnémonique ce qui améliore la mémoire à long terme des faits [Glance, Forsey & Riley, 2013]. On s’entend toutefois pour qualifier ces petits questionnaires de « méthodes faibles ». Il faut des activités plus approfondies comme la réalisation de projets pour parler vraiment d’acquisition de compétences. ● Une étude récente confirme que l’apprentissage actif accroit la performance des étudiants en science, en ingénierie et mathématiques [Freeman et al, 2014]. Introduction La pédagogie des CLOM
  6. 6. C.Coulombe - Sémantron Types d’évaluation Questions ouvertes / fermées Agents évaluation automatique fermées QCM (questions ouvertes encore au stade de la recherche) un logiciel de correction et/ou d’ analyse de réponses auto-évaluation surtout ouvertes mais les questions fermées sont également possibles l’apprenant lui-même évaluation par les pairs (calibrée) surtout ouvertes, mais les questions fermées sont également possibles les apprenants entre eux évaluation externe surtout ouvertes, mais les questions fermées sont également possibles chargé de cours, professeur, tuteur Introduction Dispositifs d’évaluation dans les CLOM
  7. 7. C.Coulombe - Sémantron ● Collecte massive des données sur le comportement des apprenants; ● Analytique de l’apprentissage (learning analytics) et traitement de données massives (big data); ● Pratique courante du Web 2.0 « à la Google »; ● Exploiter les données massives générées par les apprenants pour améliorer et personnaliser l’apprentissage individuel; ● Pédagogie basée sur les données (data driven). Introduction L’ingrédient secret, les données massives
  8. 8. C.Coulombe - Sémantron ● Enseignement insuffisamment personnalisé; ● Acquisition de connaissances au détriment des compétences; ● Évaluations le plus souvent limitées aux QCM. Problématique Quelques limites des CLOM actuels
  9. 9. C.Coulombe - Sémantron ● Adapter un cours aux besoins individuels de chaque apprenant; ● Les jours de la politique de « taille unique » sont comptés. Problématique Enseignement insuffisamment personnalisé « While the potential for MOOCs to contribute significantly to the development of personalized and adaptive learning is high, the reality is far from being achieved. » [Hollands & Tirthali, 2014]
  10. 10. C.Coulombe - Sémantron ● Au coeur de l'approche par compétences on trouve l'évaluation fréquente des compétences [Tardif, 2006]; ● L’évaluation n’est pas restreinte à donner une note finale (évaluation sommative ou certificative), mais est utilisée pour donner des rétroactions à l’apprenant tout au long du processus d’apprentissage et ceci en dehors de toute contribution à une note (évaluation formative). « Une compétence est un savoir-agir complexe prenant appui sur la mobilisation et la combinaison efficaces d'une variété de ressources internes et externes à l'intérieur d'une famille de situations. » [Tardif, 2006] Problématique L’approche par compétences
  11. 11. C.Coulombe - Sémantron ● Les CLOM se cantonnent pour le moment à la transmission des connaissances en empruntant une pédagogie plutôt conventionnelle, ce qu'on appelle les xCLOM [Margaryan, Bianco & Littlejohn, 2015]; ● L'apprentissage à base de compétences sera le catalyseur du changement du modèle économique de l'enseignement supérieur [Morrison, 2012]; ● Les CLOM avec des certificats ou des insignes numériques (digital badges) qui certifient l’acquisition de compétences auront un « marché* » florissant [Hollands & Tirthali, 2014]. *Note: Le terme « market » est employé par les auteurs Problématique Acquisition de connaissances au détriment des compétences
  12. 12. C.Coulombe - Sémantron ● La vaste majorité des CLOM se cantonne dans l’emploi de questionnaires à choix multiples (QCM) pour les évaluations car il est facile et peu coûteux d’ automatiser leur correction; ● Les QCM ne mesurent qu’une partie des compétences de l’apprenant; ● Certains domaines comme les sciences humaines et les arts se prêtent difficilement à l’évaluation par QCM. Problématique Évaluations le plus souvent limitées aux QCM
  13. 13. C.Coulombe - Sémantron Importance des questions ouvertes ou à développement Avantages Inconvénients Permet à l’apprenant de s’exprimer dans ses propres mots, de révéler ses conceptions ou donner son opinion Difficile à analyser et/ou interpréter - demande du TLN et des techniques d’évaluation plus sophistiquées Permet de ne rien oublier, toutes les réponses possibles seront recueillies Davantage subjective Permet de recueillir de nouvelles idées, des propos inattendus et/ou nuancés Demande des grilles de correction complexes et du personnel spécialisé Permet une expression plus complète et authentique de la pensée de l’apprenant Difficile à quantifier Moins sensible aux petites stratégies de passation de tests et techniques de devinette Demande davantage de travail à l’apprenant Facile à créer par le professeur Peut être intimidant Peut servir à compléter une question fermée Très grande variabilité des réponses
  14. 14. C.Coulombe - Sémantron Différents types de question ouverte Remplacement En remplacement d’une question fermée pour obtenir des réponses plus complètes, authentique, sans a priori et où l’apprenant s’exprime dans ses propres mots. Extension En extension à une question fermée. Par exemple, à l’item « Autre réponse, svp spécifiez » à la fin d’une liste de réponses prédéterminées. Complément* En complément à une question fermée. Par exemple, « Svp, pouvez-vous élaborez davantage? » Commentaire Pour recueillir les commentaires de l’apprenant. « Vos commentaires sont bienvenus » *Note: Forme privilégiée pour le projet Sémantron.
  15. 15. C.Coulombe - Sémantron ● Le caractère massif des CLOM rend impraticable la correction par des évaluateurs humains de questions ouvertes à cause des coûts; ● On a recours à des dispositifs d’auto-correction ou de correction par les pairs calibrée (Calibrated Peer Review) qui sont lourds et d’usage limité; ● Il existe deux types d’outils automatiques selon la longueur des textes: ○ Correction d’essais (AES: Automated Essay Scoring); ■ En français, CA2E « Correction Automatique d’Essais Écrits »; ○ Correction de réponses courtes (ASAG: Automatic Short Answer Grading) ■ En français, CARC « Correction Automatique de Réponses Courtes »; Problématique Évaluation des questions ouvertes
  16. 16. C.Coulombe - Sémantron ● Plus de 100 mots en anglais ou plus d’un paragraphe [Burrows, Gurevych & Stein, 2015]; ● +12 produits commerciaux tous en anglais: e-rater, PEG (Project Essay Grade), LightSide, IEA (Intelligent Essay Assessor), IntelliMetric, Benchmark-SkillWriter, CRASE (Constructed-Response Automated Scoring Engine), Lexile Writing Analyzer, etc. [Shermis & Burstein, 2013]; ● Orienté davantage style que contenu; ● Exploitent des technologies plus anciennes comme des méthodes lexicométriques et des approches à base de règles avec des heuristiques astucieuses*; ● La plupart utilisent peu ou pas l’apprentissage statistique (machine learning), ne reposent pas sur une analyse détaillée de la phrase, ni sur un modèle cognitif de la compétence. Problématique Outils de correction d’essais (CA2E) *Note: Longueur moyenne des phrases, étendue du vocabulaire, nombre de fautes d’orthographe, présence de mots comme « then », « because », « since », ou de mots connecteurs « and », « or », de verbes particuliers, etc.
  17. 17. C.Coulombe - Sémantron ● Moins de 100 mots ou entre une phrase et un paragraphe; ● Un article récent recense 35 systèmes de CARC utilisés à l’occasion de compétitions internationales comme SemEval [Burrows, Gurevych & Stein, 2015]; ● De ceux-ci 29 (83%) étaient en anglais, 5 en espagnol, 3 en allemand, un en chinois mais aucun en français*; ● Orienté davantage contenu que style; ● La correction automatique de réponses courtes est encore au stade de la recherche; ● Principalement à base de techniques récentes d’apprentissage statistique (machine learning), mais aussi: recouvrement de concepts, extraction d’information, méthodes à base de corpus [Burrows, Gurevych & Stein, 2015]. Problématique Correction de réponses courtes (CARC) *Le total fait 38 car certains systèmes sont bilingues
  18. 18. C.Coulombe - Sémantron Hypothèse de recherche principale L’évaluation de compétences à partir de réponses écrites en français à des questions ouvertes dans un CLOM peut être réalisée automatiquement et de façon fiable* à l’aide de techniques de traitement de la langue et d’apprentissage statistique. *Note: Au moins aussi fiable que l’accord inter-juges (inter-rater agreement)
  19. 19. C.Coulombe - Sémantron Objectifs de la recherche ● Modéliser les compétences d’une façon opérationnelle; ● Élaborer une méthode permettant d’évaluation de compétences à partir de réponses écrites en français à des questions ouvertes*; ● Implanter la méthode dans un système automatique appelé Sémantron. *Note: Plus précisément, la tâche visée est l’évaluation de compétences à partir de réponses courtes, écrites en français à des questions ouvertes.
  20. 20. C.Coulombe - Sémantron ● Ce qui nous amène à l’idée d’améliorer les CLOM actuels en les recentrant sur l’acquisition des compétences. Nous proposons le terme facile à retenir de CLOM-abc pour CLOM à base de compétences [Coulombe, 2013b]; ● L’idée est de baser l’évaluation sur un modèle explicite des compétences qui est intégré à la plateforme CLOM sous la forme d’un service de référentiel de compétences. Méthodologie CLOM à base de compétences ou CLOM-abc
  21. 21. C.Coulombe - Sémantron Modèle MOT (Modélisation par Objets Typés) qui décrit une compétence selon la définition suivante: « Une compétence est la relation entre une habileté générique appliquée à une connaissance à un certain niveau de performance ». [Paquette, 2007] Méthodologie La modélisation des compétences
  22. 22. C.Coulombe - Sémantron La taxonomie des habilités sur 2 niveaux [Paquette, 2002b] Méthodologie La modélisation des compétences (2)
  23. 23. C.Coulombe - Sémantron Inspiré du schéma: [Raynauld, Gerbé & Téta Nokam, 2012] Méthodologie Référentiel de compétences (1)
  24. 24. C.Coulombe - Sémantron Domaines de compétences: i.e. l’ensemble des compétences liées à la mission 1. Compétences en écriture Compétences proprement dites (competencies) 1.1. Qualité de la langue Composantes ou capacités / habiletés (capacities) 1.1.1. Orthographe d’usage Indicateurs observables / manifestations pour évaluer la compétence (indicators) 1.1.1.1. J’écris sans faire de faute d’orthographe. Échelle pour mesurer le niveau (measurement scale) ○ Échelle ou niveau d’atteinte de la compétence ( 1à 10) ○ Niveau minimum souhaîté / note de passage (passing mark) 2. Compétences disciplinaires 2.1. ... Schéma hiérarchique des compétences stocké sous la forme de documents structurés Méthodologie Référentiel de compétences (2)
  25. 25. C.Coulombe - Sémantron ● Automatiser l’évaluation de compétences à partir de courtes réponses textuelles en à des questions ouvertes en français; ○ Pour noter ou évaluer les compétences; ○ Pour donner des conseils ou rétroactions utiles aux apprenants; ● Sémantron fonctionnera essentiellement sur la base d’un apprentissage supervisé à partir d’exemples notés (ou étiquetés) afin de créer des modèles statistiques capables de prédire une note ou étiquette sur de nouveaux exemples. Méthodologie Évaluation de réponses à des questions ouvertes
  26. 26. C.Coulombe - Sémantron ● Il existe quelques systèmes expérimentaux de correction automatique basés sur l’apprentissage statistique comme EASE (Enhanced AI Scoring Engine) un système expérimental de correction automatique uniquement en anglais destiné à être intégré à Open edX [Balfour, 2013]; ● L’idée est d’entraîner un modèle statistique avec un petit nombre de réponses corrigées par un professeur ou un tuteur humain (typiquement de l’ ordre d’une centaine) pour alimenter un correcteur automatique capable d’ évaluer des milliers d’autres copies. Méthodologie Évaluation automatique par l’approche statistique
  27. 27. C.Coulombe - Sémantron Le problème d’évaluation des réponses à des questions ouvertes peut être envisagé comme: ● Un problème de classification à deux classes (réponses correctes vs réponses rejetées); ● Un problème de classification à plusieurs classes (du genre « satisfaisant », « incomplet », « contradictoire », « insuffisant » et « sans rapport »)*; ● Un problème de régression (prédiction d’un nombre) en considérant des étiquettes essentiellement numériques (prédiction d’un ou plusieurs scores). Méthodologie Évaluation automatique & modèle prédictif *Note: Forme privilégiée pour le projet Sémantron.
  28. 28. C.Coulombe - Sémantron Définir des habiletés puis mesurer des indicateurs [Shermis & Burstein, 2013] ○ comme l’orthographe / la grammaire ○ le vocabulaire / choix des mots / richesse, ○ la qualité / fluidité des phrases, la structure / complexité des phrases, ○ le niveau de détails, l’organisation du texte, ○ le respect des conventions, ○ la qualité du développement narratif, ○ la répétition / redondance, les emprunts / le plagiat, ○ le style, les idées ou thèmes abordés (i.e. le nombre d’idées, leur variété), originalité (comment la mesurer?), etc. Méthodologie Évaluer des compétences en écriture?* *Note: Surtout valable dans le contexte de la correction d’essais ou de textes plus longs
  29. 29. C.Coulombe - Sémantron ● Une première approche « naïve » ○ Mesurer l’usage du vocabulaire propre à la taxonomie du domaine des compétences disciplinaires à évaluer; ● Idées plus avancées: ○ Comparaison de fragments de cartes conceptuelles: ■ Extraction de concepts et de relations d’une réponse textuelle; ○ Inférence textuelle* (Textual Entailment): ■ À partir de deux textes, déterminer si le sens du second texte peut être déduit à partir de celui du premier [Dagan, Glickman & Magnini, 2006]; ○ Paraphrasage et réécriture [Androutsopoulos & Malakasiotis, 2010]. Méthodologie Évaluer des compétences disciplinaires? *Note: Autre équivalent en français « Implication textuelle »
  30. 30. C.Coulombe - Sémantron ● Préparation des données; ● Ingénierie des attributs; ● Création et entraînement de modèles statistiques; ○ Algorithmes classiques d’apprentissage statistiques; ○ Exploration de l’apprentissage profond (deep learning). Méthodologie Chaîne de traitements intelligents des données
  31. 31. C.Coulombe - Sémantron Méthodologie Chaîne de traitements intelligents des données *Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM
  32. 32. C.Coulombe - Sémantron Source: http://peekaboo-vision.blogspot.ca/2013/01/machine-learning-cheat-sheet-for-scikit.html Méthodologie Outils: Python, Pandas, Scikit-learn, NLTK (Natural Language ToolKit), analyseur dérivé du Correcteur 101, WOLF, Pylearn2, Theano, Lasagne, etc.
  33. 33. C.Coulombe - Sémantron ● Les attributs les plus usuels [Burrows, Gurevych & Stein, 2015]; ○ lexicométriques: nombre de caractères, nombre de mots, longueur moyenne des mots, nombre de phrases, longueur moyenne des phrases, nombre de mots distincts, nombre de verbes, … ○ statistiques: ngrammes, cooccurrence, TF-IDF*, mesures de similarité, distance d’édition, métrique BLEU ou ROUGE, fréquence des termes; ○ linguistiques: sac de mots, partie du discours / étiquettes lexicales, étiquettes syntaxiques, erreurs orthographiques / grammaticales, ○ sémantiques: lemmes, termes, réduction ou ajout de synonymes, analyse sémantique latente**, algorithme de Lesk Méthodologie Attributs usuels *Note: Term Frequency - Inverse Document Frequency **Latent Semantic Analysis (LSA)
  34. 34. C.Coulombe - Sémantron ● Le jeu de données est divisé en 3 groupes*: ○ les données d’entraînement (training set) 60 % des données; ○ données de validation croisée (cross-validation) 20 % des données; ○ données de test (test set) 20 % des données; ● Ainsi, les données de test restent vierges afin d’estimer l’erreur de généralisation, (i.e. la mesure de performance ultime) du modèle sélectionné; ● On répète les tests avec chaque modèles plusieurs fois en appliquant un test d’hypothèse comme le test T de Student à 5% ou à 1%. Méthodologie Création et sélection de modèles statistiques *Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM
  35. 35. C.Coulombe - Sémantron Tendances observées pour un modèle statistique modèle simple modèle complexe biais élevé variance élevée sous-apprentissage (underfitting) sur-apprentissage (overfitting) Méthodologie Chaîne de traitements intelligents des données *Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM
  36. 36. C.Coulombe - Sémantron ● Économiser la création d’attributs complexes; ● Laisser les algorithmes de réseaux de neurones à plusieurs couches apprendre eux- mêmes les attributs ou représentations; ● Devenu possible ces dernières années par l’accroissement des capacités de calcul et les volumes considérables de données; ● Explorer les limites de l’application de l’apprentissage profond; ● Comparer une approche où l’accent a été mis sur l’ingénierie des attributs et une autre approche qui apprend les attributs; ● Principal problème: la petite taille du corpus; ● Solutions: recueillir suffisamment de données ou contourner le problème => augmentation / enrichissement des données; *Note: Ou apprentissage de représentations par réseaux profonds de neurones - En anglais Deep Learning Source: [Bengio, 2009] Méthodologie Apprentissage profond*
  37. 37. C.Coulombe - Sémantron La validation des résultats du prototype reposera sur plusieurs approches: ● Étiquetage indirect par autoévaluation; ● Étiquetage manuel des données d’entraînement par un premier juge humain; ● Comparaison Sémantron-juges et inter-juges: On comparera les prédictions de Sémantron avec les résultats étiquetés par deux autres juges sur les données de test. Méthodologie Validation des résultats
  38. 38. C.Coulombe - Sémantron Méthodologie Processus de recherche
  39. 39. C.Coulombe - Sémantron État d’avancement des travaux
  40. 40. C.Coulombe - Sémantron État d’avancement des travaux (1) ● L'usage d'un corpus de taille suffisante en langue française est un point critique dans la réalisation du projet; ● Intégration d’un type spécial de questions ouvertes à la plateforme Open edX dans le cadre du projet pilote CLOM-TÉLUQ et Ulibre lancés en octobre 2014; ● Constitution du corpus CLOM-TÉLUQ: ○ 9 questions différentes; ○ Réponses courtes en français (entre 75 et 150 mots)*; ○ 4 762 réponses, avec 400 à 700 réponses par question (moyenne 529); ○ Un corpus CACR typique comporte 9 questions, 1029 réponses et 92 réponses par question en moyenne [Burrows, Gurevych & Stein, 2015]; ● Suffisant pour des algorithmes classiques d’apprentissage statistique. *Note: Un texte est généralement plus long en français qu’en anglais et on parle de 100 mots en anglais.
  41. 41. C.Coulombe - Sémantron État d’avancement des travaux (2) ● En avril - premiers résultats de Sémantron sur un modèle statistique prédictif, supervisé très « élémentaire ». ● Traitement d'une seule question avec 783 réponses ● Attributs: essentiellement des mots filtrés par TF-IDF* ● Étiquetage: via l'auto-évaluation par les étudiants ● Algorithme: classificateur Bayes naïf ● Score avec validation croisee (20 fois) et intervalle de confiance de 95 pourcent: 79.2 % (+/- 1.10) ● Base de référence: 50.7 % (OneR, i.e. la classe la plus fréquente). ● A priori, ça semblait bon, mais…. *Note: (Term Frequency-Inverse Document Frequency http://fr.wikipedia.org/wiki/TF-IDF)
  42. 42. C.Coulombe - Sémantron État d’avancement des travaux (3) ● Problème d’équilibre des classes ● En vérifiant mes résultats, je me rends compte d’une « erreur méthodologique » dans le calcul de ma base de référence (classe dominante) d’abord évaluée à 51 % car j’incluais des NaN (réponse incomplète ou réponse vide) ● En réalité les classes sont très mal équilibrées et ma base de référence, celle de la classe dominante est à 78.9 % ● Donc mon modèle ne faisait pas mieux que la règle OneR ! *Note: (Term Frequency-Inverse Document Frequency http://fr.wikipedia.org/wiki/TF-IDF)
  43. 43. C.Coulombe - Sémantron État d’avancement des travaux (4) ● Rééquilibrage du corpus ○ Créer un corpus équilibré au niveau de la répartition des classes. On va maximiser l'emploi de la classe qui est la moins représentée et compléter avec des exemplaires de la classe dominante. ● Traitement d'une seule question avec 505 réponses ● Attributs: mots filtrés par TF-IDF*, augmentation des données par des synonymes ● Étiquetage: via jugement humain ● Algorithme: forêts d’arbres aléatoires (random forests) ● Emploi maximal des données par la mise-de-côté unique (leave-one-out )
  44. 44. C.Coulombe - Sémantron État d’avancement des travaux (5)
  45. 45. C.Coulombe - Sémantron État d’avancement des travaux (6)
  46. 46. C.Coulombe - Sémantron Contribution originale attendue ● Premier outil de correction automatique de réponses courtes à des questions ouvertes en langue française basé sur l’apprentissage statistique et un modèle cognitif de la compétence*; ● Sémantron tentera d’apporter un support aux apprenants dans l’acquisition de compétences: ○ au niveau de l’écriture; ○ au niveau de compétences disciplinaires; ● Meilleure compréhension des conditions et limites d’application des algorithmes d’apprentissage profond (deep learning) en langue naturelle. ● Expérimentation de l’augmentation / enrichissement des données;
  47. 47. C.Coulombe - Sémantron Perspectives ● Mise à la disposition du corpus CLOM-TÉLUQ; ● Étendre Sémantron à la correction d’essais, i.e. des textes de plusieurs paragraphes; ● Sémantron sera intégré à la plateforme Open edX.
  48. 48. C.Coulombe - Sémantron
  49. 49. C.Coulombe - Sémantron Annexe - Open edX ● Disponible depuis juin 2013, la plateforme Open edX en logiciel libre sous licence Affero GPL v3 permet de créer et gérer des CLOM; ● Open edX sera utilisée pour la collecte du corpus puis pour l’intégration de l’ évaluation de compétences au moyen de questions ouvertes; ● Une fois le modèle prédictif opérationnel, nous prévoyons intégrer des outils de correction de questions courtes et d’essais en français à la plateforme Open edX.
  50. 50. C.Coulombe - Sémantron Bibliographie [Androutsopoulos & Malakasiotis, 2010] Androutsopoulos, I., & Malakasiotis, P. (2010). A survey of paraphrasing and textual entailment methods. Journal of Artificial Intelligence Research, 135–187. En ligne: http://www.jair.org/media/2985/live-2985-5001-jair.pdf [Balfour, 2013] Balfour, S. P. (2013). Assessing writing in MOOCs: Automated essay scoring and calibrated peer review. Research & Practice in Assessment, 8(1), 40–48.En ligne http://www.rpajournal.com/dev/wp-content/uploads/2013/05/SF4.pdf [Bengio, 2009] Bengio, Y. (2009). Learning Deep Architectures for AI. Machine Learning, 2(1), 1–127. En ligne http://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf [Burrows, Gurevych & Stein, 2015] Burrows, S., Gurevych, I., & Stein, B. (2015). The Eras and Trends of Automatic Short Answer Grading. International Journal of Artificial Intelligence in Education, 25(1), 60–117. En ligne http://www.uni-weimar.de/medien/webis/publications/papers/stein_2014n.pdf [Coulombe, 2013b] Coulombe C., Vers les CLOM-p - Les CLOM portfolios pour l'agrément des compétences, Journée MATI Montréal 2013, L’innovation dans les modèles, méthodes et outils pour l’apprentissage et le développement des compétences, Montréal, 1er mai 2013. En ligne Diapos de la présentation Vidéo de la présentation
  51. 51. C.Coulombe - Sémantron Bibliographie (2) [Csikszentmihalyi & Nakamura, 2002] Csikszentmihalyi, M., & Nakamura, J. (2002). The concept of flow. Handbook of Positive Psychology, 89–105. En ligne: http://myweb. stedwards.edu/michaelo/2349/paper1/ConceptOfFlow.pdf [Dagan,Glickman & Magnini, 2006] Dagan, I., Glickman, O., & Magnini, B. (2006). The PASCAL recognising textual entailment challenge. In Machine learning challenges. evaluating predictive uncertainty, visual object classification, and recognising tectual entailment (pp. 177–190). Springer. En ligne http://eprints.pascal-network. org/archive/00001298/01/dagan_et_al_rte05.pdf [Freeman et al, 2014] Freeman, S., Eddy, S. L., McDonough, M., Smith, M. K., Okoroafor, N., Jordt, H., & Wenderoth, M. P. (2014). Active learning increases student performance in science, engineering, and mathematics. Proceedings of the National Academy of Sciences, 111(23), 8410-8415. http://www.pnas.org/content/111/23/8410.full [Hake, 1998] Hake, R. R. (1998). Interactive-engagement versus traditional methods: A six-thousand-student survey of mechanics test data for introductory physics courses. American journal of Physics, 66(1), 64-74. http://files.eric.ed.gov/fulltext/ED441679.pdf
  52. 52. C.Coulombe - Sémantron Bibliographie (3) [Hollands & Tirthali, 2014] Hollands, F. M., & Tirthali, D. (2014). MOOCs: Expectations and Reality (p. 211). Teachers College, Columbia University. En ligne http://cbcse. org/wordpress/wp-content/uploads/2014/05/MOOCs_Expectations_and_Reality.pdf [Margaryan, Bianco & Littlejohn, 2015] Margaryan, A., Bianco, M., & Littlejohn, A. (2015). Instructional quality of Massive Open Online Courses (MOOCs). Computers & Education, 80, 77–83. En ligne http://www.sciencedirect. com/science/article/pii/S036013151400178X#appsec1 [Morrison, 2012] Morrison, Debbie. The Next Big Disruptor - Competency-based Learning. Blog. Online Learning Insights, June 12, 2012. En ligne http://onlinelearninginsights.wordpress.com/2012/06/12/the-next-big-disruptor- competency-based-learning/ [Norvig, 2013] Norvig, P. (2013, July 18). How to Make Online Courses Massively Personal: Scientific American. Scientific American, (August 2013 issue). En ligne http: //www.scientificamerican.com/article.cfm?id=how-to-make-online-courses-massively- personal-peter-norvig
  53. 53. C.Coulombe - Sémantron Bibliographie (4) [Paquette, 2007] Paquettte G., An ontology and Software Framework for Competency Modeling and Management, Educational Technology & Society, vol. 10, no 3, juillet 2007, p. 1-21. [Paquette, 2002b] Paquette, G.. Modélisation des connaissances et des compétences. Presses de l’Université du Québec, 2002. Québec, Québec, p. 66 [Raynauld, Gerbé & Téta Nokam, 2012] Raynauld, J., Gerbé, O., & Téta Nokam, N. (2012). Référentiels de compétences (No. Publication 2012-06) (p. 37). Montréal: GTN- Québec. En ligne http://www.gtn-quebec.org/moa/publications/rapport/referentiels- competences/ [Reich, 2015] Reich, J. (2015). Rebooting MOOC Research. Science, 347(6217), 34–35. En ligne http://www.edtechresearcher.com/wp-content/uploads/2012/11/Reich_Rebooting_1214.docx [Shermis & Burstein, 2013] Shermis, M. D., & Burstein, J. (2013). Handbook of automated essay evaluation: Current applications and new directions. New York, USA: Routledge. [Tardif, 2006] Tardif, J. L’évaluation des compétences. Chenelière Éducation, 2006, p.

×