Séminaire polytechnique 12nov15

Sémantron: Évaluation de compétences par des questions
ouvertes dans un CLOM
par Claude Coulombe
candidat au doctorat en sciences cognitives
UQAM / TÉLUQ
Séminaire du département
de génie informatique et génie logiciel
Polytechnique
12 novembre 2015

C.Coulombe - Sémantron
Source image: http://www.i-programmer.info/images/stories/prof/training/TrackingMOOC/classcentral.jpg
Introduction
Le phénomène CLOM, une déferlante...

Introduction
De la CLOM-manie à la CLOM-phobie
Source: http://en.wikipedia.org/wiki/Hype_cycle

● Ils sont massifs;
● Ils favorisent la flexibilité dans l’apprentissage;
● Ils proposent une interactivité riche et ils sont
conviviaux (web 2.0);
● Il se basent sur:
● une pédagogie active;
● une pédagogie de la maîtrise;
● Ils sont « sociaux »
● Ils recueillent et exploitent les données des
étudiants via l’analytique d’apprentissage
Introduction
Les innovations des CLOM

● L’enseignement en « mode cours magistral traditionnel » ne fonctionne pas aussi bien que
l'enseignement dans un «mode d'engagement interactif» [Hake, 1998].
● Prônée par Bloom, la pédagogie de la maîtrise (mastery learning) émulerait en partie l’
effet d’un tutorat individuel [Norvig, 2012], [Glance, Forsey & Riley, 2013].
● L’usage de courts questionnaires associés aux capsules vidéo offrent aux apprenants une
occasion de pratiquer le rappel mnémonique ce qui améliore la mémoire à long terme des
faits [Glance, Forsey & Riley, 2013]. On s’entend toutefois pour qualifier ces petits
questionnaires de « méthodes faibles ». Il faut des activités plus approfondies comme la
réalisation de projets pour parler vraiment d’acquisition de compétences.
● Une étude récente confirme que l’apprentissage actif accroit la performance des étudiants
en science, en ingénierie et mathématiques [Freeman et al, 2014].
Introduction
La pédagogie des CLOM

Types d’évaluation Questions ouvertes / fermées Agents
évaluation automatique fermées QCM (questions ouvertes
encore au stade de la recherche)
un logiciel de correction et/ou d’
analyse de réponses
auto-évaluation surtout ouvertes mais les questions
fermées sont également possibles
l’apprenant lui-même
évaluation par les pairs
(calibrée)
surtout ouvertes, mais les questions
les apprenants entre eux
évaluation externe surtout ouvertes, mais les questions
chargé de cours, professeur,
tuteur
Introduction
Dispositifs d’évaluation dans les CLOM

● Collecte massive des données sur le comportement des apprenants;
● Analytique de l’apprentissage (learning analytics) et traitement de
données massives (big data);
● Pratique courante du Web 2.0 « à la Google »;
● Exploiter les données massives générées par les apprenants pour
améliorer et personnaliser l’apprentissage individuel;
● Pédagogie basée sur les données (data driven).
Introduction
L’ingrédient secret, les données massives

● Enseignement insuffisamment personnalisé;
● Acquisition de connaissances au détriment des
compétences;
● Évaluations le plus souvent limitées aux QCM.
Problématique
Quelques limites des CLOM actuels

● Adapter un cours aux besoins individuels de chaque apprenant;
● Les jours de la politique de « taille unique » sont comptés.
Problématique
Enseignement insuffisamment personnalisé
« While the potential for MOOCs to contribute significantly to the
development of personalized and adaptive learning is high, the reality is far
from being achieved. » [Hollands & Tirthali, 2014]

● Au coeur de l'approche par compétences on trouve l'évaluation fréquente
des compétences [Tardif, 2006];
● L’évaluation n’est pas restreinte à donner une note finale (évaluation
sommative ou certificative), mais est utilisée pour donner des rétroactions à
l’apprenant tout au long du processus d’apprentissage et ceci en dehors de
toute contribution à une note (évaluation formative).
« Une compétence est un savoir-agir complexe prenant appui sur la
mobilisation et la combinaison efficaces d'une variété de ressources internes
et externes à l'intérieur d'une famille de situations. » [Tardif, 2006]
Problématique
L’approche par compétences

● Les CLOM se cantonnent pour le moment à la transmission des
connaissances en empruntant une pédagogie plutôt conventionnelle, ce
qu'on appelle les xCLOM [Margaryan, Bianco & Littlejohn, 2015];
● L'apprentissage à base de compétences sera le catalyseur du changement
du modèle économique de l'enseignement supérieur [Morrison, 2012];
● Les CLOM avec des certificats ou des insignes numériques (digital badges)
qui certifient l’acquisition de compétences auront un « marché* » florissant
[Hollands & Tirthali, 2014].
*Note: Le terme « market » est employé par les auteurs
Problématique
Acquisition de connaissances au détriment des compétences

● La vaste majorité des CLOM se cantonne dans l’emploi de questionnaires à
choix multiples (QCM) pour les évaluations car il est facile et peu coûteux d’
automatiser leur correction;
● Les QCM ne mesurent qu’une partie des compétences de l’apprenant;
● Certains domaines comme les sciences humaines et les arts se prêtent
difficilement à l’évaluation par QCM.
Problématique
Évaluations le plus souvent limitées aux QCM

Importance des questions ouvertes ou à développement
Avantages Inconvénients
Permet à l’apprenant de s’exprimer dans ses propres
mots, de révéler ses conceptions ou donner son opinion
Difficile à analyser et/ou interpréter - demande
du TLN et des techniques d’évaluation plus
sophistiquées
Permet de ne rien oublier, toutes les réponses possibles
seront recueillies
Davantage subjective
Permet de recueillir de nouvelles idées, des propos
inattendus et/ou nuancés
Demande des grilles de correction complexes
et du personnel spécialisé
Permet une expression plus complète et authentique de
la pensée de l’apprenant
Difficile à quantifier
Moins sensible aux petites stratégies de passation de
tests et techniques de devinette
Demande davantage de travail à l’apprenant
Facile à créer par le professeur Peut être intimidant
Peut servir à compléter une question fermée Très grande variabilité des réponses

Différents types de question ouverte
Remplacement En remplacement d’une question fermée pour obtenir des réponses plus complètes,
authentique, sans a priori et où l’apprenant s’exprime dans ses propres mots.
Extension En extension à une question fermée. Par exemple, à l’item « Autre réponse, svp
spécifiez » à la fin d’une liste de réponses prédéterminées.
Complément* En complément à une question fermée. Par exemple, « Svp, pouvez-vous élaborez
davantage? »
Commentaire Pour recueillir les commentaires de l’apprenant. « Vos commentaires sont bienvenus »
*Note: Forme privilégiée pour le projet Sémantron.

● Le caractère massif des CLOM rend impraticable la correction par des évaluateurs
humains de questions ouvertes à cause des coûts;
● On a recours à des dispositifs d’auto-correction ou de correction par les pairs
calibrée (Calibrated Peer Review) qui sont lourds et d’usage limité;
● Il existe deux types d’outils automatiques selon la longueur des textes:
○ Correction d’essais (AES: Automated Essay Scoring);
■ En français, CA2E « Correction Automatique d’Essais Écrits »;
○ Correction de réponses courtes (ASAG: Automatic Short Answer Grading)
■ En français, CARC « Correction Automatique de Réponses Courtes »;
Problématique
Évaluation des questions ouvertes

● Plus de 100 mots en anglais ou plus d’un paragraphe [Burrows, Gurevych & Stein, 2015];
● +12 produits commerciaux tous en anglais: e-rater, PEG (Project Essay Grade), LightSide,
IEA (Intelligent Essay Assessor), IntelliMetric, Benchmark-SkillWriter, CRASE
(Constructed-Response Automated Scoring Engine), Lexile Writing Analyzer, etc. [Shermis
& Burstein, 2013];
● Orienté davantage style que contenu;
● Exploitent des technologies plus anciennes comme des méthodes lexicométriques et des
approches à base de règles avec des heuristiques astucieuses*;
● La plupart utilisent peu ou pas l’apprentissage statistique (machine learning), ne reposent
pas sur une analyse détaillée de la phrase, ni sur un modèle cognitif de la compétence.
Problématique
Outils de correction d’essais (CA2E)
*Note: Longueur moyenne des phrases, étendue du vocabulaire, nombre de fautes d’orthographe, présence de mots
comme « then », « because », « since », ou de mots connecteurs « and », « or », de verbes particuliers, etc.

● Moins de 100 mots ou entre une phrase et un paragraphe;
● Un article récent recense 35 systèmes de CARC utilisés à l’occasion de compétitions
internationales comme SemEval [Burrows, Gurevych & Stein, 2015];
● De ceux-ci 29 (83%) étaient en anglais, 5 en espagnol, 3 en allemand, un en chinois
mais aucun en français*;
● Orienté davantage contenu que style;
● La correction automatique de réponses courtes est encore au stade de la recherche;
● Principalement à base de techniques récentes d’apprentissage statistique (machine
learning), mais aussi: recouvrement de concepts, extraction d’information, méthodes à
base de corpus [Burrows, Gurevych & Stein, 2015].
Problématique
Correction de réponses courtes (CARC)
*Le total fait 38 car certains systèmes sont bilingues

Hypothèse de recherche principale
L’évaluation de compétences à partir de réponses écrites
en français à des questions ouvertes dans un CLOM peut
être réalisée automatiquement et de façon fiable* à l’aide
de techniques de traitement de la langue et d’apprentissage
statistique.
*Note: Au moins aussi fiable que l’accord inter-juges (inter-rater agreement)

Objectifs de la recherche
● Modéliser les compétences d’une façon opérationnelle;
● Élaborer une méthode permettant d’évaluation de
compétences à partir de réponses écrites en français à des
questions ouvertes*;
● Implanter la méthode dans un système automatique appelé
Sémantron.
*Note: Plus précisément, la tâche visée est l’évaluation de compétences à partir de réponses courtes, écrites en
français à des questions ouvertes.

● Ce qui nous amène à l’idée d’améliorer les CLOM actuels en les recentrant
sur l’acquisition des compétences. Nous proposons le terme facile à retenir
de CLOM-abc pour CLOM à base de compétences [Coulombe, 2013b];
● L’idée est de baser l’évaluation sur un modèle explicite des compétences qui
est intégré à la plateforme CLOM sous la forme d’un service de référentiel
de compétences.
Méthodologie
CLOM à base de compétences ou CLOM-abc

Modèle MOT (Modélisation par Objets Typés) qui décrit une compétence selon la définition suivante: « Une compétence est la relation
entre une habileté générique appliquée à une connaissance à un certain niveau de performance ». [Paquette, 2007]
Méthodologie
La modélisation des compétences

La taxonomie des habilités sur 2 niveaux [Paquette, 2002b]
Méthodologie
La modélisation des compétences (2)

Inspiré du schéma: [Raynauld, Gerbé & Téta Nokam, 2012]
Méthodologie
Référentiel de compétences (1)

Domaines de compétences: i.e. l’ensemble des compétences liées à la mission
1. Compétences en écriture
Compétences proprement dites (competencies)
1.1. Qualité de la langue
Composantes ou capacités / habiletés (capacities)
1.1.1. Orthographe d’usage
Indicateurs observables / manifestations pour évaluer la compétence
(indicators)
1.1.1.1. J’écris sans faire de faute d’orthographe.
Échelle pour mesurer le niveau (measurement scale)
○ Échelle ou niveau d’atteinte de la compétence ( 1à 10)
○ Niveau minimum souhaîté / note de passage (passing mark)
2. Compétences disciplinaires
2.1. ...
Schéma hiérarchique des compétences stocké sous la forme de documents structurés
Méthodologie
Référentiel de compétences (2)

● Automatiser l’évaluation de compétences à partir de courtes réponses
textuelles en à des questions ouvertes en français;
○ Pour noter ou évaluer les compétences;
○ Pour donner des conseils ou rétroactions utiles aux apprenants;
● Sémantron fonctionnera essentiellement sur la base d’un apprentissage
supervisé à partir d’exemples notés (ou étiquetés) afin de créer des modèles
statistiques capables de prédire une note ou étiquette sur de nouveaux
exemples.
Méthodologie
Évaluation de réponses à des questions ouvertes

● Il existe quelques systèmes expérimentaux de correction automatique basés
sur l’apprentissage statistique comme EASE (Enhanced AI Scoring Engine)
un système expérimental de correction automatique uniquement en anglais
destiné à être intégré à Open edX [Balfour, 2013];
● L’idée est d’entraîner un modèle statistique avec un petit nombre de
réponses corrigées par un professeur ou un tuteur humain (typiquement de l’
ordre d’une centaine) pour alimenter un correcteur automatique capable d’
évaluer des milliers d’autres copies.
Méthodologie
Évaluation automatique par l’approche statistique

Le problème d’évaluation des réponses à des questions ouvertes peut être
envisagé comme:
● Un problème de classification à deux classes (réponses correctes vs
réponses rejetées);
● Un problème de classification à plusieurs classes (du genre « satisfaisant »,
« incomplet », « contradictoire », « insuffisant » et « sans rapport »)*;
● Un problème de régression (prédiction d’un nombre) en considérant des
étiquettes essentiellement numériques (prédiction d’un ou plusieurs scores).
Méthodologie
Évaluation automatique & modèle prédictif
*Note: Forme privilégiée pour le projet Sémantron.

Définir des habiletés puis mesurer des indicateurs [Shermis & Burstein, 2013]
○ comme l’orthographe / la grammaire
○ le vocabulaire / choix des mots / richesse,
○ la qualité / fluidité des phrases, la structure / complexité des phrases,
○ le niveau de détails, l’organisation du texte,
○ le respect des conventions,
○ la qualité du développement narratif,
○ la répétition / redondance, les emprunts / le plagiat,
○ le style, les idées ou thèmes abordés (i.e. le nombre d’idées, leur variété),
originalité (comment la mesurer?), etc.
Méthodologie
Évaluer des compétences en écriture?*
*Note: Surtout valable dans le contexte de la correction d’essais ou de textes plus longs

● Une première approche « naïve »
○ Mesurer l’usage du vocabulaire propre à la taxonomie du domaine des
compétences disciplinaires à évaluer;
● Idées plus avancées:
○ Comparaison de fragments de cartes conceptuelles:
■ Extraction de concepts et de relations d’une réponse textuelle;
○ Inférence textuelle* (Textual Entailment):
■ À partir de deux textes, déterminer si le sens du second texte peut être
déduit à partir de celui du premier [Dagan, Glickman & Magnini, 2006];
○ Paraphrasage et réécriture [Androutsopoulos & Malakasiotis, 2010].
Méthodologie
Évaluer des compétences disciplinaires?
*Note: Autre équivalent en français « Implication textuelle »

● Préparation des données;
● Ingénierie des attributs;
● Création et entraînement de modèles statistiques;
○ Algorithmes classiques d’apprentissage statistiques;
○ Exploration de l’apprentissage profond (deep learning).
Méthodologie
Chaîne de traitements intelligents des données

Méthodologie
*Note: Cours sur l’apprentissage statistique de Yoshua Bengio UdeM

Source: http://peekaboo-vision.blogspot.ca/2013/01/machine-learning-cheat-sheet-for-scikit.html
Méthodologie
Outils: Python, Pandas, Scikit-learn, NLTK (Natural Language ToolKit),
analyseur dérivé du Correcteur 101, WOLF, Pylearn2, Theano, Lasagne, etc.

● Les attributs les plus usuels [Burrows, Gurevych & Stein, 2015];
○ lexicométriques: nombre de caractères, nombre de mots, longueur moyenne
des mots, nombre de phrases, longueur moyenne des phrases, nombre de
mots distincts, nombre de verbes, …
○ statistiques: ngrammes, cooccurrence, TF-IDF*, mesures de similarité,
distance d’édition, métrique BLEU ou ROUGE, fréquence des termes;
○ linguistiques: sac de mots, partie du discours / étiquettes lexicales, étiquettes
syntaxiques, erreurs orthographiques / grammaticales,
○ sémantiques: lemmes, termes, réduction ou ajout de synonymes, analyse
sémantique latente**, algorithme de Lesk
Méthodologie
Attributs usuels
*Note: Term Frequency - Inverse Document Frequency **Latent Semantic Analysis (LSA)

● Le jeu de données est divisé en 3 groupes*:
○ les données d’entraînement (training set) 60 % des données;
○ données de validation croisée (cross-validation) 20 % des données;
○ données de test (test set) 20 % des données;
● Ainsi, les données de test restent vierges afin d’estimer l’erreur de
généralisation, (i.e. la mesure de performance ultime) du modèle
sélectionné;
● On répète les tests avec chaque modèles plusieurs fois en appliquant un
test d’hypothèse comme le test T de Student à 5% ou à 1%.
Méthodologie
Création et sélection de modèles statistiques

Tendances observées pour un modèle statistique
modèle simple modèle complexe
biais élevé variance élevée
sous-apprentissage (underfitting) sur-apprentissage (overfitting)
Méthodologie

● Économiser la création d’attributs complexes;
● Laisser les algorithmes de réseaux de neurones à plusieurs couches apprendre eux-
mêmes les attributs ou représentations;
● Devenu possible ces dernières années par l’accroissement des capacités de calcul et
les volumes considérables de données;
● Explorer les limites de l’application de l’apprentissage profond;
● Comparer une approche où l’accent a été mis sur l’ingénierie des attributs et une autre
approche qui apprend les attributs;
● Principal problème: la petite taille du corpus;
● Solutions: recueillir suffisamment de données ou contourner le problème =>
augmentation / enrichissement des données;
*Note: Ou apprentissage de représentations par réseaux profonds de neurones - En anglais Deep Learning Source: [Bengio, 2009]
Méthodologie
Apprentissage profond*

La validation des résultats du prototype reposera sur plusieurs approches:
● Étiquetage indirect par autoévaluation;
● Étiquetage manuel des données d’entraînement par un premier juge
humain;
● Comparaison Sémantron-juges et inter-juges:
On comparera les prédictions de Sémantron avec les résultats étiquetés par
deux autres juges sur les données de test.
Méthodologie
Validation des résultats

Méthodologie
Processus de recherche

État d’avancement des travaux

État d’avancement des travaux (1)
● L'usage d'un corpus de taille suffisante en langue française est un point critique
dans la réalisation du projet;
● Intégration d’un type spécial de questions ouvertes à la plateforme Open edX dans
le cadre du projet pilote CLOM-TÉLUQ et Ulibre lancés en octobre 2014;
● Constitution du corpus CLOM-TÉLUQ:
○ 9 questions différentes;
○ Réponses courtes en français (entre 75 et 150 mots)*;
○ 4 762 réponses, avec 400 à 700 réponses par question (moyenne 529);
○ Un corpus CACR typique comporte 9 questions, 1029 réponses et 92 réponses
par question en moyenne [Burrows, Gurevych & Stein, 2015];
● Suffisant pour des algorithmes classiques d’apprentissage statistique.
*Note: Un texte est généralement plus long en français qu’en anglais et on parle de 100 mots en anglais.

● En avril - premiers résultats de Sémantron sur un modèle statistique
prédictif, supervisé très « élémentaire ».
● Traitement d'une seule question avec 783 réponses
● Attributs: essentiellement des mots filtrés par TF-IDF*
● Étiquetage: via l'auto-évaluation par les étudiants
● Algorithme: classificateur Bayes naïf
● Score avec validation croisee (20 fois) et intervalle de confiance de 95
pourcent: 79.2 % (+/- 1.10)
● Base de référence: 50.7 % (OneR, i.e. la classe la plus fréquente).
● A priori, ça semblait bon, mais….
*Note: (Term Frequency-Inverse Document Frequency http://fr.wikipedia.org/wiki/TF-IDF)

● Problème d’équilibre des classes
● En vérifiant mes résultats, je me rends compte d’une « erreur
méthodologique » dans le calcul de ma base de référence (classe
dominante) d’abord évaluée à 51 % car j’incluais des NaN (réponse
incomplète ou réponse vide)
● En réalité les classes sont très mal équilibrées et ma base de référence,
celle de la classe dominante est à 78.9 %
● Donc mon modèle ne faisait pas mieux que la règle OneR !
*Note: (Term Frequency-Inverse Document Frequency http://fr.wikipedia.org/wiki/TF-IDF)

● Rééquilibrage du corpus
○ Créer un corpus équilibré au niveau de la répartition des classes. On va
maximiser l'emploi de la classe qui est la moins représentée et
compléter avec des exemplaires de la classe dominante.
● Traitement d'une seule question avec 505 réponses
● Attributs: mots filtrés par TF-IDF*, augmentation des données par des
synonymes
● Étiquetage: via jugement humain
● Algorithme: forêts d’arbres aléatoires (random forests)
● Emploi maximal des données par la mise-de-côté unique (leave-one-out )

Contribution originale attendue
● Premier outil de correction automatique de réponses courtes à des
questions ouvertes en langue française basé sur l’apprentissage statistique
et un modèle cognitif de la compétence*;
● Sémantron tentera d’apporter un support aux apprenants dans l’acquisition
de compétences:
○ au niveau de l’écriture;
○ au niveau de compétences disciplinaires;
● Meilleure compréhension des conditions et limites d’application des
algorithmes d’apprentissage profond (deep learning) en langue naturelle.
● Expérimentation de l’augmentation / enrichissement des données;

Perspectives
● Mise à la disposition du corpus CLOM-TÉLUQ;
● Étendre Sémantron à la correction d’essais, i.e. des textes de plusieurs
paragraphes;
● Sémantron sera intégré à la plateforme Open edX.

Annexe - Open edX
● Disponible depuis juin 2013, la plateforme Open edX en logiciel libre sous
licence Affero GPL v3 permet de créer et gérer des CLOM;
● Open edX sera utilisée pour la collecte du corpus puis pour l’intégration de l’
évaluation de compétences au moyen de questions ouvertes;
● Une fois le modèle prédictif opérationnel, nous prévoyons intégrer des outils
de correction de questions courtes et d’essais en français à la plateforme
Open edX.

Bibliographie
[Androutsopoulos & Malakasiotis, 2010] Androutsopoulos, I., & Malakasiotis, P. (2010).
A survey of paraphrasing and textual entailment methods. Journal of Artificial
Intelligence Research, 135–187. En ligne:
http://www.jair.org/media/2985/live-2985-5001-jair.pdf
[Balfour, 2013] Balfour, S. P. (2013). Assessing writing in MOOCs: Automated essay
scoring and calibrated peer review. Research & Practice in Assessment, 8(1), 40–48.En
ligne http://www.rpajournal.com/dev/wp-content/uploads/2013/05/SF4.pdf
[Bengio, 2009] Bengio, Y. (2009). Learning Deep Architectures for AI. Machine
Learning, 2(1), 1–127. En ligne http://www.iro.umontreal.ca/~lisa/pointeurs/TR1312.pdf
[Burrows, Gurevych & Stein, 2015] Burrows, S., Gurevych, I., & Stein, B. (2015). The
Eras and Trends of Automatic Short Answer Grading. International Journal of Artificial
Intelligence in Education, 25(1), 60–117.
En ligne http://www.uni-weimar.de/medien/webis/publications/papers/stein_2014n.pdf
[Coulombe, 2013b] Coulombe C., Vers les CLOM-p - Les CLOM portfolios pour
l'agrément des compétences, Journée MATI Montréal 2013, L’innovation dans les
modèles, méthodes et outils pour l’apprentissage et le développement des
compétences, Montréal, 1er mai 2013. En ligne Diapos de la présentation Vidéo de la
présentation

Bibliographie (2)
[Csikszentmihalyi & Nakamura, 2002] Csikszentmihalyi, M., & Nakamura, J. (2002). The
concept of flow. Handbook of Positive Psychology, 89–105. En ligne: http://myweb.
stedwards.edu/michaelo/2349/paper1/ConceptOfFlow.pdf
[Dagan,Glickman & Magnini, 2006] Dagan, I., Glickman, O., & Magnini, B. (2006). The
PASCAL recognising textual entailment challenge. In Machine learning challenges.
evaluating predictive uncertainty, visual object classification, and recognising tectual
entailment (pp. 177–190). Springer. En ligne http://eprints.pascal-network.
org/archive/00001298/01/dagan_et_al_rte05.pdf
[Freeman et al, 2014] Freeman, S., Eddy, S. L., McDonough, M., Smith, M. K.,
Okoroafor, N., Jordt, H., & Wenderoth, M. P. (2014). Active learning increases student
performance in science, engineering, and mathematics. Proceedings of the National
Academy of Sciences, 111(23), 8410-8415.
http://www.pnas.org/content/111/23/8410.full
[Hake, 1998] Hake, R. R. (1998). Interactive-engagement versus traditional methods: A
six-thousand-student survey of mechanics test data for introductory physics courses.
American journal of Physics, 66(1), 64-74.
http://files.eric.ed.gov/fulltext/ED441679.pdf

Bibliographie (3)
[Hollands & Tirthali, 2014] Hollands, F. M., & Tirthali, D. (2014). MOOCs: Expectations
and Reality (p. 211). Teachers College, Columbia University. En ligne http://cbcse.
org/wordpress/wp-content/uploads/2014/05/MOOCs_Expectations_and_Reality.pdf
[Margaryan, Bianco & Littlejohn, 2015] Margaryan, A., Bianco, M., & Littlejohn, A.
(2015). Instructional quality of Massive Open Online Courses (MOOCs). Computers &
Education, 80, 77–83. En ligne http://www.sciencedirect.
com/science/article/pii/S036013151400178X#appsec1
[Morrison, 2012] Morrison, Debbie. The Next Big Disruptor - Competency-based
Learning. Blog. Online Learning Insights, June 12, 2012. En ligne
http://onlinelearninginsights.wordpress.com/2012/06/12/the-next-big-disruptor-
competency-based-learning/
[Norvig, 2013] Norvig, P. (2013, July 18). How to Make Online Courses Massively
Personal: Scientific American. Scientific American, (August 2013 issue). En ligne http:
//www.scientificamerican.com/article.cfm?id=how-to-make-online-courses-massively-
personal-peter-norvig

Bibliographie (4)
[Paquette, 2007] Paquettte G., An ontology and Software Framework for Competency
Modeling and Management, Educational Technology & Society, vol. 10, no 3, juillet
2007, p. 1-21.
[Paquette, 2002b] Paquette, G.. Modélisation des connaissances et des compétences.
Presses de l’Université du Québec, 2002. Québec, Québec, p. 66
[Raynauld, Gerbé & Téta Nokam, 2012] Raynauld, J., Gerbé, O., & Téta Nokam, N.
(2012). Référentiels de compétences (No. Publication 2012-06) (p. 37). Montréal: GTN-
Québec. En ligne http://www.gtn-quebec.org/moa/publications/rapport/referentiels-
competences/
[Reich, 2015] Reich, J. (2015). Rebooting MOOC Research. Science, 347(6217), 34–35.
En ligne
http://www.edtechresearcher.com/wp-content/uploads/2012/11/Reich_Rebooting_1214.docx
[Shermis & Burstein, 2013] Shermis, M. D., & Burstein, J. (2013). Handbook of
automated essay evaluation: Current applications and new directions. New York, USA:
Routledge.
[Tardif, 2006] Tardif, J. L’évaluation des compétences. Chenelière Éducation, 2006, p.

Séminaire polytechnique 12nov15

Contenu connexe

Tendances

Similaire à Séminaire polytechnique 12nov15

Plus de Claude Coulombe

Séminaire polytechnique 12nov15