Un cadre méthodologique pour l’accompagnement de dispositifs de type MOOC : Cadre descriptif, échelles et grilles d'entretien

Des outils méthodologiques
pour observer les MOOC
La recherche et les MOOC : de quoi parle-t-on ?
Pierre-André Caron, Marilyne Rosselle, Jean Heutte
Lille (CIREL-Université de Lille) et Amiens (MIS-UPJV)
{pierre-andre.caron, jean.heutte}@univ-lille1.fr, marilyne.rosselle@u-picardie.fr,

09/07/2014 École d'été CNRS EIAH MOOC 2
- Appréhender, Décrire, et Catégoriser
- Comprendre, Prédire et Prescrire
- Observer, Profiler.
sur
un MOOC (considéré comme un dispositif), des activités, les
attentes des apprenants, leur persévérance.
L'usage des apprenants
PLAN

sur
Partie 1

Le MOOC un objet, qu'il est possible
d'appréhender au travers des objets identifiés
par la recherche Objets, cadres
théoriques et
méthodologies
associés
Dispositions Intentions
SAI SPI
EIAH
MOOCMOOC
Environnement
Informatique
pour
l'Apprentissage
Humain
Situation
d'apprentissage
instrumentée,
Situation
pédagogique
instrumentée
Dispositions des
Apprenants.
Auto...(télisme, efficacité,
régulation, nomie)
Intentions pédagogiques

Dispositions
SAI SPI
EIAH
Intentions
- Capturées,
modélisées,
opérationnalisables
- Perçues et décrites
au travers
l'identification de
schèmes d'actions des
enseignants
-Observées au travers
la construction de
dispositifs
- Analysées au travers
des traces laissées
dans l'EIAH

SAI
EIAH
SPI
« une situation
pédagogique intégrant
un ou plusieurs logiciels »
- Appréhendée au travers
les paradigmes et
modèles associés à
différents cadres
théoriques,
- Scénarisée, décrite,
modélisée et manipulée
via des standards du
elearning,
- Observée, au travers
des traces laissées par
sa construction ou son
usage dans l'EIAH

SPI
EIAH
SAI
« une situation
d'apprentissage
intégrant
un ou plusieurs logiciels
qui y jouent un rôle
particulier du point de
vue de l’apprentissage »
- Observée, au travers
de l'interprétation des
traces laissées par
l'usage
apprenant/enseignant de
l'EIAH
- Quantifiée et
appréhendée au travers
le relevé d'indicateurs
construits.
-Explorée au travers
d'entretiens
d'explicitation ou d'auto-
confrontation aux traces

Intentions
SAI SPI
EIAH
Dispositions
Autotélisme, auto-
efficacité,
autorégulation,
autonomie, Flow
→ une manière
d'aborder ce qu'il y a
entre le réel et le
perçu
L'idée que l’ingénierie
pédagogique ne peut
se concevoir
indépendamment des
paramètres «
dispositionnels » des
sujets sociaux
supposés devenir «
apprenants »
[Carré 2010]
Peut être quantifié
par des échelles de
mesure: mesure de
l'intérêt situationnel,
mesure du flow,
échelle
multimensionnelle
de satisfaction de
vie [Heutte et al,
2013a, 2013b,
2014].

SAI SPI
EIAH
Un Environnement
Informatique pour
l’Apprentissage
Humain (EIAH) est un
logiciel
spécifiquement conçu
dans le but d’amener
un apprenant à
développer une activité
favorable à l’atteinte
des objectifs de la SPI
(ou de la SAI)
considérée.
« il est associé à une
SPI ou SAI, il
embarque et véhicule
une intention
pédagogique »
[Tchounikine 2009]
Il peut être décrit, et
modélisé par
- ses entrées, expression
des intentions qui l'ont
fait naître, analyse de
modèles,
analyse d'article
scientifique, entretien
avec les concepteurs.
- ses sorties, expression
de son usage (traces,
observation, entretiens,
etc...)
- son comportement
perçu (observation,
analyse ergonomique,
interprétation)

Modèle du dispositif d'enseignement-apprentissage
Modèle de l'apprenant
Modèle de l'enseignant
Modèle du contexte
d'enseignement-
apprentissage
Des modèles pour décrire le MOOC
Objectif : l'observation par des chercheurs
qui ont chacun leurs cadres théoriques

Une dimension du cadre
description d'un MOOC
[De Vries, 2001], [Gauthier and Colin, 2004] et [Schneider, 2013]

Modèle du contexte
d'enseignement-
apprentissage
Dimension du cadre description
[De Vries 2001], [Gauthier & Colin 2004], [Lane 2012], [Schneider 2012], [Clark 2013],
[Gilliot et al. 2013]

[De Vries 2001], [Siemens 2004]

Modèle du contexte
d'enseignement-
apprentissage
Des modèles pour décrire le MOOC

Cadre de description - version 2
• Regroupement des propriétés pour décrire un
MOOC en cinq dimensions
– Dispositifs et EIAH (bleu)
– Modèle du contexte d’enseignement – SAI – SPI (vert)
– Modèle de l’apprenant, dispositions et émotions (rose)
– Modèle de l’enseignant et intentions (jaune)
– Générale (fche signalétque – à partr des descriptons
en ligne et de [Schneider 2012])

Comment remplir le cadre de
description ?
• Vous êtes chercheur & concepteur d’un MOOC
– Vous avez a priori toutes les informations
• Vous êtes chercheur & participant à un MOOC
– Vous pouvez observer des propriétés d’après l’interface, les
activités proposées, etc.
• Casquettes supplémentaires
– Des techniques classiques d'exploration telles l'observation
participative, l'entretien ou le questionnaire, devraient vous
permettre de recueillir les données nécessaires à la
description du dispositif, ainsi que toute autre méthode de
votre domaine

Exemple d’application : MOOC
iNum (mai-juin 2013)

Description : focus de l’enseignant
(1/2)
L’enseignant-concepteur met la priorité sur « la complétion de tâches » de l’apprenant
(d’après [Lane 2013])
La participation à la
communauté est
favorisée

• Le focus de l’enseignant (suite)
– D’après les entretiens avec les enseignants-concepteurs
• Prise de position réflexive de l’apprenant par rapport à ses productions
• Les intentions de l’enseignant (d’après [De Vries 2001])
– Via Entretiens et via l’interface
Description : focus (2/2) et intentions
?

Une typologie des MOOC :
proposition duale en complément
du cadre de description
●
Transposer un résultat d’un projet européen : configurations conçues
pour décrire les systèmes Hybrides dans l’enseignement Supérieur
(Hy-Sup 2012)
6 configurations HySup => 6 types de MOOC (publiée à eMOOC’2014)

Partie 2
sur

La problématique de l'accompagnement
par la recherche
●
Un MOOC est un dispositif de formation instrumenté, limité dans
le temps, et utilisé de façon anecdotique et opportuniste par les
apprenants.
●
Cet usage spécifique nécessite une appréhension immédiate du
dispositif qui conditionne en partie la bonne réalisation des
activités de groupe.
●
Les cadres théoriques que nous utilisons communément pour
étudier les dispositifs de formation instrumentés suggèrent une
transformation des schèmes et la construction d'un instrument
qui a lieu de façon dynamique et continue dans le temps, lors de
la réalisation de l'activité, lors de l'usage de l'artefact.

La problématique (2)
Le dispositif en tant qu'ofre de signification : un ensemble
d'éléments de langage qui s'interprète culturellement ou
individuellement indépendamment de l'action dans laquelle il
pourrait s'inscrire.
D'où l'idée de penser à convoquer plusieurs cadres
théoriques :
– Sémiotique : les scp d'ET Hall, (1959).
– Instrumental : les critères de J Preece (2000).
– Expérientiel : Modèle de développement par phases de l’intérêt
(Hidi & Renninger, 2006), sentiment d’efcacité personnelle
(Bandura, 1997), l’état de flow (Csikszentmihalyi, 1990).

Échelle de Profil des Apprenants au regard
des systèmes de Communication primaires
(PAC)
●
Les travaux de Hall (1959) ont pour but d’appréhender une culture
et son évolution.
●
Celle-ci est perceptible à travers la manière dont les individus
organisent leurs rapports sociaux. Ces rapports sociaux, pour Hall,
utilisent des Systèmes de Communication Primaires (SCP).
●
L’échelle construite permet d’appréhender les aspects culturels liés
à l'apprentissage et aux attentes des apprenants au sein d'un
dispositif de formation instrumenté.
●
Il ne s'agit pas pour nous de comprendre avec ces échelles
comment les apprenants utilisent le dispositif, mais d'essayer de
spécifier comment ils souhaiteraient l'utiliser

Échelle de Perception
Instrumentale des Communautés (PIC)
●
Critères de jenny Preece (2000) :
→ Mesurer la vitalité d'une communauté de pratique instrumentée par un
artefact informatique.
→ But prescriptif : favoriser l’émergence d'une telle communauté.
●
L’observation du couple formé par la communauté et l'artefact
qu'elle instrumente.
●
Comprendre comment chaque critère de Preece est réifié sous forme
d'usage par la communauté.
●
Établir des liens entre les diverses instrumentations et perceptions
d'un artefact et les potentialités de mise en place d'une communauté
de pratique.

Modèle de développement par phases
de l’intérêt (Hidi & Renninger, 2006)
●
Intérêt individuel : dans le cas présent, l’intérêt pour la
protection/projection de l’identité numérique en tant que
telle.
●
Intérêt situationnel : dans le cas présent, l’intérêt lié à la
situation provoquée par MOOC iNum :
– Intérêt situationnel activé : état émotionnel activé au travers
des caractéristiques de la situation (ce que procure le fait de
se former avec MOOC iNum).
– Intérêt situationnel maintenu : perception du sens, de
l’importance et de la valeur de l’activité (ce que peut apporter
MOOC iNum pour sa formation personnelle).

Sentiment d’efcacité personnelle
(Bandura, 1997)
●
Agentivité humaine et adaptation au changement dans
les environnements numériques très fortement liées à
la perception qu'une personne a d’elle-même, de ses
capacités à exécuter une activité et à réagir face à un
événement, pour utiliser ces dispositifs, mais aussi
concernant sa capacité d'apprentissage.
●
⇒ Le SEP influence le niveau de motivation et le
comportement.

L’état de flow (Csikszentmihalyi, 1990)
L’expérience de Flow est une expérience autotélique se
caractérisant par une récompense intrinsèque (self-oriented
reward) impliquant un sens profond de plaisir, de joie et
d’enrichissement.
Le sentiment de vivre une expérience optimale
d'apprentissage est l'un des déterminants majeurs de la
persistance en formation.
– Absorption cognitive.
– Altération de la perception du temps.
– Absence de préoccupation à propos du soi.
– Bien-être.

Expérimentation
●
Expérimentation des échelles PAC_MOOC et PIC_MOOC
menée dans 4 MOOC (iNum, Internet les autres et moi, Mes
données dans le nuage, GDP3) entre juin 2013 et avril 2014)
(1300, 7500, 5500, 10700 apprenants interrogé).
●
Articulation commune :
– Q_ini PAC, SEPTIC, Phases d’intérêt.
– Q_avant travaux de groupe PIC_MOOC, FLOW, Phases
d'intérêt.
– Q_final, PAC_MOOC et PIC_MOOC, FLOW, Phase d'intérêt.

PAC_MOOC : Les SCP de Hall
●
Deux analyses réalisées par MOOC, semaine 1/2 et
semaine 9/10.
●
Attente ambivalente : espace de liberté structuré.
– Besoin d'enseignement structuré → attente et respect du
programme.
– Plaisir de découvrir et d'explorer → faire soi-même.
●
Le MOOC est perçu comme un dispositif numérique
suggérant lui-même des gestes numériques permettant
l'apprentissage.

Ce que nous apprend l'usage de cette
échelle
La participation au dispositif MOOC :
– Au service d'une montée en puissance professionnel.
– Réponse à un environnement technique en évolution et
anxiogène.
Domination parmi les SCP de l'élément «défense» (au sens
de Hall). Ceci expliquerait à priori l'usage désiré d'outils, de
moyens et de méthodes, en phase avec l'environnement
dont le participant escompte une plus grande maîtrise.

PIC_MOOC : application des critères de
Preece
●
Deux analyses réalisées par MOOC, semaine 2/3 et
semaine 9/10.
●
Sensation de présence au sein de la plate-forme est
perçue de façon très positive par les étudiants. Les
participants considèrent qu'ils reçoivent autant que ce
qu'ils amènent sur la plate-forme.
●
Problème concernant la perception des autres (4 premiers
items) et de leur motivation au travers des fonctionnalités
de la plate-forme.

Phases d'intérêt

SEP TIC

FLOW

Partie 3
sur

Travaux de Bruno Poellhuber (Université
de Montréal)
●
Étude des diférents MOOC EDUlib (HEC Montréal)
●
Recherche d'élaboration du profil des apprenants participants, et
●
Méthodologie
– Questionnaires, résultats aux tests, analyse des « traces » (LA)
– Utilisation
●
SAFAD (sentiment d'auto efcacité en FAD) [Poellhuber, 2007]
●
MSLQ (Motivated Strategies for Learning Questionnaire) [Pintrich &
DeGroot, 1990]

Résultats de Poellhuber (1/2)
●
6 profils de participants identifiés
0 : Absent
1 : Évaluateur (prédominance de l'activité en test)
2 : Lecteur curieux (prédominance de l'activité en lecture)
3 : Actif indépendant (toutes activités sauf forum)
4 : Actif social (prédominance de l'activité en forum)

Résultats de Poellhuber (2/2)
absent evaluateur lecteur curieux actif indépendant actif social
0
10
20
30
40
50
60
70
80
90
100
perséverance
réussite

Prescriptions de Poellhuber
●
Créer des incitatifs intelligents automatiques et méta-cognitifs (texto,
email, agent intelligents, assistants cognitifs)
– Insister sur la régularité des connections, plutôt qu'un grand nombre
– Inciter les moins actifs (profil 0 et 1) à essayer les activité liées aux autres
niveaux (lecture, engagement dans toutes les activités dont engagement
social)
– Enrichir les tests de feedback formatif et de message de soutien à la
motivation
●
Implanter un indicateur de présence et d'engagement
●
Concevoir un test 1 assez facile, avec difcultés croissantes.

Conclusion
●
L’échelle PAC_MOOC s'avèrent pertinente pour mesurer les
attentes et la culture numérique des participants à l'entrée dans le
MOOC.
Une question ouverte porte sur le profil des apprenants
« survivants ». cf travaux de Poellhuber 2014
●
L’échelle PIC_MOOC s'avère pertinente pour mesurer les conditions
nécessaires aux travaux de groupe.
Dans la première étude : les difcultés pour percevoir ce qui pouvait
motiver les autres, l'incapacité de juger l'image que l'on renvoie de
soit même.
Évolution entre le premier questionnaire et le dernier

Conclusion
●
De nombreux cadres théoriques convoqués
●
Des outils d'observations développés : échelles PIC, PAC, EduFlow,
SEP tic
●
Une typologie des MOOC complétée par un cadre de description
publiée (version 2 en cours de publication)
●
Vers le calcul d'un indicateur (prédicteur) de persistence (miroir :
risque d'abandon) utilisant des learning analytics simple d'une
plateforme MOOC (accès à la plateforme, lecture des cours et vidéo,
réalisation des tests, réalisation des activités et participation au forum),
pas de calcul à partir des traces élémentaires

Merci de votre attention
Profitez de ce moment d'échange pour
faire des remarques, des suggestions
et même pour poser des questions :-)

Un cadre méthodologique pour l’accompagnement de dispositifs de type MOOC : Cadre descriptif, échelles et grilles d'entretien

Contenu connexe

Tendances

Similaire à Un cadre méthodologique pour l’accompagnement de dispositifs de type MOOC : Cadre descriptif, échelles et grilles d'entretien

Un cadre méthodologique pour l’accompagnement de dispositifs de type MOOC : Cadre descriptif, échelles et grilles d'entretien