Les données dans les MOOC :
questions méthodologiques
Symposium « Explorer l’environnement optimal
d’apprentissage »
Rémi Bachelet
Ecole Centrale de Lille
Ces diapos http://goo.gl/LXg2JB
Les données « massives » dans la pratique : avancées et limites
– Données : Quoi de neuf avec les MOOC ?
• Revisiter et passer à l’échelle ? open education ?
– Des apprenants à 95% satisfaits ?
• Vraiment ? De nombreuses limites
– Trois segments ab initio
– Open data ? Vie privée ?
• Inventaire des données du MOOC GdP
• Profusion de données, mais quel recollement, quelle exploitation ?
MOOC GdP : quelles recherches en cours ?
– Innovations testées et chiffres
Massif, concurrence et circuit court : une opportunité pour la
recherche ?
Ces diapos sont tweetées et sur Slideshare
2
Partie 2
Les données
« massives » dans la
pratique : avancées et
limites
Données : Quoi de neuf avec les MOOC ?
• Les problématiques de recherche ne sont pas nouvelles
– Des exceptions, p.e. L’évaluation par les pairs dans un contexte
“massif” ?
• Intérêt 1 : revisiter et passer à l’échelle pour administrer la
preuve
• Des données sur une échelle impressionnante
• Volume de données : tester des hypothèses plus riches , degrés de liberté
statistiques
• Intérêt 2 : open education
• Ouverture très forte, reach : liberté d’accès, d’horaires, marketing
Données : points de vigilance
• Des biais de participation qui sont “toujours les mêmes”
– Une nouvelle audience ? Vraiment ?
• Autonomie, littératie numérique et connexion
• 40% des apprenants d’EdX sont .. des enseignants
Au préalable : au moins 3 segments
• Un public segmenté ab initio
1. Individuel ouvert
• Caractéristique ppale = attrition forte : vote avec ses pieds
2. MOOC comme composante d’un cursus
• « Grand prescripteurs », hybridation
• Étudiants, public captif : plus critique, moins engagé, minimise l’effort
3. Formation continue et entreprises
• Plus de moyens , « MOOC sur mesure, SPOC » ?
• Hybridation encore plus développée ?
Open data ? Vie privée ? http://goo.gl/HrMc0
Une profusion de données, mais quel recollement?
• Clics sur des liens courts URL goog.gl
• Stats des vidéos Youtube
• Documents internes équipe conception du xMOOC "ABC de la
gestion de projet"
• Documents internes des équipes-projets du « GdP-Lab »
• Analytics plateforme du MOOC => Canvas
• Questionnaires début/milieu/fin de MOOC
• Activité de la communauté google plus, des groupes Facebook et
LinkedIn
• Questionnaires “ad hoc” : décrochage, groupes d’apprenants
• Analytics du site web gestiondeprojet.pm
Le quantitatif est aussi un piège
.. Notamment à cause d’une forte sensibilité au contexte
– Exemple quelle prise en compte des « annonces plateformes »
• Envoi aisé, général et simultané
• Formulation, timing.. ont un impact majeur
– Idem pour la qualité des devoirs, des tutoriaux, des cours…
Ceci dit, le facteur limitant aujourd’hui pour ce qui nous
concerne est avant tout de trouver du temps-chercheur ayant
la capacité à exploiter ces big data
Une tendance lourde ? De plus en plus
d’inscrits mais de moins en moins d’actifs
0%
10%
20%
30%
40%
50%
60%
70%
0
5000
10000
15000
20000
25000
GdP1 GdP2 GdP3 GdP4 GdP5
#Enrolled % active
Partie 1
Les travaux en cours
autour du MOOC GdP
Richer learning activities for MOOCs (1/3)
Richer learning activities for MOOCs (2/3)
Richer learning activities for MOOCs (3/3)
Quelques chiffres et travaux de recherche
• Depuis janvier 2013
– Lauréats du parcours avancé : 3.312, parcours classique : 12.549,
inscriptions : 63.000, 220.000+ heures*personne de cours
• Objectifs
– Démontrer que l’on peut faire un cours ligne « riche »
– … avec très peu de ressources financières
– Massif et à distance, mais une « vraie » certification (ECTS)
– Influer sur les politiques publiques :
• Innovation pédagogique : conception et pilotage de l’évaluation par les pairs
• Pas seulement la rentabilité et le modèle économique : étudier aussi la création
de valeur par ces formations
• Industries éducatives : trilogie stratégique des MOOC
16
Capital humain /Création
de valeur : estimations
• Nombre d’équivalents ECTS sur les GdP2 et GdP3 : 8.444
• en équivalent années universitaires : 140 années-étudiant
• Coût d’une année-étudiant : 7.000 à 15.000 €
• on aurait donc une valeur produite par le MOOC GdP de 1 à 2 millions d’euros par an
• Heures de cours dispensés
• L’année dernière : 95.300 heures, soit 190 années-étudiant
• 1.3 à 2.6 millions d’euros par an
• Coût de la formation professionnelle équivalente
• 1h de formation continue en e-learning : 30-45€ HT facturés
• 7 à 21 millions d’euros par an
Détail des calculs : http://goo.gl/RC8JLV
Pour lire le papier « Does
peer grading work? How to
implement and improve it? ».
European MOOCs
Stakeholders Summit 2015
Recherches en cours..
• Environnement optimal d'apprentissage et Flow
• Dimension socio-affective et abandon
• Preuve d'un apprentissage effectif
• Formation de dyades et de groupes d’étudiants
• Reccurring students
• Partenariats avec les institutions et professeurs
– intégrer un MOOC à un cursus
D’une édition à l’autre :
innovations et chiffres
du MOOC Gestion de
Projet
En diapos http://goo.gl/N96NEB
Interviews en vidéo : Genèse du
MOOC http://goo.gl/faY8Bz
Conclusion
Une opportunité pour
la recherche ?
Année zéro ?
Auparavant : production de connaissances
…mais on l’a vu avec les premiers MOOC, les
connaissances produites n’ont pas été transférées
dans la pratique.
2012-2013 était-elle une « Année zéro » ?
.. les MOOC sont aussi une opportunité
• Un « Circuit court et ouvert » pour l’innovation
pédagogique ?
• Innovation => mise en œuvre à grande échelle
• Publication large => concurrence
=> Vers une recherche en sciences de l’éducation
beaucoup plus efficace qu’auparavant ?
Merci de votre attention !
• Twitter : @R_Bachelet, Googleplus : +Rémi Bachelet
Stats et taux de réussite
• Inscrits GdP1, 2, 3, 4 et 5:
– 3493 + 10848 + 11827 + 19171 + 17579= 62.918
• Taux d’entrée = participants actifs / pré-inscrits
– 66% // 53% // 50% // 42% // 28%
• Taux de réussite du parcours classique = réussite des 25h de parcours / participants à au moins un quiz
– 57% // 61% // 38% // 41% // 47%
• Taux de réussite du parcours avancé
– 80-70% stable
• Nombre de lauréats du parcours classique
– 1328 + 3486 + 2222 + 3231 + 2282 = 12.549
• Lauréats du parcours avancé
– 453 + 790 + 705 + 861 + 503 = 3.312
• Réseaux sociaux
– Groupe Facebook (8300 membres), communauté Google+ (2600), Twitter #MOOCGdP, Linkedin (1200)
• Open data - toutes les statistiques de chaque édition sont partagées :
– http://goo.gl/ewXd5
Chiffres mis à jour : 20/05/2015

Symposium E-Formation 2015 - les données dans les MOOC - juin 2015

  • 1.
    Les données dansles MOOC : questions méthodologiques Symposium « Explorer l’environnement optimal d’apprentissage » Rémi Bachelet Ecole Centrale de Lille Ces diapos http://goo.gl/LXg2JB
  • 2.
    Les données «massives » dans la pratique : avancées et limites – Données : Quoi de neuf avec les MOOC ? • Revisiter et passer à l’échelle ? open education ? – Des apprenants à 95% satisfaits ? • Vraiment ? De nombreuses limites – Trois segments ab initio – Open data ? Vie privée ? • Inventaire des données du MOOC GdP • Profusion de données, mais quel recollement, quelle exploitation ? MOOC GdP : quelles recherches en cours ? – Innovations testées et chiffres Massif, concurrence et circuit court : une opportunité pour la recherche ? Ces diapos sont tweetées et sur Slideshare 2
  • 3.
    Partie 2 Les données «massives » dans la pratique : avancées et limites
  • 4.
    Données : Quoide neuf avec les MOOC ? • Les problématiques de recherche ne sont pas nouvelles – Des exceptions, p.e. L’évaluation par les pairs dans un contexte “massif” ? • Intérêt 1 : revisiter et passer à l’échelle pour administrer la preuve • Des données sur une échelle impressionnante • Volume de données : tester des hypothèses plus riches , degrés de liberté statistiques • Intérêt 2 : open education • Ouverture très forte, reach : liberté d’accès, d’horaires, marketing
  • 5.
    Données : pointsde vigilance • Des biais de participation qui sont “toujours les mêmes” – Une nouvelle audience ? Vraiment ? • Autonomie, littératie numérique et connexion • 40% des apprenants d’EdX sont .. des enseignants
  • 7.
    Au préalable :au moins 3 segments • Un public segmenté ab initio 1. Individuel ouvert • Caractéristique ppale = attrition forte : vote avec ses pieds 2. MOOC comme composante d’un cursus • « Grand prescripteurs », hybridation • Étudiants, public captif : plus critique, moins engagé, minimise l’effort 3. Formation continue et entreprises • Plus de moyens , « MOOC sur mesure, SPOC » ? • Hybridation encore plus développée ?
  • 8.
    Open data ?Vie privée ? http://goo.gl/HrMc0
  • 9.
    Une profusion dedonnées, mais quel recollement? • Clics sur des liens courts URL goog.gl • Stats des vidéos Youtube • Documents internes équipe conception du xMOOC "ABC de la gestion de projet" • Documents internes des équipes-projets du « GdP-Lab » • Analytics plateforme du MOOC => Canvas • Questionnaires début/milieu/fin de MOOC • Activité de la communauté google plus, des groupes Facebook et LinkedIn • Questionnaires “ad hoc” : décrochage, groupes d’apprenants • Analytics du site web gestiondeprojet.pm
  • 10.
    Le quantitatif estaussi un piège .. Notamment à cause d’une forte sensibilité au contexte – Exemple quelle prise en compte des « annonces plateformes » • Envoi aisé, général et simultané • Formulation, timing.. ont un impact majeur – Idem pour la qualité des devoirs, des tutoriaux, des cours… Ceci dit, le facteur limitant aujourd’hui pour ce qui nous concerne est avant tout de trouver du temps-chercheur ayant la capacité à exploiter ces big data
  • 11.
    Une tendance lourde? De plus en plus d’inscrits mais de moins en moins d’actifs 0% 10% 20% 30% 40% 50% 60% 70% 0 5000 10000 15000 20000 25000 GdP1 GdP2 GdP3 GdP4 GdP5 #Enrolled % active
  • 12.
    Partie 1 Les travauxen cours autour du MOOC GdP
  • 13.
  • 14.
  • 15.
  • 16.
    Quelques chiffres ettravaux de recherche • Depuis janvier 2013 – Lauréats du parcours avancé : 3.312, parcours classique : 12.549, inscriptions : 63.000, 220.000+ heures*personne de cours • Objectifs – Démontrer que l’on peut faire un cours ligne « riche » – … avec très peu de ressources financières – Massif et à distance, mais une « vraie » certification (ECTS) – Influer sur les politiques publiques : • Innovation pédagogique : conception et pilotage de l’évaluation par les pairs • Pas seulement la rentabilité et le modèle économique : étudier aussi la création de valeur par ces formations • Industries éducatives : trilogie stratégique des MOOC 16
  • 20.
    Capital humain /Création devaleur : estimations • Nombre d’équivalents ECTS sur les GdP2 et GdP3 : 8.444 • en équivalent années universitaires : 140 années-étudiant • Coût d’une année-étudiant : 7.000 à 15.000 € • on aurait donc une valeur produite par le MOOC GdP de 1 à 2 millions d’euros par an • Heures de cours dispensés • L’année dernière : 95.300 heures, soit 190 années-étudiant • 1.3 à 2.6 millions d’euros par an • Coût de la formation professionnelle équivalente • 1h de formation continue en e-learning : 30-45€ HT facturés • 7 à 21 millions d’euros par an Détail des calculs : http://goo.gl/RC8JLV
  • 21.
    Pour lire lepapier « Does peer grading work? How to implement and improve it? ». European MOOCs Stakeholders Summit 2015
  • 22.
    Recherches en cours.. •Environnement optimal d'apprentissage et Flow • Dimension socio-affective et abandon • Preuve d'un apprentissage effectif • Formation de dyades et de groupes d’étudiants • Reccurring students • Partenariats avec les institutions et professeurs – intégrer un MOOC à un cursus
  • 23.
    D’une édition àl’autre : innovations et chiffres du MOOC Gestion de Projet En diapos http://goo.gl/N96NEB Interviews en vidéo : Genèse du MOOC http://goo.gl/faY8Bz
  • 24.
  • 25.
    Année zéro ? Auparavant: production de connaissances …mais on l’a vu avec les premiers MOOC, les connaissances produites n’ont pas été transférées dans la pratique. 2012-2013 était-elle une « Année zéro » ?
  • 26.
    .. les MOOCsont aussi une opportunité • Un « Circuit court et ouvert » pour l’innovation pédagogique ? • Innovation => mise en œuvre à grande échelle • Publication large => concurrence => Vers une recherche en sciences de l’éducation beaucoup plus efficace qu’auparavant ?
  • 27.
    Merci de votreattention ! • Twitter : @R_Bachelet, Googleplus : +Rémi Bachelet
  • 28.
    Stats et tauxde réussite • Inscrits GdP1, 2, 3, 4 et 5: – 3493 + 10848 + 11827 + 19171 + 17579= 62.918 • Taux d’entrée = participants actifs / pré-inscrits – 66% // 53% // 50% // 42% // 28% • Taux de réussite du parcours classique = réussite des 25h de parcours / participants à au moins un quiz – 57% // 61% // 38% // 41% // 47% • Taux de réussite du parcours avancé – 80-70% stable • Nombre de lauréats du parcours classique – 1328 + 3486 + 2222 + 3231 + 2282 = 12.549 • Lauréats du parcours avancé – 453 + 790 + 705 + 861 + 503 = 3.312 • Réseaux sociaux – Groupe Facebook (8300 membres), communauté Google+ (2600), Twitter #MOOCGdP, Linkedin (1200) • Open data - toutes les statistiques de chaque édition sont partagées : – http://goo.gl/ewXd5 Chiffres mis à jour : 20/05/2015