Actuellement, le concept de compétence est en train de devenir un vecteur commun pour la représentation des profils professionnels, la conception des programmes de formation et la détermination de profils des apprenants. Avec la diffusion des environnements numériques d’apprentissage (ENA) dans les situations et les dispositifs d’apprentissage tant formel qu’informel, de nombreuses recherches proposent des modèles et fournissent des pistes pour aider les institutions dans les processus de conception et de mise en œuvre d’ENA basés sur les compétences. Seulement, dans ces recherches, les compétences sont encore sujettes à diverses approches et techniques de modélisation. L’objectif de notre communication est de fournir un état de l’art sur l’utilisation des compétences pour guider l’ingénierie et la personnalisation des scénarios pédagogiques dans les ENA. Plus spécifiquement, nous traitons de la représentation des compétences à l’aide des ontologies, des méthodes et des outils d’évaluation des compétences selon les acteurs impliqués ainsi que de l’assistance personnalisée en fonction des compétences. Nous identifions les problèmes et les défis soulevés par la littérature dans ces domaines, en portant une attention particulière aux impacts de la massification de l’enseignement et de la personnalisation de l’apprentissage sur les problématiques dégagées.

1. L’utilisation des
compétences pour guider
l’ingénierie et la
personnalisation des ENA
85e Congrès de l’ACFAS, 8 - 12 mai 2017
Colloque 619 - Vers une nouvelle ingénierie
pédagogique pour les ENA
Rim Bejaoui, Chercheuse postdoctorale au
Laboratoire en ingénierie cognitive et éducative
(LICÉ), Centre de recherche LICEF (TÉLUQ)

2. Plan
1. Introduction
2. Représentation des compétences à l’aide
des ontologies
3. Analyse comparative de standards de
définition des compétences
4. Évaluation des compétences
5. Conclusion
2

3. 1.
Introduction
Les compétences : composante
centrale dans la gestion des RH et
la conception de programmes
académiques
3

4. L’approche par compétence en éducation
◎ Années 80 (au Québec)
◎ Met l'accent sur des résultats d'apprentissage
tangibles et démontrables (CAEL, 2017; Krause, Dias et Schedler, 2015)
◎ Avantages :
○ Plus d’engagement de la part de l'apprenant
○ Développement d’habiletés nécessaires dans la pratique
○ Meilleure observation et rétroaction sur l’apprentissage
○ Accréditation plus précise et plus utile
4

5. Organisation A
Cycle
d'apprentissage
entrepreneurial
guidé par les
compétences
(Sicilia, 2005)
KM
Entrepôts &
Fournisseurs
d’objets
d’apprentissage
(OA)
LMS
Contexte d’affaires
Activités d’apprentissage
Sélection /
Composition d’OA
Évaluation de la
performance
Analyse des écarts
Référentiel de
compétences
Besoins stratégiques
Compétences m.à.j.
Compétences
disponibles
Ciblage
Besoins Nouveaux produits/
services
5

6. Pourquoi les compétences sont elles importantes ?
6
◎ Le traitement automatisé des
compétences est un élément crucial pour
permettre leur partage par les systèmes
informatiques :
○ Gestion des ressources pédagogiques
○ Gestion des listes du personnel et des apprenants
○ Gestion des CV/offres d’emploi/stages
○ Accréditation/certification

7. 2.
Représentation des
compétences à l’aide des
ontologies
7

8. Représentation des compétences à l’aide des ontologies
◎ Ontologies
○ Modèle formel de représentation des
connaissances
○ Utilisation de règles d’inférence ➪ acquisition
de nouvelles connaissances/concepts, relations
○ En éducation:
◉ Description de domaines de connaissances, objets
d'apprentissage (OA), propriétés de l'apprenant, relations
entre l’apprenant et son contexte, …
◉ Amélioration de l'interopérabilité et de l'échange de
données dans les systèmes d’apprentissage adaptatifs
8

9. “
Capacité d’un individu, ou plus
généralement d’une ressource, à exercer une
habileté générique (sur le plan cognitif,
affectif, social ou psychomoteur) avec un
certain niveau de performance, par rapport
à une ou plusieurs connaissances.
[Paquette, 2007]
Une compétence est la ...
9

10. Ontologie des compétences de Paquette (2007) (1 sur 3)
10

11. Ontologie des compétences de Paquette (2007) (2 sur 3)
11

12. Ontologie des compétences de Paquette (2007) (3 sur 3)
12

13. Ontologie des compétences de Paquette (2007)
◎ Énoncé de compétence ⇨ décrit le plus
précisément possible la compétence
○ Connaissance principale, verbe de l’habileté et performance
attendue, en utilisant les termes connus de l’organisation
◎ Exemple :
○ « Analyser les textes de loi applicables aux situations
juridiques, avec ou sans aide, selon la complexité de la
situation ».
13

14. Ontologie des compétences de Paquette (2007)
◎ Intégration de l’ontologie dans
○ TELOS (système de recommandation, éditeur de
compétences, e-portfolio), ADISA, gabarits de MISA
◎ Extension par Rezgui et al. (2014)
○ Utilisation des espaces de noms (Dublin Core, Skos
Core)
○ Intégration avec le standard HR-XML Competencies et
une ontologie d’e-portfolio.
14

15. Ontologie des compétences de Paquette (2007)
◎ Énoncés de compétences reliés à des ontologies de
domaine
○ Permet une description formelle de la partie
“connaissance” de la compétence
○ Fournit des heuristiques de comparaison de proximité
sémantique des compétences (Paquette et Marino 2012)
◎ Absence des évidences et du degré de confiance
associé aux compétence et aux évidences
◎ Ne prend pas en compte le processus d’évaluation
d’une compétence
15

16. 3.
Analyse comparative des
standards de définition
des compétences
● Spécification IMS RDCEO(IMS RDCEO, 2002)
● Schéma HR-XML Competencies (Bloom et al., 2004)
● Vocabulaire ASN (Achievement Standards Network Core RDF) (ASN, 2002)
● Projet de norme ISO IEC Competency Models
(expressed in MLR)
16

17. Spécification IMS RDCEO (IMS Reusable Definition of
Competency or Educational Objective) (IMS RDCEO, 2002)
◎ Reprise dans le standard IEEE RCD
(Reusable Competency Definitions) (IEEE RCD, 2004)
◎ Minimaliste et extensible ([M] : Mandatory, [O] : Optional)
○ Identifiant [M]
○ Titre [M]
○ Description [O]
○ Définition [O]
○ Métadonnées [O]
17

18. Ontologie RDF de la spécification IMS RDCEO
18

19. Spécification IMS RDCEO (IMS RDCEO, 2002)
◎ Pas d'indication sur comment évaluer ou
comparer les compétences
◎ Permet l’ajout de métadonnées
◎ La plupart des éléments du modèle de
données sont de type String
⇨ Interopérabilité limitée
◎ Omet le “contexte” et le “niveau de
performance”
○
19

20. Schéma HR-XML Competencies (Bloom et al., 2004)
◎ Extension des standards IMS RDCEO et IEEE RCD
○ Propriété « subsume » : une compétence peut inclure
d'autres compétences
○ Élément « CompetencyWeight » : représente le niveau
de performance associé à la compétence
○ Élément « CompetencyEvidence » : démontre
l’acquisition d’une compétence par un individu
(ex. note dans un test, certificat, etc.)
○ Élément « TaxonomyId » : références vers des
taxonomies de compétences externes
20

21. Ontologie RDF du schéma HR-XML Competencies
21

22. Ontologie RDF du schéma HR-XML Competencies (Suite)
22

23. 23
Schéma HR-XML Competencies (Bloom et al., 2004)
◎ Classement et évaluation des compétences
○ «subsume», «CompetencyWeight»,
«CompetencyEvidence», «TaxonomId»
◎ Simplification excessive du terme
compétence
◎ Ne permet pas la comparaison sémantique

24. Vocabulaire ASN (Achievement Standards Network Core RDF)
(ASN, 2002)
◎ Espace de noms, fournit
des URI vers des termes
utiles autour des
compétences
◎ 2 types de relations :
○ Structurelles
(ex. isChildOf, hasChild)
○ Sémantiques
(ex. CrossSubjectReference)
◎ 8 classes et 37 propriétés
Modèle conceptuel du vocabulaire ASN
(ASN, 2012)
24

25. Ontologie RDF du Vocabulaire ASN
25

26. Vocabulaire ASN (ASN, 2012)
◎ Fortement axé sur les énoncés en langage
naturel
◎ Intègre plusieurs niveaux d’alignement
entre énoncés de compétences
○ ASN: Map (minorAlignement, majorAlignement,
prerequisiteAlignment, exactAlignement, …)
◎ Le référencement et la comparaison de
compétences en langage naturel restent
difficiles
26

27. Norme ISO IEC Competency Models (expressed in MLR)
◎ Représentation au format MLR (ISO-CEI 19788-1)
de la structure et des métadonnées
utilisées pour décrire :
○ Une compétence (Competency semantic
information model: ISO- IEC 20006-2: 2015)
○ Le niveau de performance (Proficiency
information model: ISO-CEI 20006-1: 2014)
○ Les relations des 2 modèles.
27

28. Ontologie RDF de la norme ISO IEC Competency Models
28
Proficiency information model
(ISO-IEC 20006-2:2015
Competency semantic information model
(ISO-IEC 20006-1:2011)

29. Norme ISO IEC Competency Models (expressed in MLR)
◎ Types des propriétés des classes mal définis
ou manquants
○ La plupart sont de type MLR String
◎ Pas d'orientations pour la comparaison
sémantique entre compétences
◎ Spécification du “contexte” (Scenario_unit)
○ Ex. Évaluation de la compétence : AssessmentProcess
(MLR string)
29

30. Comparaison : Ontologie de Paquette vs. IMS RDCEO vs. HR-XML
Competencies vs. Vocabulaire ASN vs. ISO IEC Competency Models
(Support : “⬛” = total, “⬜” = partiel, “ ” = absent)
Critère
Ontologie de
Paquette
IMS RDCEO
HR-XML
Competencies
Vocabulaire
ASN
ISO IEC
Competency
Models
Partie
“Connaissance”
⬛ ⬜ ⬜ ⬜
Partie
“Habileté”
⬛ ⬜ ⬜ ⬜
Partie
“Performance”
⬛ ⬜ ⬜ ⬜
Évidence ⬛
Degré de
confiance
Comparaison
sémantique
⬛ ⬜ ⬜
Évaluation ⬜
30

31. 4.
Évaluation des
compétences
31

32. Évaluation des compétences
◎ ≠ Approche béhavioriste
○ Objectif d’apprentissage : ✓atteint ou ╳ non atteint
◎ Notion d'acquisition graduelle de
compétences
➤ Hypothetical
Growth Curves
for a Single
Trainee for
different
Entrustable
Professional
Activities
(EPAs) (Norman
et al., 2014)
32

33. Évaluation des compétences
◎ Les apprenants démontrent leur maîtrise de
nouvelles compétences
○ Tâches liées à des problèmes du monde réel (ex.
simulations, projets de groupe, ...).
○ Vérification du niveau d'habileté, niveau de
performance
◎ Spécification HR-XML Assessments
○ 3 Schémas (Demande d’évaluation, Catalogue d’
évaluation, Rapport d’évaluation)
◎
33

34. Spécification HR-XML Assessments
Demande
d'évaluation
(Assessment Order)
Informations pour exécuter
un test de recrutement ou
une évaluation du
rendement
Catalogue
d'évaluation
(Assessment Catalog)
Rapport
d'évaluation
(Assessment Report)
Instruments d’évaluation
disponibles, regroupés en
‘’paquets’’
Scores et autres détails pour
répondre à une demande
d'évaluation
34

35. 6.
Conclusion et travaux
futurs
35

36. Conclusion
◎ Définition/représentation/évaluation des
compétences
○ Effort de standardisation en cours, mais manque
d’études comparant les différentes propositions
◎ Diversité des sources d’information pour
vérifier la validité des compétences
○ Prise en compte de différents points de vue
◉ Autoévaluation, évaluations par les pairs, évaluation
à correction automatisée, ...
36

37. Conclusion (suite)
◎ Personnalisation des scénarios pédagogiques
○ Ordonnancement d'OA (Dharshini et al., 2015 ; de-Marcos et al., 2014)
○ Génération d’évaluations personnalisées (Cheng et al., 2009 ;
Wan et Niu, 2016)
○ Assistance personnalisée en fonction des compétences
◎ Validation des scénarios pédagogiques dirigée
par les compétences (Contamines, 2008 ; Contamines et al., 2009)
37

38. Travaux futurs
◎ Extension/actualisation de l’ontologie des
compétence de Paquette (2007)
○ Traduction au format RDF/RDFS, utilisation des
espaces de noms
○ Évidence et degré de confiance compétence/évidence
○ Évaluation de compétence
◉ Agent évaluateur, type d’évaluation, type d’instrument d’évaluation, critères d’
évaluation, pondération des critères, etc.
◎ Intégration de l’ontologie à une nouvelle
méthode d’IP d’ENA
38

39. Références
ASN. (2012). Achievement Standards Network Core RDF. Repéré à
http://standards.asn.desire2learn.com/index.php?title=ASN_Vocabulary
Bloom, N., Bork, D., Kiel, P., Scott, D., Edwards, J. D., Cohn, D., … Dolan, K. (2004). HR-XML Competencies
(Measurable Characteristics) Recommendation. Chuck Allen, HR-XML. Repéré à
http://www.ec.tuwien.ac.at/~dorn/Courses/KM/Resources/hrxml/HR-XML-2_3/CPO/Competencies.html
CAEL. (2017). Competency-Based Education. Repéré à
http://www.cael.org/higher-education/competency-based-education
Cheng, S.-C., Lin, Y.-T. et Huang, Y.-M. (2009). Dynamic question generation system for web-based testing
using particle swarm optimization. Expert Systems with Applications, 36(1), 616‑624.
doi:10.1016/j.eswa.2007.09.064
Contamines, J. (2008, 28 août). Cadre de référence pour la validation dirigée par les compétences des agrégats
d’objets d’apprentissage. DIC 9411 - Projet de thèse, TELUQ, Montréal.
Contamines, J., Paquette, G. et Hotte, R. (2009). LÉO, assistant logiciel pour une scénarisation pédagogique
dirigée par les compétences. Revue internationale des technologies en pédagogie universitaire, 6(2-3), 26–33.
de-Marcos, L., Domínguez, A., Saenz-de-Navarrete, J. et Pagés, C. (2014). An empirical study comparing
gamification and social networking on e-learning. Computers & Education, 75, 82‑91.
doi:10.1016/j.compedu.2014.01.012
Dharshini, A. P., Chandrakumarmangalam, S. et Arthi, G. (2015). Ant colony optimization for competency
based learning objects sequencing in e-learning. Applied Mathematics and Computation, 263, 332–341.
39

40. Références
IEEE RCD. (2004). IEEE Draft Standard for Learning Technology - Standard for Reusable Competency Definitions (p.
32 pages). Three Park Avenue New York, NY 10016-5997, USA : Institute of Electrical and Electronics
Engineers, Inc. Repéré à http://grouper.ieee.org/groups/ltsc/wg20/files/IEEE_1484.20.WD_01_rough.pdf
IMS RDCEO. (2002). IMS Reusable Definition of Competency or Educational Objective Specification. IMS Global
Learning Consortium Inc. Repéré à https://www.imsglobal.org/content/rdceo-v1
Krause, J., Dias, L. P. et Schedler, C. (2015). Competency-based education: A framework for measuring quality
courses. Online Journal of Distance Learning Administration, 18(1), 1–9.
Norman, G., Norcini, J. et Bordage, G. (2014). Competency-Based Education: Milestones or Millstones 1?. The
Accreditation Council for Graduate Medical Education Suite 2000, 515 North State Street, Chicago, IL
60654. Repéré à http://www.jgme.org/doi/full/10.4300/JGME-D-13-00445.1
Paquette, G. (2007). An ontology and a software framework for competency modeling and management.
Educational Technology & Society, 10(3), 1–21.
Rezgui, K., Mhiri, H. et Ghédira, K. (2014). An ontology-based approach to competency modeling and
management in learning networks. Dans Agent and Multi-Agent Systems: Technologies and Applications (p.
257–266). Springer. Repéré à
http://link.springer.com.tlqprox.teluq.uquebec.ca/chapter/10.1007/978-3-319-07650-8_26
Sicilia, M.-A. (2005). Ontology-based competency management: infrastructures for the knowledge intensive
learning organization. Dans Intelligent learning infrastructure for knowledge intensive organizations: A semantic
Web Perspective (p. 302–324). IGI Global. Repéré à
http://www.igi-global.com.tlqprox.teluq.uquebec.ca/chapter/on...nagement/24420
Wan, S. et Niu, Z. (2016). A learner oriented learning recommendation approach based on mixed concept
mapping and immune algorithm. Knowledge-Based Systems, 103, 28‑40. doi:10.1016/j.knosys.2016.03.022
40

41. Merci !
Des questions ?
Contact :
◎ www.linkedin.com/in/rim-bejaoui
◎ rim.bejaoui@cogis-consulting.com
◎ bejaoui.rim@univ.teluq.ca
41