L’Évaluation des acquis de formation : enjeux et défis Isabelle Nizet, Ph. D.  consultante LA FORMATION, facteurs de réussite, stratégies d’avenir Centre d’expertise des grands organismes Université Laval  30 septembre 2010  [email_address]
Plan de la présentation  Clarification de termes  Enjeux et défis de l’évaluation des acquis de formation en contexte d’entraînement à la tâche Examen d’une grille  Discussion et questions  [email_address]
1. Clarification de termes  Évaluation – objet, fonctions, modalités Objets et processus d’apprentissage Types de tâches [email_address]
La démarche d’évaluation Planification  :  fonctions, objets, outils, moment Collecte d’informations  :  observation, consignation Analyse et interprétation  :  confrontation des données à un référentiel : critères et indicateurs, seuil de réussite  Jugement  :  définitif  ou  temporaire  Décision  : actions à poser :  remédiation, réussite, exclusion, reprise [email_address]
Diagnostique (gestionnaire-formateur) En cours d’apprentissage (formative) – (formateur) Au terme de la formation (sommative) (formateur – participant) Évaluation de la formation (participant) [email_address]
Anticiper le potentiel de réussite et réguler les apprentissages Identifier les difficultés d’apprentissage  Diagnostique   En cours d’apprentissage  Au terme de la formation  Évaluation continue  Identifier les indicateurs de performance à améliorer Identifier les apprentissages réels et stabilisés durant le temps de formation  Anticiper la capacité de transfert Évaluer la formation Motivation et satisfaction  Identifier les besoins de formation
Avant, pendant, après la formation Ponctuelle (formelle ou informelle)  Épreuve unique (formelle) Continue (formelle ou informelle) [email_address]
Décontextualisée (examen, épreuve) Contextualisée (simulation, mise en situation, entraînement à la tâche) Mixte (en fonction des objets d’apprentissage)  [email_address]
Évaluation  Besoins réels de formation  Potentiel de réussite  Apprentissage réels et stabilisés Capacité de transfert en situation nouvelle Indicateurs de performance à améliorer  Diagnostique  À certaines conditions  En cours d’apprentissage  Prématuré  Prématuré  Évaluation continue  Besoins ponctuels  En fin de formation  À certaines conditions  Inférence Inférence  Épreuve de mise en situation réelle  À certaines conditions  Inférence  Évaluation de la formation Perception
Apprentissages  déclaratifs  (notions, règles, processus) Apprentissages  procéduraux  (procédures, techniques, démarches, stratégies, actions à poser) Apprentissages  dispositionnels  (attitudes) Dans une « tâche complexe » ces objets sont étroitement associés sous forme de  connaissances « conditionnelles   » .  Mobilisation en situation = manifestations de la compétence  [email_address]
Reconnaître les conditions pour… Notions  Processus  ACTION (simple) VS Procédure complexe  SI ALORS … Dispositions ou attitudes  [email_address] = être compétent… poser une action  Règles
NOTRE FONCTIONNEMENT COGNITIF
1. Motivation  2. Appréhension  3. Acquisition  4. Rétention 5.Rappel  6.Généralisation 7.Performance 8.Rétroaction Transfert CONSTRUCTION   MOBILISATION
Simple   Indications verbales sommaires  Mémoriser les informations  Effectuer la tâche ou restituer des informations  Relativement simple  Indications verbales Démonstration  Mémoriser les informations  Reproduire la tâche (constance) Moyennement complexe  Indications verbales Démonstration  Transfert  Mémoriser les informations  Construire  des connaissances conditionnelles Complexe à très complexe   Indications verbales Démonstration Transfert  Suivi de la stabilité Mémoriser les informations  Accomplir la tâche en situations diverses Construire  des connaissances conditionnelles en situation  Accomplir la tâche en situations diverses [email_address]
2. Enjeux et défis de l’évaluation des acquis
[email_address] Paramètres  liés à l’apprentissage Paramètres liés à l’évaluation Objets d’apprentissage  Nature des acquis à évaluer ? Type de tâche  Dans quels types de tâches ces acquis sont-ils mobilisés ? Modes d’apprentissage  Modalités de l’évaluation  Fonction ?  Contexte d’évaluation ?  Moment d’évaluation ?
Apprentissages  déclaratifs Apprentissages  procéduraux  Apprentissages  conditionnels  Informations  verbales  Démonstration  Transfert Objets et modes d’apprentissage  Exigences pour l’apprenant  Apprendre (mémoriser) Performer  Apprendre  et performer  Apprendre (Induire)  Performer Être évalué  Modes d’évaluation Hors contexte En contexte Induction  [email_address]
Mise en situation continue  Grille d’observation et d’auto observation Pronostic de transfert hors formation Autonomie progressive Mise en situation ponctuelle  Grille d’observation  Examen (épreuve) Auto évaluation Tests  Questionnaires  Quiz Choix de réponse Vrai ou faux Objets et modes d’apprentissage  Exigences pour l’apprenant  Modes d’évaluation Réel  Simples  Complexes  Faibles  Fortes  Réaliste  Artificiel  [email_address] Observation continue, probation
Connaissances  Apprentissage du  novice  Évaluation Apprenant avancé ou expert  Évaluation Déclaratives  Systématique et explicite  Formative Ponctuelle (hors situation) Peut être implicite et inductif Pas toujours nécessaire  Procédurales  Systématique et explicite  Formative Ponctuelle (hors situation) Explicite  Formative formelle  (en situation) Conditionnelles  Systématique et explicite  Résolution de problèmes simples  Induction (autonomie) Inclure les connaissances déclaratives  Attitudes  Difficulté de changement (surcharge cognitive) Indicateurs généraux  Explicite  Indicateurs spécifiques (en fonction du profil) Résolution de problèmes  Systématique  Transfert  Situations de transfert latéral ou vertical
GRILLE D’ENTRAÎNEMENT À LA TÂCHE
Améliorer l’outil de cueillette Distinguer  Ce qui relève  de la tâche  (manifestations de la compétence, effets et résultats, étapes clefs - procédures et actions à poser) =  liste de vérification ou grille critériée.  Ce qui relève du  processus d’apprentissage  (capacité d’expliquer, de démontrer, de transférer) =  commentaires Ce qui relève du  niveau dispositionnel  (attitudes, qualités, potentiel) =  grille critériée ou commentaires Limiter les inférences  [email_address]
Améliorer l’outil … Liste de contrôle pour l’apprenant et pour l’observateur.  La concordance des résultats permet de vérifier que l’apprenant a une juste perception de sa performance et des connaissances qu’il appliquées en cours de tâche. [email_address]
Évaluer le transfert … Comparer deux grilles pour des tâches différentes mais comparables :  Transfert  latéral  (mêmes connaissances et autre situation de complexité comparable) Transfert  vertical  (mêmes connaissances mais situation plus complexe ou vérification de création de connaissances par induction dans une situation plus complexe) [email_address]
Période de questions

Evaluation des acquis isabelle nizet

  • 1.
    L’Évaluation des acquisde formation : enjeux et défis Isabelle Nizet, Ph. D. consultante LA FORMATION, facteurs de réussite, stratégies d’avenir Centre d’expertise des grands organismes Université Laval 30 septembre 2010 [email_address]
  • 2.
    Plan de laprésentation Clarification de termes Enjeux et défis de l’évaluation des acquis de formation en contexte d’entraînement à la tâche Examen d’une grille Discussion et questions [email_address]
  • 3.
    1. Clarification determes Évaluation – objet, fonctions, modalités Objets et processus d’apprentissage Types de tâches [email_address]
  • 4.
    La démarche d’évaluationPlanification : fonctions, objets, outils, moment Collecte d’informations : observation, consignation Analyse et interprétation : confrontation des données à un référentiel : critères et indicateurs, seuil de réussite Jugement : définitif ou temporaire Décision : actions à poser : remédiation, réussite, exclusion, reprise [email_address]
  • 5.
    Diagnostique (gestionnaire-formateur) Encours d’apprentissage (formative) – (formateur) Au terme de la formation (sommative) (formateur – participant) Évaluation de la formation (participant) [email_address]
  • 6.
    Anticiper le potentielde réussite et réguler les apprentissages Identifier les difficultés d’apprentissage Diagnostique En cours d’apprentissage Au terme de la formation Évaluation continue Identifier les indicateurs de performance à améliorer Identifier les apprentissages réels et stabilisés durant le temps de formation Anticiper la capacité de transfert Évaluer la formation Motivation et satisfaction Identifier les besoins de formation
  • 7.
    Avant, pendant, aprèsla formation Ponctuelle (formelle ou informelle) Épreuve unique (formelle) Continue (formelle ou informelle) [email_address]
  • 8.
    Décontextualisée (examen, épreuve)Contextualisée (simulation, mise en situation, entraînement à la tâche) Mixte (en fonction des objets d’apprentissage) [email_address]
  • 9.
    Évaluation Besoinsréels de formation Potentiel de réussite Apprentissage réels et stabilisés Capacité de transfert en situation nouvelle Indicateurs de performance à améliorer Diagnostique À certaines conditions En cours d’apprentissage Prématuré Prématuré Évaluation continue Besoins ponctuels En fin de formation À certaines conditions Inférence Inférence Épreuve de mise en situation réelle À certaines conditions Inférence Évaluation de la formation Perception
  • 10.
    Apprentissages déclaratifs (notions, règles, processus) Apprentissages procéduraux (procédures, techniques, démarches, stratégies, actions à poser) Apprentissages dispositionnels (attitudes) Dans une « tâche complexe » ces objets sont étroitement associés sous forme de connaissances « conditionnelles   » . Mobilisation en situation = manifestations de la compétence [email_address]
  • 11.
    Reconnaître les conditionspour… Notions Processus ACTION (simple) VS Procédure complexe SI ALORS … Dispositions ou attitudes [email_address] = être compétent… poser une action Règles
  • 12.
  • 13.
    1. Motivation 2. Appréhension 3. Acquisition 4. Rétention 5.Rappel 6.Généralisation 7.Performance 8.Rétroaction Transfert CONSTRUCTION MOBILISATION
  • 14.
    Simple Indications verbales sommaires Mémoriser les informations Effectuer la tâche ou restituer des informations Relativement simple Indications verbales Démonstration Mémoriser les informations Reproduire la tâche (constance) Moyennement complexe Indications verbales Démonstration Transfert Mémoriser les informations Construire des connaissances conditionnelles Complexe à très complexe Indications verbales Démonstration Transfert Suivi de la stabilité Mémoriser les informations Accomplir la tâche en situations diverses Construire des connaissances conditionnelles en situation Accomplir la tâche en situations diverses [email_address]
  • 15.
    2. Enjeux etdéfis de l’évaluation des acquis
  • 16.
    [email_address] Paramètres liés à l’apprentissage Paramètres liés à l’évaluation Objets d’apprentissage Nature des acquis à évaluer ? Type de tâche Dans quels types de tâches ces acquis sont-ils mobilisés ? Modes d’apprentissage Modalités de l’évaluation Fonction ? Contexte d’évaluation ? Moment d’évaluation ?
  • 17.
    Apprentissages déclaratifsApprentissages procéduraux Apprentissages conditionnels Informations verbales Démonstration Transfert Objets et modes d’apprentissage Exigences pour l’apprenant Apprendre (mémoriser) Performer Apprendre et performer Apprendre (Induire) Performer Être évalué Modes d’évaluation Hors contexte En contexte Induction [email_address]
  • 18.
    Mise en situationcontinue Grille d’observation et d’auto observation Pronostic de transfert hors formation Autonomie progressive Mise en situation ponctuelle Grille d’observation Examen (épreuve) Auto évaluation Tests Questionnaires Quiz Choix de réponse Vrai ou faux Objets et modes d’apprentissage Exigences pour l’apprenant Modes d’évaluation Réel Simples Complexes Faibles Fortes Réaliste Artificiel [email_address] Observation continue, probation
  • 19.
    Connaissances Apprentissagedu novice Évaluation Apprenant avancé ou expert Évaluation Déclaratives Systématique et explicite Formative Ponctuelle (hors situation) Peut être implicite et inductif Pas toujours nécessaire Procédurales Systématique et explicite Formative Ponctuelle (hors situation) Explicite Formative formelle (en situation) Conditionnelles Systématique et explicite Résolution de problèmes simples Induction (autonomie) Inclure les connaissances déclaratives Attitudes Difficulté de changement (surcharge cognitive) Indicateurs généraux Explicite Indicateurs spécifiques (en fonction du profil) Résolution de problèmes Systématique Transfert Situations de transfert latéral ou vertical
  • 20.
  • 21.
    Améliorer l’outil decueillette Distinguer Ce qui relève de la tâche (manifestations de la compétence, effets et résultats, étapes clefs - procédures et actions à poser) = liste de vérification ou grille critériée. Ce qui relève du processus d’apprentissage (capacité d’expliquer, de démontrer, de transférer) = commentaires Ce qui relève du niveau dispositionnel (attitudes, qualités, potentiel) = grille critériée ou commentaires Limiter les inférences [email_address]
  • 22.
    Améliorer l’outil …Liste de contrôle pour l’apprenant et pour l’observateur. La concordance des résultats permet de vérifier que l’apprenant a une juste perception de sa performance et des connaissances qu’il appliquées en cours de tâche. [email_address]
  • 23.
    Évaluer le transfert… Comparer deux grilles pour des tâches différentes mais comparables : Transfert latéral (mêmes connaissances et autre situation de complexité comparable) Transfert vertical (mêmes connaissances mais situation plus complexe ou vérification de création de connaissances par induction dans une situation plus complexe) [email_address]
  • 24.