Atelier présenté au corps professoral de l'Université Laval.

1. Une introduction aux
évaluations en milieu de
travail (avec un penchant
pour le mini-CEX!)
André De Champlain, PhD
Chercheur psychométricien en chef &
Directeur par intérim,
Recherche et Développement,
Conseil Médical du Canada

2. Un bref tour de table….
André De Champlain, PhD
Jessica Hertzog, MBA
Vous:
• Nom, intérêt(s) et domaine(s) d’expertise?

3. Aperçu
• Volet pédagogique
• Les évaluations en milieu de travail: existe-t-il vraiment
un besoin?
• Brève description de quelques évaluations en milieu de
travail
• La fidélité et validité de nos évaluations en milieu de
travail
• Bien préparer nos examinateurs
• Le rôle central de la rétroaction (« feedback »)
• La mise en place d’une évaluation en milieu de travail
3

4. Aperçu
• Volet pratique
• La version française du
mini-CEX est-elle appropriée
au contexte québécois?
• Quelques évaluations de la
compétence à l’aide du
mini-CEX
• Discussion
4

5. Compétences cliniques sont très
importantes en médecine
• Le rôle de l’anamnèse et l’examen
physique
• En dépit des progrès réalisés au niveau des outils
diagnostiques et des moyens thérapeutiques au
cours des 25 dernières années, une anamnèse
réfléchie et un examen physique complet
permettent souvent de poser un diagnostic
• Les erreurs au niveau d’un diagnostic sont souvent
reliées à une collecte fautive ou incomplète de
données
5

6. Compétences cliniques sont très
importantes en médecine
• Bien communiquer est associé à:
• Un bon état de santé
• Une amélioration de l’efficacité des
soins
• Une diminution du nombre de
poursuites judiciaires pour faute
professionnelle
6

7. Déficience au niveau des
compétences cliniques
• Habileté des résidents à ausculter un patient
(Mangione, 1997)
• Habileté des médecins de famille à recueillir une
anamnèse/évaluation de prévention (Ramsey,
1999)
• Examen physique incomplet de la part des
résidents (Reilly, 2003)
• Erreurs commises au cours de procédures
techniques (Tang et coll., 2005)
7

8. Pyramide de Miller
Application des connais.
dans la pratique —
Fait vérification dossier,
observation directe
Démontre Examens — compétences
cliniques, ECOS
Présentation de cas,
Sait comment examens — questions à
développement
Épreuves factuelles :
Sait examens — questions à
choix multiples
Sélectionner la méthode
d’évaluation la plus appropriée
8

9. Lacune au niveau de l’évaluation formative et
de la rétroaction
• Étudiants de premier cycle
• Observation structurée entreprise pour seulement 7%-23% des
étudiants (Kassebaum & Eaglen, 1999)
• Seulement 28% des stages cliniques en médecine interne font
appel à l’évaluation formative (Kogan & Hauer, 2006)
• Résidents
• 82% des résidents sont observés à une seule occasion (Day et coll.,
1990)
• 80% des résidents ne sont jamais observés ou le sont très
rarement (Isaacson et coll., 1995)
9

10. Évaluations en milieu de travail
traditionnelles comportent de sérieux
défauts
• Examen clinique « traditionnel » – Un rappel
• Un examinateur observe un résident interagissant avec un
patient (souvent méconnu)
• Résident recueille une anamnèse, complète son examen
physique et présente ses données, plan de prise en
charge, etc. à l’examinateur
• L’examinateur évalue le résident selon plusieurs dimensions
(par ex., compétences cliniques, communication)
• Durée d’environ 2 heures
• 82% des résidents sont assujettis à un examen clinique
« traditionnel » au cours de la première année.

11. Évaluations en milieu de travail
traditionnelles comportent de sérieux
défauts
• Le résident est évalué avec un seul patient
• La performance varie énormément de patient à patient
(spécificité du cas clinique)
• Le résident est évalué par un seul examinateur
• Le niveau de rigueur de ces examinateurs peut varier
considérablement
• La plupart des interactions médecin-patient
sont brèves et ciblées
• L’évaluation traditionnelle est « artificielle »

12. Évaluations en milieu de travail
modernes
• Centrées sur l’évaluation formative des
compétences cliniques
• Abordent les problèmes associés aux méthodes
traditionnelles
• Répondent aux besoins propres liés au milieu de
travail
• Nécessitent de l’observation et de la rétroaction
• Favorisent l'utilisation d'un éventail
d’approches pour l’évaluation des
compétences cliniques en milieu de travail

13. Évaluation par les pairs (par ex., 3600)
• Processus
• Un résident sélectionne
6-8 examinateurs en plus
de s’auto-évaluer
• Évaluations peuvent être
complétées sur le Web
• Mesure des compétences
cliniques et génériques

14. Évaluation par les pairs (par ex., 3600)
• Processus
• Le résident intègre toutes ses
informations, par ex., auto-
évaluation, évaluation par les
pairs, commentaires
qualitatifs, données
normatives, etc.
• Fréquence: deux évaluations
par année?

15. Exercices semi-structurés de
réflexion sur des cas (CbD)
• Épreuve axée sur le
dossier de santé
• Un résident sélectionne deux
dossiers
• L’examinateur en retient un
• Discussion est centrée sur le
raisonnement clinique du
résident (tel que noté dans le
dossier)

16. Exercices semi-structurés de
réflexion sur des cas (CbD)
• Épreuve axée sur le dossier
de santé
• Compétences de base (diagnostic,
traitement, plan de prise en
charge, professionnalisme, etc.)
sont évaluées
• 15-20 minutes
• 6 évaluations/année

17. Observation directe des habiletés
techniques fondamentales (DOPS)
• Processus
• Un examinateur observe un
résident avec un patient
• Le résident démontre une
habileté technique
quelconque
• Points de suture, injection par
voie intramusculaire, ponction
lombaire, etc.

18. Observation directe des habiletés
techniques fondamentales (DOPS)
• Processus
• L’examinateur évalue le
résident selon un nombre de
domaines: Préparation,
sédation, l’asepsie, habileté
technique, etc. et offre une
rétroaction
• 15-20 minutes
• 6-8 évaluations/année

19. Mini exercice d’évaluation clinique
(Mini-CEX)
• Processus
• L’examinateur observe le résident
interagissant avec un patient
• Le résident doit compléter une tâche
clinique ciblée
• Sept compétences sont évaluées à
l’aide d’échelles de Likert (1-9)
• (1)Techniques d’entrevue , (2)Techniques
d’examen physique, (3)Qualités
humaines/Professionnalisme , (4)Jugement
clinique, (5)Techniques de counseling ,
(6)Organisation/efficience (7)Compétences
cliniques globales

20. Mini exercice d’évaluation clinique
(Mini-CEX)
• Processus
• Durée de 15-20 minutes
• 6 évaluations par année

21. Quelques défis à relever
• Très peu de résidents seront jugés comme
étant « insatisfaisants »
• Les évaluations sommatives continuent d’avoir un
rôle important à jouer
• Les résidents contrôlent (dans une
certaine mesure) le choix de l’examinateur
et (indirectement) le contenu de
l’évaluation
• L’évaluation peut être biaisée envers le résident

22. Quelques défis à relever
• Normes à travers les programmes
postdoctoraux ne sont pas comparables
• Peu utile pour le classement des résidents sur le
plan provincial ou national
• Très peu de formation offerte aux
examinateurs
• Nécessite un processus de développement
continu chez le corps professoral

23. Quelques défis à relever
• La rétroaction laisse souvent à
désirer
• La mise en place d’un programme
est parfois difficile
• Processus éducatif parallèle qui doit être
effectué

24. Processus de développement continu
• Facteurs qui favorisent la réussite d'un
programme d'évaluation en milieu de travail
• Rencontrer les besoins des participants
• Utiliser une approche systématique
• Prendre en considération le milieu de travail
• Mettre l’emphase sur le théorique et le pratique
• Offrir plusieurs occasions d’apprentissage/exercises
• Permettre aux participants de mieux se
connaître, d’interagir, de nouer des relations, etc.

25. Bien préparer nos évaluateurs
• L’évaluation doit porter sur des
comportements observables et
mesurables
• S’accorder à l’avance sur ces comportements
• If faut aussi préparer le résident et le patient!
• Minimiser les dérangements!
• Les compétences cliniques doivent aussi
être clairement définies
• Les compétences cliniques se manifestent par
quels comportements observables et mesurables?

26. Bien préparer nos examinateurs
• Définir l’échelle de mesure
• Sur une échelle de 1 à 9, quels comportements liés à
une compétence quelconque sont associés à un score
de 3, 5, 7, etc.?
• Mener un atelier avec vos examinateurs
• Exercices d’évaluation en petits groupes avec vidéos
• Si possible, il est préférable d’utiliser des patients
standardisés
• Allouer suffisamment de temps à la discussion!
• Ateliers minimisent l’effet de halo & autres biais
cognitifs ainsi que la variance inter-juges liée aux
facteurs « parasites »

27. Un détour “psychométrique”
« Les évaluations de la compétence
doivent être évaluées par les mêmes
critères de validité (preuves et
conséquences) que pour d’autres
évaluations. C’est pourquoi des
éléments d’évaluation
fondamentaux comme la validité, la
fidélité, la comparabilité et l’équité
doivent être abordés de la même
façon dans tous les autres modes
d’évaluation. » (Messick, 1995)
[traduction libre]

28. Fondement conceptuel de la fidélité
• Toutes mesures sont imprécises (comportent de
l’erreur de mesure)
• Pourquoi?
o Le score à l’évaluation en milieu de travail est basé sur
un nombre restreint de patients/cas, avec un nombre
limité d’évaluateurs, dans un environnement spécifique
(hôpital, clinique, etc.)
• Tous ces facteurs (sources d’erreur de mesure)
nuisent à notre capacité de mesurer les
compétences cliniques de nos résidents
28

29. Fondement conceptuel de la fidélité
• Dans un monde idéal, mon niveau de compétence
devrait être complètement indépendant de ces
facteurs ou sources d’erreur de mesure
• En réalité, mon score à une évaluation est composé
de mon “vrai” score et de l’erreur de mesure,
c. à d.,
• X=T+E
• Un coefficient de fidélité nous permet de
quantifier la relation entre le score vrai et le
score observé:
• ρxx’ = σ2T / σ2X
29

30. Fondement conceptuel de la fidélité
• Avec une évaluation en milieu de travail, plusieurs
sources d’erreur de mesure existent et doivent être
quantifiées:
• L’erreur liée aux examinateurs
• L’erreur liée aux patients (cas cliniques)
• L’erreur liée à l’emplacement physique, etc.
• Toutes ces sources d’erreurs peuvent être mesurées
par le biais d’une étude de la généralisabilité
(étude G)
• Les résultats d’une étude G peuvent aussi
grandement informer le programme d’évaluation

31. Fidélité: Recommandations
•Évaluations par les pairs •Exercices semi-structurés
• 5-10 pairs sur des cas
• 5+/- évaluations par dimension • 5-8 dossiers par examinateur
•Mini-CEX • 5+/- évaluations par dimension
• 4-10 interactions-examinateurs •Observation directe des
• 5+/- évaluations par dimension habiletés techniques
fondamentales
• 4-10 interactions-examinateurs
• 5+/- évaluations par dimension

32. Fidélité: Recommandations
• Plusieurs interactions!
– Évaluation finale doit être
basée sur plusieurs:
• Patients
• Examinateurs
• Jugements
– Chaque interaction:
• Doit être de courte durée et
“typique”
• Doit inviter le résident à
compléter une tâche ciblée

33. Ce que la validité n’est pas
• Il n’y a pas de test valide ou non valide
• Des affirmations comme « Mon test démontre
une validité conceptuelle » sont complètement
vides de sens
• La validité désigne la justesse des inférences ou
des jugements fondée sur les scores de tests
avec données empiriques à l’appui

34. Ce qu’est la validité
« Le concept de validité est une
évaluation globale du degré avec lequel
les données empiriques et les principes
théoriques soutiennent la justesse et la
pertinence des interprétations et des
décisions basées sur les scores de tests
ou d’autres modes d’évaluation. »
(Messick, 1989) [traduction libre]

35. Étapes importantes à suivre avant de
recueillir une seule donnée
• Bien énoncer l’objectif du test
• Qu’est-ce que je veux conclure sur la base des
scores à mon évaluation? Quel jugement est-ce
que je veux émettre ou quel argument est-ce que
je veux soutenir?
• Recueillir autant de données (empiriques) que
possible en appui aux inférences (recherchées)
basées sur les scores

36. Approche de la validité basée sur
l’argument (Kane, 1992)
• Cinq arguments fondamentaux :
1
• Evaluation: Evaluate the candidates’ performances on the exam
2
• Generalization: Do the performances generalize to the domain of tasks?
3 • Extrapolation: Do the performances generalize to other settings/performance formats?
4
• Explanation: Can the performances be explained theoretically?
5
• Decision making: Can the performances be used for placement decisions?
Validité d’un test Validité d’un score Validité d’un argument

37. Approche de la validité basée sur
l’argument (Kane, 1992)
• Évaluation
• Les règles de correction sont adéquates
• Les règles de correction sont appliquées de façon précise et
systématique
• Preuves
• Les règles de correction et les processus sont bien consignés
• Généralisation
• L’échantillonnage d’items/de cas est représentatif du domaine (univers
d’items/de cas)
• Preuves
• Analyse des pratiques / plan d’examen
• Analyses de généralisabilité

38. Approche de la validité basée sur
l’argument (Kane, 1992)
• Extrapolation
• Le score observé est lié au score vrai d’une personne
• Il n’y a pas d’erreurs systématiques susceptibles de nuire
à l’extrapolation
• Preuves
• Analyse détaillée du lien entre un échantillon d’items/de cas à
l’examen et l’univers d’items/de cas
• Analyse du lien entre la performance à l’examen
(échantillon) et selon un critère plus large (p. ex.
évaluation du milieu de travail)

39. Approche de la validité basée sur
l’argument (Kane, 1992)
• Explication
• Les scores à l’examen peuvent se justifier en fonction
des compétences/concepts à la base de la
performance
• Preuves
• Analyse factorielle confirmatoire de l’ensemble de données
• Établissement de correspondances dans les jugements
d’experts au sujet du contenu de l’examen

40. Approche de la validité basée sur
l’argument (Kane, 1992)
• Prise de décision
• Les candidats faibles ne réussiront probablement pas à
l’évaluation
• Les candidats forts réussiront probablement à l’évaluation
• Preuves
• Établissement de normes de validité interne et externe
• Validité interne
• Documentation du processus suivi
• Fidélité inter-examinateurs, analyses de généralisabilité, etc.
• Validité externe
• Rapport entre la performance à l’examen et d’autres critères

41. Validité – En résumé
• Qu’est-ce que la validation?
• La collecte de données (empiriques ou autres)
pour justifier des affirmations (arguments) que
nous aimerions faire sur la base de scores
• Les candidats qui obtiennent une meilleure note à cet
ECOS possèdent de meilleures compétences cliniques et
une plus grande facilité à communiquer
• Les candidats qui obtiennent une meilleure note à
l’examen d’externat en médecine familiale réussiront
bien dans un programme de résidence en médecine
familiale, etc.

42. Validité – En résumé
• Quelles sont les étapes essentielles pour justifier ces
affirmations?
• Énoncez clairement l’affirmation/l’argument interprétatif que vous voulez
faire sur la base des scores à l’examen des candidats
• « Mettez en doute » l’argument interprétatif
• Est-il clair et cohérent?
• Est-il plausible étant donné les données probantes dont vous disposez?
• Énoncez l’interprétation proposée
• Évitez de formuler des conclusions qui vont au-delà de
ce que les éléments de preuve donnent à penser
• Évitez de faire des « déclarations générales » non fondées
• « Mon examen démontre une validité conceptuelle »
• « Mon examen a une validité apparente », etc.
• Ces affirmations sont vides de sens

43. Validité – Exercices semi-structurés
de réflexion sur des cas
• Soloman et coll. (1990) – Médecins qui
renouvellent leurs certificats (spécialités)
• Corrélation moyenne entre les scores aux exercices semi-
structurés de réflexion sur des cas et:
• Examen oral (0.49)
• Examens oral (0.37) et écrit (0.45) complétés 10 ans au préalable
• Distribution des scores aux exercices semi-structurés de
réflexion sur des cas (et des décisions) s’apparentent aux
mesures recueillies 10 ans au préalable

44. Validité – Exercices semi-structurés
de réflexion sur des cas
• Norman et coll., (1989) – Médecins
présentant des lacunes
• Corrélation élevée entre les scores aux exercices semi-
structurés de réflexion sur des cas et:
• ECOS (0.74)
• Examen oral (0.51)
• Exercices semi-structurés de réflexion sur des cas
permettent d’identifier le groupe d’appartenance
(médecins montrant des lacunes vs. groupe contrôle)

45. Validité – Mini-CEX
• Boulet et coll., (2002) – Patients
standardisés
• Étude basée sur des bandes vidéo
• Vidéos évalués avec le formulaire mini-CEX
• Forte corrélation notée entre les scores au mini-
CEX et:
• L’évaluation de la cueillette de l’anamnèse (grille d’observation)
• L’évaluation de l’habileté du candidat à communiquer avec le
patient standardisé (grille d’évaluation)

46. Validité – Mini-CEX
• Holmboe et coll., (2003) – Résidents
• Étude basée sur des bandes vidéo
• Résidents formés à représenter des performances
insatisfaisantes, satisfaisantes et supérieures
• Bandes sont évaluées à l’aide du formulaire mini-CEX
par des membres de la faculté
• Les divers niveaux de performance sont clairement
identifiés

47. Rétroaction
• Quatre principaux aspects
d'une bonne rétroaction
1. Fournit forces et faiblesses au
résident
2. Permet au résident de réagir face
à la rétroaction
3. Encourage l’auto-évaluation
4. Suscite le développement d’un
plan d’action

48. Rétroaction
• Facteurs qui affectent l'impact de la rétroaction
• Le résident!
• Personnalité, perception (de la justesse) de la rétroaction (Sargent
et coll., 2005), utilité de la rétroaction (Brett et coll., 2001)
• Ton de la rétroaction
• Positif vs. négatif, établissement d’objectifs, plan d’action, suivi
• Faculté
• Mentorat, un soutien continu, etc.
• Qualifications et crédibilité de l’examinateur
• Culture: Collectivisme vs. individualisme

49. Rétroaction - Technique
• Technique qui maximise l'impact de la
rétroaction (Hewson et coll., 1998) doit:
• Établir un climat interpersonnel favorable
• Avoir lieu dans un bon emplacement physique
• Permettre de susciter une réaction de la part du
résident
• Être centrée sur des comportements
observables
• Être offerte sans présenter de jugement
• Être spécifique
• Offrir le bon niveau de rétroaction
• Offrir des suggestions d’amélioration

50. Mise en place d’un programme
d’évaluations en milieu de travail - défis
• Le recrutement d’examinateurs constitue
souvent le problème le plus épineux à
surmonter
• Quelle(s) stratégie(s) avez-vous mis en place pour
résoudre ce problème?
• Quels sont quelques obstacles mentionnés par vos
membres de faculté?
• Est-ce que vous être au courant de tactique employées
par certains membres de faculté qui agissent à titre
d’examinateurs?

51. Mise en place d’un programme
d’évaluations en milieu de travail -
stratégies
• Le rendre obligatoire • Utiliser les leaders de
• Offrir aux examinateurs votre faculté comme
(membres de la faculté) défenseurs du
• Temps/compensation programme
• Formation/exercice • Accroître l’efficacité
• Documentation du programme
• Lignes directrices claires • Adaptation au contexte
• Rétroaction! local
• Reconnaissance • Saisie électronique

52. Questions?

53. Exercice no 1
• La version française du mini-CEX
est-elle bien adaptée au contexte
québécois?

54. Exercice no 2
1) Évaluez la performance du
résident à l’aide de la version
française du mini-CEX
2) Quelle rétroaction (structurée)
offriez-vous au résident?
3) Suggestions d’amélioration?