Webinaire: Les évaluations de l’évaluabilité en santé publique

Follow us @nccmt Suivez-nous @ccnmo
Financé par l’Agence de la santé publique du Canada | Affilié à l’Université McMaster
Le développement de cette présentation a été rendue possible grâce à une contribution financière de l'Agence de la santé publique du
Canada. Les opinions exprimées ici ne représentent pas nécessairement celles de l’Agence de la santé publique du Canada.
Les évaluations de l’évaluabilité en santé
publique
Conférencièrs :
Laura C. Leviton, PhD
Laura Kettel Khan, PhD
17 novembre 2017, 13 h-14 h 30 HE

2
Utilisez Chat pour partager vos questions
et commentaires pendant le webinaire.
• « Envoyez » les questions à tous (et
non en privé à l’animatrice)
Problèmes de connexion
• Connexion à Internet filée (et non
sans fil) recommandée
• Ligne d’aide WebEx offerte
24 heures sur 24, sept jours sur sept
• 1-866-229-3239
Gestion interne
Panneau latéral du
participant dans
WebEx
Chat

3
Après aujourd’hui
La présentation PowerPoint (en anglais et en
français) et l’enregistrement audio en anglais
seront offerts.
Ces ressources pourront être consultées à :
http://www.nccmt.ca/fr/perfectionnement-
professionnel/webinaires-precedents

4
1re question de sondage
Combien de personnes regardent la
séance d’aujourd’hui avec vous?
A. Il n’y a que moi
B. De 1 à 3
C. De 4 à 5
D. De 6 à 10
E. Plus de 10

Your profession?
Put a √ on your answer (or RSVP via email)
/
5
Epidemiologist Management (director,
supervisor, etc.)
Allied health
professionals (nurse,
dietician, dental
hygenist, etc.)
Librarian Physician / Dentist Other
6

Follow us @nccmt Suivez-nous @ccnmo 76
Épisode 35
Les évaluations de l’évaluabilité en santé
publique
http://www.nccmt.ca/fr/referentiels-de-connaissances/interrogez-le-registre/290

CCN des
maladies
infectieuses
Winnipeg, MB CCN des
méthodes
et outils
Hamilton, ON
CCN sur les
politiques
publiques et
la santé
Montréal, QC
CCN des
déterminants
de la santé
Antigonish, NS
CCN de la
santé
autochtone
Prince George, BC
CCN en santé
environnemen
tale
Vancouver, BC
7

Registre des méthodes
et des outils
Possibilités
d’apprentissage
en ligne
AteliersMultimédia
Public Health+
Réseautage et
relations
externes
Produits et services du CCNMO
8

9
2e question de sondage
Dans quelle mesure connaissez-vous la
méthode ou l'outil dont nous discutons
aujourd'hui?
A. Je ne connais pas la méthode ou l'outil
B. J'ai entendu parler de la méthode ou
l'outil
C. Je utilisé la méthode ou l'outil

10
Conférencièrs
Dr. Laura C. Leviton, PhD
Conseillère principale pour l’évaluation
Fondation Robert Wood Johnson
États-Unis

■ Évaluation sommative :
o Concevoir et utiliser l’évaluation pour juger la valeur
■ Évaluation formative :
o Concevoir et utiliser l’évaluation pour améliorer
l’intervention
■ Évaluation de l’évaluabilité : déterminer...
o si l’intervention est prête à générer des résultats
o quels changements doivent être faits pour cela
o si l’évaluation contribuerait à améliorer la performance
Définitions

Ressources
• Wholey, Hatry et Newcomer, Handbook of Practical Program
Evaluation, Wiley 2010
• Leviton et al., Evaluability assessment to improve public
health. Dans Annual Review of Public Health, volume 31 : 213-
234.
• Leviton, Kettel Khan et Dawkins, New Directions in Evaluation,
no 125, janvier 2010 -- le chapitre 3 contient des modèles et
des procédures

Les évaluations nous sont souvent données.
« Voilà, évaluez ceci. »

Certaines des interventions ne sont tout simplement pas
très bonnes.
« Voilà, évaluez ceci. »

Pourquoi?
• Environ 95 % des interventions ne sont pas complètement
au point au moment d’être évaluées.
• Aussi, des problèmes perdurent en ce qui concerne la
mesure, la conception et l’analyse.
• Wilson et Lipsey, 2001, examen de 319 méta-analyses :
• Proportion de la valeur de l’effet associée à des aspects de l’étude
• La variance expliquée :
Méthodes de l’étude = aspects de l’intervention
Plus grandes sources : devis de recherche, opérationnalisation de la variable
dépendante, erreur d’échantillonnage

Ne vous précipitez pas vers l’évaluation
sommative
• Ce n’est tout simplement pas rentable.
• Les bonnes études sur les résultats sont
**l’aboutissement** d’un travail prudent.
• Commencez par une évaluation formative, ou mieux
encore,
• Par une évaluation de l’évaluabilité.

Étapes d’une évaluation de
l’évaluabilité
1. Impliquez les utilisateurs cibles de l’information qui sera tirée
de l’évaluation.
2. Clarifiez l’intervention prévue.
3. Explorez la réalité de l’intervention.
4. Entendez-vous sur les changements qu’il faut apporter aux
activités ou aux objectifs.
5. Explorez d’autres modèles d’évaluation.
6. Entendez-vous sur les priorités de l’évaluation et sur les
utilisations prévues de cette information.

C’est cyclique,
pas linéaire
Involve end
users of
evaluation
Determine
scope of
project
Review
program
documents
Consult
stakeholders
Agree-
ment on
goals?
no
noCreate / revise
logic model or
theory of change
Agree-
ment on
model?
yes
Feedback to
program
manager or
policy maker
Interview staff;
“scout” the
program reality
yes
Report on assessment of:
 Plausibility
 Areas for program development
 Evaluation feasibility
 Options for further evaluation
 Critique of data (quality,
availability)
Develop
Program
Stop

Premières étapes
Involve end
users of
evaluation
Determine
scope of
project
Review
program
documents
Consult
stakeholders
Agree-
ment on
goals?
no
Feedback to
program
manager or
policy maker
Stop

Étapes intermédiaires
Review
program
documents
Consult
stakeholders
Agree-
ment on
goals?
no
noCreate / revise
logic model or
theory of change
Agree-
ment on
model?
yes
Feedback to
program
manager or
policy maker
Develop
Program
Stop

Modèles logiques
Intrants Extrants Résultats (impact)
Ressources
&
personnel
Activités,
sensibilisation
du groupe cible
Produits,
participation
du groupe cible
Atteindre les
objectifs à
court terme
Atteindre les
objectifs
intermédiaires
Atteindre les
objectifs à long
terme

Théorie du changement
Objectifs Stratégies Groupe cible Énoncés
si-ensuite
Résultats à
court terme
Résultats à
long terme
Énoncés Comment
l’objectif sera-
t-il atteint?
Définir le
groupe
Si (activité)
ensuite
résultat
Mesure La stratégie a-
t-elle été
appliquée?
Les
participants
étaient-ils
dans le
groupe cible?
L’activité a-t-
elle mené au
résultat?
L’objectif à
court terme a-
t-il été atteint?
L’objectif à
long terme a-
t-il été atteint?
Sources des
données
P. ex. archives
du
programme
P. ex.
sondage
auprès du
groupe

Étapes subséquentes
noCreate / revise
logic model or
theory of change
Agree-
ment on
model?
Interview staff;
“scout” the
program reality
yes
Report on assessment of:
 Plausibility
 Areas for program development
 Evaluation feasibility
 Options for further evaluation
 Critique of data (quality,
availability)

Et maintenant?
• Conception de l’intervention
• Collecte de données pour éclairer les améliorations
• Quand faire des études sommatives (sur les résultats) :
• Le modèle logique ou la théorie du changement sont précisés et
acceptés
• Le modèle ressemble à la réalité, et vice versa
• L’atteinte du ou des résultats est plausible
• L’évaluation formative indique que des mesures intermédiaires sont
prises.

Conférencièrs
25
Dr. Laura Kettel Khan, PhD
Scientifique principale et conseillère
Centres pour le contrôle et la
prévention des maladies
États-Unis

La production de cette présentation a été rendue possible grâce à une contribution financière de l’Agence de la santé publique du
Sélection et évaluation systématiques
(SÉS) : le passé et le présent
Des exemples du terrain

Survol
•4 exemples tirés du terrain
• Prévention de l’obésité dans la communauté — services de
garde de la ville de New York
• Alimentation saine et vie active
• Contrôle de l’hypertension
• Traumatisme crânien
•Boucler la boucle avec la SÉS
• Déclin de l’obésité juvénile
•Bénéfices pour la santé publique
27

Prévention de l’obésité : politiques des
services de garde de NY
Réunir un panel d’experts pour identifier et examiner des programmes et des politiques
potentiels
Évaluer l’état de préparation à l’évaluation des programmes et des politiques
Synthétiser les résultats et faire connaître les pratiques prometteuses sur le terrain
Développer un réseau de professionnels ayant les compétences pour réaliser des
évaluations de l’évaluabilité
Informer les bailleurs de fonds des programmes et des politiques prêts à être évalués
28

Sélection et évaluation systématiques
29
Intrants Étapes Produits
Lignes
directrices
1. CHOISIR des priorités
2. RÉPERTORIER les interventions
dans l’environnement
3. EXAMINER ET IDENTIFIER
LES INTERVENTIONS méritant
une évaluation de l’évaluabilité
4. ÉVALUATIONS DE
L’ÉVALUABILITÉ des
interventions prioritaires
5. LES EXAMINER ET LES NOTER en
ce qui concerne leur caractère prometteur et
leur capacité à être évaluées
6. UTILISER l’information
7. SYNTHÉTISER ce qu’on sait
Accent
Courtes
descriptions
Commentaires constructifs
Plan d’une évaluation
rigoureuse
Liste des
interventions
Sélections, répertoires
existants, descriptions
Communiquer avec toutes
les parties prenantes
Panel de réviseurs experts
Compte rendu des problèmes lié
l’intervention et à l’évaluation
Notes et rapports
Liste des interventions
Courtes descriptionsSélections, répertoires
existants, descriptions
Réseau de
professionnels/chercheurs
Communiquer avec toutes
les parties prenantes

Sélection systématique
•Critères utilisés par le panel d’experts pour la sélection :
– Impact potentiel
– Caractère novateur
– Portée
– Acceptabilité pour les parties prenantes
– Faisabilité de la mise en œuvre
– Faisabilité de l’adoption
– Viabilité
– Généralisabilité/transférabilité
– Capacité du personnel et de l’organisation à faire l’évaluation
30

Résultats de la sélection et de
l’évaluation systématiques
Propositions
Répondaient
aux critères
d’inclusion
Choisis pour
une ÉÉ
Parascolaire/Services de
garde
167 61 23
Accès à la nourriture 84 34 18
Politiques locales de
bien-être de la
commission scolaire
146 58 6
Activité physique globale 39 7 2
Environnement bâti pour
l’activité physique 22 14 4
TOTAL 458 174 53
31

Évaluation de l’évaluabilité
Examen des documents
• Ébauche de modèle logique
Visite de 2-3 jours sur le site
• Entrevues : description du programme, modèle logique,
personnel, financement, viabilité, activités d’évaluation
• Observations
• Soutien technique/séance-bilan
Rapports et recommandations
Suivi en matière de soutien technique avec des experts
des CDC
32

État de préparation pour l’évaluation
•L’examen des rapports des visites sur les sites a fait
ressortir des classifications :
1. Prête pour une évaluation des résultats autonome
2. Convient à une évaluation conjointe
3. Solide sur le plan théorique, mais a besoin d’être plus
développée
4. Besoin d’assistance technique sur des éléments précis
33

De grandes retombées : évaluation de la politique
des services de garde de la ville de NY
 Les règles des services de garde de la ville de
NY concernant la nutrition, l’activité physique et
le temps passé devant un écran
 Évaluation positive de la mise en œuvre et du
résultat
 Grand échantillon de centres dans des quartiers
urbains à faible revenu
 Résultat vérifié grâce à l’observation directe et à
l’accélérométrie
 Étude de référence pour des recommandations
nationales sur les politiques et les pratiques des
centres
34

CDC : alimentation saine et vie active
 Identifier des politiques et des stratégies novatrices
liées à l’usage commun et ouvert des biens publics
 Écoles, piscines, parcs
 Possibilité d’identifier des pratiques prometteuses
pouvant être mises en œuvre à l’échelle étatique et
locale
 Axée sur les interventions visant des communautés
ayant moins de ressources
 Fiches d’information sur des politiques et des
stratégies réussies
35

CDC : contrôle de l’hypertension
 7 projets de contrôle de l’hypertension ayant
recours à la SÉS et/ou à la SÉS et à une nouvelle
évaluation de l’évaluabilité améliorée (ÉÉA)
 En fonction du sujet et de la quantité de données
probantes, les deux méthodologies sont utilisées
 L’ÉÉA est une adaptation de la SÉS qui permet une
évaluation rapide et rend compte de l’efficacité de
l’intervention
 JL Losby et al. Arriving at Results Efficiently: Using the Enhanced
Evaluability Assessment Approach. Prev Chronic Dis 2015;12:150413. DOI:
http://dx.doi.org/10.5888/pcd12.150413
36

CDC : le retour à l’école après un
traumatisme crânien (TC)
 Meilleures pratiques pour un retour à l’école après
un TC
 Les étudiants subissant un TC ont besoin de soutien à
l’école après l’accident
 Les familles ont de la difficulté à avoir accès à des
ressources
 Quel est le meilleur modèle de programme ou
quels sont les meilleurs éléments pour comprendre
les résultats
 Flexibilité et applicabilité dans les 50 États
 Améliorer l’identification et la gestion des TC dans
les systèmes de soins de santé et les écoles
37

Déclin de l’obésité juvénile
 Un usage rétrospectif de la SÉS...
 L’évaluation est-elle valide? L’IMC ou les données sur
les résultats sont-ils corrects?
 Le cas échéant, quels facteurs pourraient avoir joué un
rôle?
 Même processus, différentes questions pour les
visites sur le site
 La SÉS été utilisée comme démarche de
confirmation du résultat et comme démarche
d’exploration de ce qui s’est passé
 4 sites, des tendances semblables d’interventions
et de programmes mènent au résultat prévu
38

C’est un processus...
39
1. Choisir des priorités pour l’analyse
2. Répertorier les programmes et les politiques dans
l’environnement
3. Examiner et identifier ceux qui méritent une
évaluation de l’évaluabilité
4. Évaluer l’évaluabilité des programmes et des politiques
5. Les examiner et les noter en fonction de leur caractère
prometteur et de leur état de préparation à l’évaluation
6. Utiliser l’information :
• Capacité de faire une évaluation rigoureuse
• Commentaires aux innovateurs
• Synthèse intersites

Les raisons de la valeur ajoutée de la SÉS
Qu’est-ce qui est pareil?
• Examen des documents
• Discuter avec les parties
prenantes
• Élaborer un modèle
logique
• Répéter le processus
• Déterminer ce qui peut être
évalué
Qu’est-ce qui est
différent?
• L’ÉÉ est un élément d’une
démarche de découverte
• La SÉS fournit explicitement
des commentaires aux
innovateurs
• La SÉS a généré des réflexions
sur des grappes de projets
• La SÉS a aidé à trouver des
politiques et des programmes
qui méritent plus d’attention
40

Trouver plus rapidement la meilleure
solution...
Des 458 innovations proposées la première année :
• 174 répondaient aux critères d’inclusion;
o 53 ont été choisies pour une évaluation de l’évaluabilité;
– 27 étaient prêtes pour une évaluation des résultats autonome.
• Mais les parties prenantes considéraient que toutes les
interventions proposées étaient importantes.
• Si elles avaient toutes fait l’objet d’une évaluation,
o il y aurait eu 5 % de chances de trouver quelque chose ayant
même une possibilité de succès!
41

ET de la trouver pour moins cher...
Sans une démarche systématique,
il faudrait réaliser au moins 20 évaluations pour en trouver 1 qui
ait du succès.
Cette démarche est rentable pour les
bailleurs de fonds et les décideurs.
Elle réduit l’incertitude au sujet des
investissements dans les évaluations.
42

Les experts et les professionnels y
gagnent...
Les « innovateurs » experts et praticiens ont trouvé que
ce processus représentait une expérience
d’apprentissage.
 Ils ont appris à valoriser les interventions en dehors
de leur domaine d’expertise
L’évaluation de l’évaluabilité elle-même joue un rôle
dans l’élaboration des programmes.
 Possibilité d’offrir une assistance technique
43

Effets sur le terrain
Des thèmes et des enjeux sont apparus relativement aux
grappes de politiques et de programmes.
Les évaluations de l’évaluabilité peuvent être configurées
pour jeter un regard neuf sur :
• les développements dans le domaine
• les familles ou les grappes de politiques et de programmes
Les chercheurs sont fascinés par ce qui est fait dans la
pratique.
Stimulé la discussion au sujet de nouveaux programmes de
recherche.
44

45
Vos commentaires ou
questions
• Utilisez Chat pour partager vos
questions et commentaires.
• « Envoyez » les questions à
tous (et non en privé à
l’animatrice)
Panneau latéral du
participant dans
WebEx
Chat

46
Pourrait cette méthode ou outil être utile
dans la pratique?
A. Énormément
B. Quelque peu
C. Pas du tout
D. Je l’ignore

47
Veuillez prendre quelques minutes pour partager
vos idées sur le webinaire d’aujourd’hui.
Vos commentaires et vos suggestions permettent
d’améliorer les ressources que nous offrons et de
planifier d’autres webinaires.
Le sondage court se trouve à l’adresse :
https://nccmt.co1.qualtrics.com/jfe/form/SV_0SR6
Ks5SMQIpiV7
Votre rétroaction est importante

48
Quelles étapes suivrez-vous ensuite?
(Cochez toutes celles qui s’appliquent.)
A. Accéder la méthode ou l’outil dont il est question
dans l’exposé.
B. Lire le sommaire du CCNMO sur la méthode ou
l’outil décrit aujourd’hui.
C. Songer à mettre en pratique la méthode ou l’outil.
D. Parler de la méthode ou de l’outil à un collègue.

Partagez votre histoire!
• Utilisez-vous la PDFDP dans vos pratiques?
Nous voulons vous entendre!
• Écrivez-nous : ccnmo@mcmaster.ca
• Avez-vous besoin d’aide relativement à la
PDFDP? Demandez-nous du soutien!
• Écrivez-nous : ccnmo@mcmaster.ca
• Nous répondons habituellement en moins de
24 heures ouvrables.
49

50
Rejoignez-nous pour notre prochain webinaire.
Série Pleins feux sur les méthodes et
outils : Les évaluations de l'évaluabilité en
santé publique
DATE : Vendredi 10 novembre 2017
HEURES : De 13 h à 14 h 30 (HE)
Réalisées avant l’évaluation proprement dite, les évaluations de
l’évaluabilité sont conçues pour maximiser les chances qu’une
évaluation ultérieure aboutisse à des informations utiles. En quoi la
méthode d’évaluation de l’évaluabilité peut-elle vous aider? Joignez-
vous à nous pour en savoir plus!
Inscrivez-vous à : https://health-evidence.webex.com/health-
evidence/onstage/g.php?MTID=ee163884c6bd2b167569d20d98438
91a8

Série de webinaires du CCNMO
http://www.nccmt.ca/fr/perfectionnement-
professionnel/serie-de-webinaires
• Pleins feux sur les méthodes et outils
• Méthodes et outils thématiques
• Club de lecture en ligne
• Webinaire entre pairs
51

Le développement de cette présentation a été rendue possible grâce à une contribution financière de l'Agence de la santé publique du
Pour plus d'information sur le Centre de
collaboration nationale des méthodes et
outils (CCNMO)
Site du CCNMO : www.nccmt.ca/fr/
Courriel : nccmt@mcmaster.ca

Sélection systématique
•7 programmes parascolaires/3 programmes concernant des services de garde
• 5 programmes : période d’activité physique, collations nutritives
• 4 programmes : période d’activité physique, éducation nutritionnelle
• 1 politique : activité physique, nutrition, temps devant un écran de
télévision
•10 programmes d’accès à la nourriture
• 5 marchés agricoles
• 3 programmes concernant les supermarchés ou les dépanneurs
• 2 programmes concernant des restaurants
•6 politiques locales de bien-être de la commission scolaire
• Toutes celles sélectionnées abordaient l’activité physique et la nutrition
53

Résultats
•Le panel d’experts a déterminé que :
– 14 interventions étaient prêtes pour une évaluation des
résultats autonome
– 2 étaient mieux adaptées à une évaluation conjointe
– 3 étaient solides sur le plan théorique, mais avaient besoin
d’être plus développées
– 6 avaient besoin d’assistance technique sur des éléments
précis
54

Webinaire: Les évaluations de l’évaluabilité en santé publique

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à Webinaire: Les évaluations de l’évaluabilité en santé publique

Similaire à Webinaire: Les évaluations de l’évaluabilité en santé publique (19)

Plus de The National Collaborating Centre for Methods and Tools

Plus de The National Collaborating Centre for Methods and Tools (20)

Dernier

Dernier (13)

Webinaire: Les évaluations de l’évaluabilité en santé publique

Notes de l'éditeur