Evaluer en promotion de la santé 
Aymery Constant 
Maitre de conférences 
EHESP
Prevention et promotion de la santé 
Début XX°: Bond de l’espérance de vie, bien avant les progrès de la médecine 
Aujourd...
Quelques exemples…
EHESP 
4
EHESP 
5
EHESP 
6
EHESP 
7
EHESP 
8 
Un très bon slogan, très bien mémorisé (1984) 
….mais quel effet sur la consommation d’alcool?
EHESP 
9 
Susciter la peur
EHESP 
10 
Susciter la peur
Quelle logique sous tend ces actions? 
EHESP 
11
Une logique de slogan 
Pendant des décennies, les actions de promotion de la santé et de prévention ont été assimilées à d...
EHESP 
13 
+ 
Les couples hétérosexuels monogames stables (et à haut revenus, visiblement) sont-ils la cible prioritaire p...
EHESP 
14 
Potentiel d’identification: nul
EHESP 
15 
Ratage de communication sur les déterminants 
(la honte à ceux qui ont des difficultés)
Quelles sont les points communs de ces campagnes d’information ? 
EHESP 
16
Situation en France 
Des indicateurs inquiétants…mais réversibles ! 
•Un des taux de mortalité prématuré les plus élevés d...
Les principes fondamentaux de l’évaluation
19 
L’efficacité, un mot tabou en prévention et promotion de la santé ?
20 
Urbanisation 
croissante 
Pauvreté 
grandissante Vieillissement 
Des populations 
dépendance 
Détérioration de 
l'envi...
21 
Et du point de vue de l’usager ?
EHESP 
22 
Les bénéfices de l’évaluation
23 
t1 
Conception 
etc... 
t3 
Conception 
Planification 
Réalisation 
Evaluation 
Conception 
Planification 
Réalisation...
24 
Inconvénients de l’évaluation?
Les étapes de la démarche d’évaluation
EHESP 
26
27 
Diagnostic 
Objectifs 
- généraux 
- spécifiques 
Ressources 
Prévues 
Activités 
Prévues 
Pop cible 
prévue 
Planific...
28 
Diagnostic 
Objectifs 
- généraux 
- spécifiques 
Ressources 
Prévues 
Ressources 
Effectives 
Pop cible 
effective 
A...
29 
Diagnostic 
Objectifs 
- généraux 
- spécifiques 
Ressources 
Prévues 
Activités 
Prévues 
Pop cible 
prévue 
Evaluati...
30 
Ressources 
Effectives 
Pop cible 
effective 
Actions 
Effectives 
Objectifs atteints 
Autres effets 
Evaluation de la...
31 
Diagnostic 
Objectifs 
- généraux 
- spécifiques 
Ressources 
Prévues 
Ressources 
Effectives 
Activités 
Effectives 
...
32 
Le "moment" d'une évaluation 
Diagnostic 
Planification 
Démarrage 
Réalisation 
(Phase 1) 
Réalisation 
(Phase 2) 
.....
33 
Selon les "moments" de l'évaluation, les buts diffèrent 
Avant 
Pendant 
À la fin 
Avant et après 
Vérifier la concept...
L’évaluation n’a de sens que… 
- Si elle a été planifiée et conçue en même temps que le projet (le projet est lui-même con...
EHESP 
35 
Wholey (1970) a proposé quatre conditions préalables à l’évaluation: 
1.La logique d’intervention est claire, c...
Utile 
Les qualités d'une évaluation
Crédible 
Utile 
Pertinente 
Accessible 
(digne de confiance) 
Les qualités d'une évaluation
Crédible 
Qualité et transparence des 
méthodes employées, 
compétence des évaluateurs 
Utile 
Pertinente 
Objectivité, im...
Crédible 
Utile 
Pertinente 
Pertinence des questions 
initiales posées aux 
évaluateurs par rapport aux 
préoccupations d...
Crédible 
Utile 
Pertinente 
Communication des résultats 
Présentation claire, complète 
et détaillée de tous les 
argumen...
Quelles compétences pour un évaluateur ?
Questions évaluatives 
•Savoir quelles questions poser aux différentes étapes du projet/action (avant, pendant, après) 
•S...
À la fin de l’action 
•Qu’est ce qui a fonctionné comme prévu ? 
•Qu’est ce qui n’a pas fonctionné comme prévu et pourquoi...
44 
Diagnostic 
Objectifs 
- généraux 
- spécifiques 
Ressources 
Prévues 
Ressources 
Effectives 
Activités 
Effectives 
...
45 
Diagnostic 
Exemple: 
L’analyse de la situation est-elle pertinente, claire, fondées sur les données épidémiologiques ...
46 
Objectifs 
- généraux 
- spécifiques 
Exemple: 
Les objectifs sont-ils clairs; quantifiables; réalistes; pertinents au...
47 
Activités 
Prévues 
Pop cible 
prévue 
Exemple: 
Les activités prévues sont-elles efficaces pour atteindre les objecti...
48 
Ressources 
Prévues 
Ressources 
Effectives 
Exemple: 
Les ressources effectives correspondent elles aux ressources pr...
49 
Activités 
Effectives 
Pop cible 
effective 
Exemple: 
Les actions se sont-elles déroulées comme prévu ? Les participa...
50 
Activités 
Effectives 
Objectifs atteints 
Autres effets 
? 
Pop cible 
effective 
Exemple: 
A –on observé un changeme...
Approche systématique: le Preffi 2.0
EHESP 
52
L’approche systématique 
Une approche systématique implique des étapes menant à des choix. 
Permet d’établir des décisions...
Avantages 
Une approche systématique augmente les chances de succès en permettant d’éviter certaines erreurs (Kok, 1992) c...
Permet d’éviter de… 
• Concevoir une action inadéquate. Par exemple, diffuser un dépliant sur un programme d'échange de se...
Avantages du Preffi 
• Permettre de se lancer dans un processus d’évaluation à toutes les étapes de l’action, même sans di...
Limites 
• Structure pouvant paraitre rigide et peu adaptable; items/questions non pertinentes • Fournit des lignes direct...
58 
Des objets de taille variable 
Action/ 
mesure 
Action/ 
mesure 
Projet Projet 
Programme 
Politique 
Action/ 
mesure ...
EHESP 
59 
Dimensions évaluées dans le Preffi
EHESP 
60 
Projet centré sur l’élaboration de stratégies politiques 
de santé 
Evaluation en fonction de l’objet à 
analys...
EHESP 
61 
Projet de mise en oeuvre 
Evaluation en fonction de l’objet à 
analyser
EHESP 
62 
Projet communautaire 
Evaluation en fonction de l’objet à 
analyser
EHESP 
63 
Projet de diagnostic 
Evaluation en fonction de l’objet à 
analyser
EHESP 
64 
Evaluation de processus et de résultats 
Evaluation en fonction de l’objet à 
analyser
65 
Evaluation d’un programme/action de santé 
Approximativement nous retenons : 
- 10% de ce que nous lisons 
- 20% de ce...
Le diagnostic a t-il été correctement effectué ? 
Question évaluative 1
Diagnostic: Evaluer le problème 
Un projet pertinent doit cibler un problème de santé ayant des conséquences significative...
68 
Où chercher les données? 
Sources possibles 
L’OMS (http://www.who.int/publications/fr/) 
Le Bulletin Epidémiologique ...
Principales causes de décès en 2009 
Hommes 
Femmes 
Total 
en effectif 
en % 
en effectif 
en % 
en effectif 
en % 
Malad...
Diagnostic: Evaluer le contexte 
Un projet pertinent doit prendre en compte le contexte local 
Le contexte regroupe plusie...
EHESP 
72 
Questions possibles 
Est-ce que nous avons identifié dans quelle zone géographique se déroule notre projet ? 
•...
Diagnostic: Evaluer le public 
EHESP 
73 
Le projet doit partir d’un repérage des besoins et caractéristiques du public-ci...
EHESP 
74 
Questions possibles 
Est-ce que nous avons pris en compte l’âge des participants ? Leurs capacités ? Leur nivea...
Les Objectifs ont-ils clairement été définis ? 
Question évaluative 2
76 
Les objectifs 
La première question est de savoir pourquoi on veut mettre en place une action de santé, c'est-à-dire à...
Les objectifs 
Objectif général 
Enoncé, en termes plus ou moins et précis, de ce vers quoi tend l’action de santé. Cet én...
Objectif spécifique Un OBJECTIF SPECIFIQUE est issu de la démultiplication d'un objectif général en autant d'énoncés néces...
•Exemples d’objectifs spécifiques 
•Diminuer de 10% le nombre de cigarettes consommées chez les étudiants en première anné...
La Pertinence des objectifs 
EHESP 
80 
La pertinence est un critère qui interroge le rapport entre les objectifs définis ...
EHESP 
81
EHESP 
82
EHESP 
83
La Pertinence des objectifs 
EHESP 
84 
Quelle est la population visée ? 
Sera-t-il possible de mesurer ces indicateurs ? ...
EHESP 
85
EHESP 
86 
Questions possibles: 
Est-ce que le projet possède des objectifs précis? 
Est-ce que le projet possède des obje...
87 
Exercice sur document 
Cernez les éléments suivants : 
But du projet Porteur de projet Public cible Objectifs général ...
Sur quelles bases a été sélectionnée l’intervention? 
Question évaluative 3
La sélection de l’intervention 
EHESP 
89 
Il est important pour la réalisation du projet, que l’intervention sélection ai...
Sélectionner une intervention 
La stratégie à adopter doit être sélectionnée en fonction de sa faisabilité; de son efficac...
Sélectionner une intervention 
Un rapport de 1979 du ministère américain de la santé estimait à: 
50% la fraction de morta...
Types d’interventions possibles… 
Education du public: médias locaux ou nationaux, prévention par les pairs… 
Education pr...
Les 7 étapes de la promotion de la santé fondée sur les preuves 
EHESP 
94
EHESP 
95 
Synthèses de la littérature
EHESP 
96
EHESP 
97
EHESP 
98 
Rapports institutionnels
EHESP 
99
EHESP 
100
EHESP 
101 
Rapports d’experts terrain et recherche
EHESP 
102 
Rapports d’experts terrain et recherche
La sélection de l’intervention 
EHESP 
103 
L’utilisation des données probantes est la meilleure manière de sélectionner u...
104 
Exercice sur document 
Cernez les éléments suivants : 
Action ou intervention prévue Déterminant sur lequel elle est ...
La mise en oeuvre correspond t-elle aux prévisions ? 
Question évaluative 4
106 
Des 
moyens 
sont mobilisés (intrants) 
… pour réaliser des activités.. 
… dont les produits 
Cet enchaînement repose...
107 
Moyens 
humains, 
matériels, 
financiers 
Activités : 
construire, 
former, 
organiser, 
soigner, 
écrire, ... 
perso...
EHESP 
108
EHESP 
109
110 
Evaluation de processus 
Un processus continu de collecte et d'analyse d'informations pour apprécier comment un proje...
111 
1) Je vais identifier ce qui était prévu dans les documents de départ, 
2) Je vais reconstituer ce qui s'est passé ré...
112 
La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? 
3) Je vais comparer le plan et la réalité, mettr...
113 
Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes supposent l'usage d'outils ou d'instrum...
Quels dispositifs d’évaluation ont été prévus ? 
Question évaluative 5
115 
L’évaluation de processus et de résultats sont des démarches distinctes mais complémentaires 
Evaluation de processus...
EHESP 
116 
Processus/résultats
117 
Evaluation de résultat 
Une mesure, aussi systématique et objective que possible, des résultats d'un projet, d'un pro...
118 
Comment s'assurer que l'impact est dû au programme ? 
Les questions auxquelles il faut répondre : 
–Est-ce que le pro...
119 
Deux problèmes sont à résoudre : 
1)Dans quelle mesure peut-on identifier un effet (la conduite à risque diminue, ......
120 
Comment les résultats ont-ils été analysés? 
Question évaluative 6
121 
Question clé de l'évaluateur : Que ce serait-il passé pour les bénéficiaires si l’action n'avait pas eu lieu ? Commen...
122 
Temps 
Programme 
Bénéficiaires 
30 
10 
17 
Niveau des connaissances 
Étude écologique: Avant - après 
Score: Niveau...
123 
Temps 
Programme 
Bénéficiaires 
30 
10 
17 
Niveau des connaissances 
Avant - après
124 
Temps 
Programme 
Bénéficiaires 
30 
10 
17 
Niveau des connaissances 
Avant - après 
Tendance temporelle sans le pro...
EHESP 
125 
Étude écologique: Avant - après
EHESP 
126 
Étude écologique: Avant - après
EHESP 
127
128 
Causes possibles 
Groupes observés 
Résultats de 
l'observation 
(effets) 
Toutes les 
autres 
influences 
Le projet ...
129 
Temps 
Programme 
Bénéficiaires 
30 
Groupe de contrôle équivalent 
10 
17 
Niveau des connaissances 
Etude contrôlée
130 
Temps 
Programme 
Bénéficiaires 
30 
Groupe de contrôle équivalent 
10 
17 
Niveau des connaissances 
Etude contrôlée...
131 
Temps 
Programme 
Bénéficiaires 
30 
Groupe de contrôle équivalent 
10 
17 
Niveau des connaissances 
Etude contrôlée...
132 
Temps 
Programme 
Bénéficiaires (tous bac + 5) 
30 
Groupe de contrôle (tous sans diplomes) 
10 
17 
Niveau des conna...
133 
En pratique, les études randomisées sont réservées à la recherche et ne peuvent pas être utilisées dans les actions d...
134 
Temps 
Programme 
Bénéficiaires 
30 
Groupe de contrôle équivalent 
10 
17 
Niveau des connaissances 
Etude transvers...
135 
Temps 
Programme 
30 
10 
17 
Niveau des connaissances 
Etude cas-témoin 
Cas: bon niveau 
témoin: faible niveau 
% q...
EHESP 
136 
Estimation de l’effet 
Groupes 
% réponses correctes 
signification 
Intervention 
41% 
P<0.05 
Témoin 
11% 
G...
EHESP 
137 
Estimation de l’effet 
Groupe 
Odd Ratio 
IC [95%] 
Intervention 
4.3 
[ 2.7 – 5.9] 
Témoin (ref) 
1 
Groupe 
...
Sélection de la procédure 
EHESP 
138 
Hiérarchie des preuves quantitatives: indique les types d'études qui sont les plus ...
Types d’étude 
Validité 
Coût 
*Etude de cas 
*Etude écologique 
*Étude tranversalle 
*Cas-controle 
*Cohorte 
*Étude rand...
Types d’étude 
EHESP 
140 
Définition 
Intérêt 
Limite 
Etude transversale 
Enquête établissant au même moment l’état de s...
141 
Comment ont été constuit les indicateurs ? 
Question évaluative
Indicateurs 
Hiérarchie des 
objectifs 
Définition claire 
et précise d'un 
objectif 
Indicateur 
objectivement 
vérifiabl...
143 
Les indicateurs devraient être : • mesurables (nombre, pourcentage, ratio) • factuels (avoir la même signification po...
144 
Techniques, outils, instruments ... 
Pratiquement toutes les techniques des sciences économiques et sociales, en part...
Entretiens 
en groupe 
individuels 
Questionnaires 
Auto questionnaire 
Hétéro questionnaire 
Focus group 
par la personne...
L’observation 
Il existe différentes procédures d’observation : 
l’observation systématique 
–grille d’observation standar...
Les grilles d’observation 
- Construites à la fois à partir d’un modèle théorique et à partir de l’observation de comporte...
EHESP 
148
EHESP 
149
EHESP 
150 
Si pertinent: Grille d’observation validée scientifiquement
Avantages de l’observation 
Les observations permettent d’appréhender une réalité vécue, plutôt que d’en obtenir une repré...
L’entretien 
Méthode de recueil d’informations qui consiste en des entretiens oraux individuels avec plusieurs personnes s...
EHESP 
153
EHESP 
154 
Sécurité de l’Information Hospitalière
EHESP 
155
EHESP 
156 
Projet « suricates » 
Abdel Baba-Moussa et Catalin Nache, Santé Publique 4/2010 (Vol. 22), p. 449-459.
structuré 
Semi-structuré 
Libre 
Discours qui suit l’ordre des questions posées 
Discours « par paquets », dont l’ordre p...
La préparation 
Préciser les questions générales et spécifiques Faire une première rédaction des questions Organiser la sé...
Avantages 
•un plus haut pourcentage de réponses peut être obtenu 
•les personnes réellement sélectionnées peuvent être at...
Inconvénients 
•L’apprentissage est indispensable pour bien manipuler la technique de l’entretien semi-directif. 
•C’est u...
EHESP 
161 
Entretien de groupe composé de personnes concernées par une politique de santé ou une intervention. Obtenir de...
EHESP 
162 
Usages du Focus group
EHESP 
163 
•Recueillir rapidement des informations et des points de vue. 
•Permet à la fois l’expression et l’explication...
EHESP 
164 
Le focus group est le seul outil à la disposition de l’évaluateur à la fois d’analyse et de confrontation de l...
Exemple 
Au cours d’un focus group rassemblant les représentants de diverses associations d’aide aux toxicomanes IV et des...
EHESP 
166 
Avant de décider d’organiser un focus group, l’évaluateur doit 
cerner la problématique de l’évaluation et en ...
EHESP 
167 
•Très utile pour collecter des infos auprès de groupes de bénéficiaires, notamment pour analyser l’impact perç...
EHESP 
168 
•Informations qualitatives, difficile à recueillir (verbatim) et à analyser (analyse de contenu); 
•Aucune por...
Définition du questionnaire 
Un outil méthodologique 
Composé d’une série de questions s’enchaînant de manière structurée ...
EHESP 
170 
1: Une partie présentation/instruction destinée aux enquêteurs: Titre de l'enquête, présentation de l'organism...
Définition de l’objectif de l’enquête 
Objet: problème étudié 
Tabagisme chez les jeunes adultes 
Objectif: hypothèse à vé...
Délimitation de la population 
Selon l’objectif 
Selon l’importance de la population 
Selon les moyens disponibles 
On pou...
Les questions filtres 
Une première question permet de « filtrer » la population interrogée 
Est-vous fumeur (se) ? 
□ oui...
Les questions fermées 
Elles collectent des faits précis 
Plusieurs types de questions selon les modalités de réponses: 
U...
Les questions fermées 
Plusieurs réponses possibles 
- Réponses à choisir dans une liste: 
ex: par quels moyens vous infor...
Les questions fermées 
-Réponses à ordonner (classement hiérarchique) 
ex: même exemple que le précédent, mais en précisan...
Les questions fermées 
-Les échelles de satisfaction, et de degré d’accord 
Que pensez-vous de l’interdiction de fumer dan...
Les questions fermées 
-Les échelles de fréquence et d’intensité 
A quelle fréquence fumez-vous lors des soirées entre ami...
Les questions fermées 
-Les échelles de croyances/ connaissances 
Fumer du cannabis est moins dangereux que fumer du tabac...
Echelle visuelle Analogique 
Fumer du cannabis est moins dangereux que fumer du tabac 
Pas du tout d’accord 
Tout à fait d...
Les questions fermées 
Avantages des questions fermées 
Elles permettent des réponses aisées et rapides 
Elles sont facile...
Les questions ouvertes 
Question ouverte d’opinion: 
ex: Quelle est votre position par rapport à l’interdiction de fumer d...
Avantages des questions ouvertes: 
Elles permettent réellement le recueil d’opinions et de suggestions La personne enquêté...
Les questions de fait et d’opinion 
Les questions de fait: 
Elles concernent des faits précis: 
Fumez-vous ? 
Combien de c...
La formulation des questions 
La forme interrogative directe: 
Que pensez-vous de… Combien de … 
La forme indirecte: 
Nomm...
Conseils pour la formulation des questions: Ce qui est recommandé 
- demander un seul fait ou opinion par question 
- util...
- les questions utilisant une négation: 
Ne pensez-vous pas que…..? 
- les questions qui induisent les réponses: 
Pensez-v...
Mise en forme 
Regrouper les questions de même type (socio-démographiques; habitudes; conduites…) 
Eventuellement, mettre ...
Présentation définitive 
Facile à lire 
Facile à remplir 
Facile à dépouiller
EHESP 
190 
•Simple à mettre en oeuvre et à remplir par un grand nombre de participants 
•Donne des résultats directement ...
EHESP 
191 
•Demande beaucoup de temps et de rigueur pour la conception en amont 
•Aucune marge de manoeuvre une fois les ...
192 
Techniques, outils, instruments ... 
Pour approfondir, il existe de nombreux manuels, guides, etc... sur les thèmes s...
193 
Techniques, outils, instruments ... 
Un très grand nombre d’outils (questionnaires, grilles d’entretien etc..) constr...
194 
Exercice sur document 
Cernez les éléments suivants : 
Procédure d’évaluation prévue 
-Pour analyser le processus 
-P...
Critères de Qualité du rapport 
Question évaluative
196 
Rapport 
Thèmes à inclure dans le rapport (projet) : 
–Description schématique du programme à évaluer avec identifica...
197 
Rapport 
Thèmes à inclure dans le rapport d’évaluation : 
–Description schématique du programme avec identification d...
évaluation en promotion de la santé
évaluation en promotion de la santé
Prochain SlideShare
Chargement dans…5
×

évaluation en promotion de la santé

1 006 vues

Publié le

Évaluation des actions en promotion de la santé

Publié dans : Formation
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 006
Sur SlideShare
0
Issues des intégrations
0
Intégrations
11
Actions
Partages
0
Téléchargements
33
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

évaluation en promotion de la santé

  1. 1. Evaluer en promotion de la santé Aymery Constant Maitre de conférences EHESP
  2. 2. Prevention et promotion de la santé Début XX°: Bond de l’espérance de vie, bien avant les progrès de la médecine Aujourd’hui encore, la plupart des causes de mortalité prématurées sont évitables Les actions de promotion de santé et de prévention sont donc pertinentes pour… ….augmenter l’espérance de vie en bonne santé, le bien-être, la productivité, et éviter blessures, et maladies… EHESP 2
  3. 3. Quelques exemples…
  4. 4. EHESP 4
  5. 5. EHESP 5
  6. 6. EHESP 6
  7. 7. EHESP 7
  8. 8. EHESP 8 Un très bon slogan, très bien mémorisé (1984) ….mais quel effet sur la consommation d’alcool?
  9. 9. EHESP 9 Susciter la peur
  10. 10. EHESP 10 Susciter la peur
  11. 11. Quelle logique sous tend ces actions? EHESP 11
  12. 12. Une logique de slogan Pendant des décennies, les actions de promotion de la santé et de prévention ont été assimilées à des campagnes publicitaires Peu ou pas d’évaluation; évaluation sous forme d’enquêtes de satisfaction; de mémorisation des messages; de « taux de pénétration » des campagnes d’information…etc . Effet « plafond » de ce type de campagne atteint EHESP 12
  13. 13. EHESP 13 + Les couples hétérosexuels monogames stables (et à haut revenus, visiblement) sont-ils la cible prioritaire pour les campagnes d’information sur le préservatif ? Ratage de cible
  14. 14. EHESP 14 Potentiel d’identification: nul
  15. 15. EHESP 15 Ratage de communication sur les déterminants (la honte à ceux qui ont des difficultés)
  16. 16. Quelles sont les points communs de ces campagnes d’information ? EHESP 16
  17. 17. Situation en France Des indicateurs inquiétants…mais réversibles ! •Un des taux de mortalité prématuré les plus élevés d’Europe de l’Ouest •Taux de suicide le plus élevé d’Europe de l’Ouest •Espérance de vie en bonne santé inférieure aux pays voisins •Consommation d’alcool très élevée •Consommation d’alcool et de cannabis la plus élevée chez les adolescents en Europe •Consommation de psychotropes la plus élevée au monde Seule l’entrée des pays de l’est dans Union Européenne a permis à la France de « descendre » dans les classements EHESP 17
  18. 18. Les principes fondamentaux de l’évaluation
  19. 19. 19 L’efficacité, un mot tabou en prévention et promotion de la santé ?
  20. 20. 20 Urbanisation croissante Pauvreté grandissante Vieillissement Des populations dépendance Détérioration de l'environnement Erosion de la volonté générale d'aide Exigences des beneficiaires Restrictions budgetaires Actions de santé Scepticisme des commanditaires Extension modèle anglo-saxon (et évaluation) Incertitudes institutionnelles Déficits liés aux dépenses de santé Raisons pour des actions efficaces
  21. 21. 21 Et du point de vue de l’usager ?
  22. 22. EHESP 22 Les bénéfices de l’évaluation
  23. 23. 23 t1 Conception etc... t3 Conception Planification Réalisation Evaluation Conception Planification Réalisation Evaluation t2 Le cycle de fonctionnement d'une organisation qui apprend à partir de ses expériences
  24. 24. 24 Inconvénients de l’évaluation?
  25. 25. Les étapes de la démarche d’évaluation
  26. 26. EHESP 26
  27. 27. 27 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Activités Prévues Pop cible prévue Planification
  28. 28. 28 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Ressources Effectives Pop cible effective Actions Effectives Objectifs atteints Autres effets Actions Prévues Pop cible prévue Planification Réalisation
  29. 29. 29 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Activités Prévues Pop cible prévue Evaluation du projet et de sa planification Validité du diagnostic initial Pertinence des objectifs et de la conception des actions Pertinence du choix de la pop cible Pertinence de la planification Organisation Faisabilité Etude des coûts Etc…
  30. 30. 30 Ressources Effectives Pop cible effective Actions Effectives Objectifs atteints Autres effets Evaluation de la Mise en oeuvre Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Activités Prévues Pop cible prévue
  31. 31. 31 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Ressources Effectives Activités Effectives Objectifs atteints Autres effets Activités Prévues Pop cible prévue Pop cible effective Evaluation de processus Evaluation des résultats
  32. 32. 32 Le "moment" d'une évaluation Diagnostic Planification Démarrage Réalisation (Phase 1) Réalisation (Phase 2) .... Fin du projet Poursuite des effets Les moments de la vie d'un projet, d'un programme ou d'une politique Etudes de faisabilité (évaluation ex-ante) Evaluation en cours Evaluation à mi-parcours Evaluation finale Evaluation retrospective Les moments de l'évaluation
  33. 33. 33 Selon les "moments" de l'évaluation, les buts diffèrent Avant Pendant À la fin Avant et après Vérifier la conception et la planification Améliorer la mise en oeuvre Rendre des comptes Déterminer l’impact Programme Début
  34. 34. L’évaluation n’a de sens que… - Si elle a été planifiée et conçue en même temps que le projet (le projet est lui-même conçu en intégrant l’évaluation) - Si elle a débuté avant l’action, continue pendant l’action et se poursuit après - Si l’action est évaluable (les indicateurs de qualité du projet, de processus et de résultat sont collectés et disponibles) EHESP 34
  35. 35. EHESP 35 Wholey (1970) a proposé quatre conditions préalables à l’évaluation: 1.La logique d’intervention est claire, connue et partagée de tous; 2.Les relations causales et la logique de l’intervention sont plausibles (fondement théorique) et les activités planifiées devraient permettre d’atteindre les effets attendus (elles ont déjà fait leurs preuves); 3. Les données nécessaires pour réaliser l’évaluation sont disponibles ou accessibles (collecte planifiée dans le projet) 4. L’utilité de réaliser l’évaluation est reconnue par les utilisateurs potentiels des résultats (peut aider à la mise en oeuvre et à améliorer les effets de l’action).
  36. 36. Utile Les qualités d'une évaluation
  37. 37. Crédible Utile Pertinente Accessible (digne de confiance) Les qualités d'une évaluation
  38. 38. Crédible Qualité et transparence des méthodes employées, compétence des évaluateurs Utile Pertinente Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique Accessible Qualité des mesures et des relations causales établies Caractère reproductible des conclusions (un autre évaluateur aboutirait aux mêmes conclusions) , séparation complète entre conclusions et recommandations (digne de confiance) Les qualités d'une évaluation
  39. 39. Crédible Utile Pertinente Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique Accessible (digne de confiance) Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes Les qualités d'une évaluation
  40. 40. Crédible Utile Pertinente Communication des résultats Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements Accessible , (digne de confiance) Qualité du rapport : organisation, taille, style (clarté, concision) Les qualités d'une évaluation
  41. 41. Quelles compétences pour un évaluateur ?
  42. 42. Questions évaluatives •Savoir quelles questions poser aux différentes étapes du projet/action (avant, pendant, après) •Savoir comment y répondre (méthodes, outils..) •Analyser les étapes du projet/action en fonction de ces éléments •Utiliser ces informations pour émettre des recommandations en vue d’améliorer l’action EHESP 42
  43. 43. À la fin de l’action •Qu’est ce qui a fonctionné comme prévu ? •Qu’est ce qui n’a pas fonctionné comme prévu et pourquoi ? •Les résultats sont-ils conformes aux prévisions? •Quels événements imprévus et pourquoi ? •Utiliser ces informations pour émettre des recommandations en vue d’améliorer l’action EHESP 43
  44. 44. 44 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Ressources Effectives Activités Effectives Objectifs atteints Autres effets ? Activités Prévues Pop cible prévue Pop cible effective
  45. 45. 45 Diagnostic Exemple: L’analyse de la situation est-elle pertinente, claire, fondées sur les données épidémiologiques disponibles et actualisées ?
  46. 46. 46 Objectifs - généraux - spécifiques Exemple: Les objectifs sont-ils clairs; quantifiables; réalistes; pertinents au regards de la situation et des actions en promotion de la santé ?
  47. 47. 47 Activités Prévues Pop cible prévue Exemple: Les activités prévues sont-elles efficaces pour atteindre les objectifs ? Sont-elles adaptées à la population-cible ?
  48. 48. 48 Ressources Prévues Ressources Effectives Exemple: Les ressources effectives correspondent elles aux ressources prévues? Sont-elles attribuées selon le plan initial ?
  49. 49. 49 Activités Effectives Pop cible effective Exemple: Les actions se sont-elles déroulées comme prévu ? Les participants ont-ils été satisfaits ?
  50. 50. 50 Activités Effectives Objectifs atteints Autres effets ? Pop cible effective Exemple: A –on observé un changement chez les participants ? Ce changement correspond t-il aux objectifs ?
  51. 51. Approche systématique: le Preffi 2.0
  52. 52. EHESP 52
  53. 53. L’approche systématique Une approche systématique implique des étapes menant à des choix. Permet d’établir des décisions conscientes, et réfléchies aboutissant à un projet cohérent et basé sur le bon sens. Une approche systématique est particulièrement importante pour faire les choix théoriques les plus justes. En même temps, ces derniers sont limités par des contraintes pratiques telles que le financement, le recrutement et le temps. Ces ressources et la manière de les prendre en compte influencent de manière importante le succès d'un programme. EHESP 53
  54. 54. Avantages Une approche systématique augmente les chances de succès en permettant d’éviter certaines erreurs (Kok, 1992) comme : • Traiter un problème inexistant, mettre en place une action de grande envergure pour un problème exceptionnel ou touchant un groupe spécifique qui fait déjà l’objet d’interventions adaptées (mauvaise analyse du problème) • Se concentrer sur des comportements ou des facteurs environnementaux dont la relation avec le problème est incertaine. (mauvaise analyse des déterminants) •Concevoir l'intervention à partir d’une analyse incorrecte des motivations du comportement. Par exemple, on suppose souvent à tort que la connaissance par le public des effets dangereux sur la santé d’une pratique suffit pour changer ce comportement ; EHESP 54
  55. 55. Permet d’éviter de… • Concevoir une action inadéquate. Par exemple, diffuser un dépliant sur un programme d'échange de seringues pour des toxicomanes alors que les seringues nécessaires ne seront disponibles que six mois plus tard (mauvaise analyse de la mise en oeuvre) • Concevoir une action dont l'introduction (à grande échelle) s'expose à une résistance. Citons l'exemple de la brochure hollandaise sur le sida prévue pour les enfants scolarisés et rejetée par les écoles de confession chrétienne (mauvaise analyse de la population-cible) EHESP 55
  56. 56. Avantages du Preffi • Permettre de se lancer dans un processus d’évaluation à toutes les étapes de l’action, même sans disposer d’une expérience de 20 ans (avantage de l’outil didactique) • Produire des évaluations structurées et standardisées, facilement lisibles pour des non spécialistes; • Permettre de comparer différentes évaluations d’une même action (convergence inter-évaluateurs); ou de plusieurs actions différentes EHESP 56
  57. 57. Limites • Structure pouvant paraitre rigide et peu adaptable; items/questions non pertinentes • Fournit des lignes directrices qui peuvent et doivent être modifiées en fonction de la situation, des problèmes rencontrés, des évaluateurs etc. •Les échanges avec les acteurs de l’action et de l’évaluation doivent être le plus fréquent possibles, sur la base des informations fournies par cet outil •Guide la réflexion individuelle et collective, mais ne la remplace pas EHESP 57
  58. 58. 58 Des objets de taille variable Action/ mesure Action/ mesure Projet Projet Programme Politique Action/ mesure Action/ mesure Action/ mesure Action/ mesure Projets, programmes, politiques L'évaluation porte sur des objets de taille variable
  59. 59. EHESP 59 Dimensions évaluées dans le Preffi
  60. 60. EHESP 60 Projet centré sur l’élaboration de stratégies politiques de santé Evaluation en fonction de l’objet à analyser
  61. 61. EHESP 61 Projet de mise en oeuvre Evaluation en fonction de l’objet à analyser
  62. 62. EHESP 62 Projet communautaire Evaluation en fonction de l’objet à analyser
  63. 63. EHESP 63 Projet de diagnostic Evaluation en fonction de l’objet à analyser
  64. 64. EHESP 64 Evaluation de processus et de résultats Evaluation en fonction de l’objet à analyser
  65. 65. 65 Evaluation d’un programme/action de santé Approximativement nous retenons : - 10% de ce que nous lisons - 20% de ce que nous entendons - 30% de ce que nous voyons - 50% de ce que nous voyons et entendons - 80% de ce que nous disons -90% de ce que nous mettons en pratique Exercice : conduire les différentes étapes d’un processus d’évaluation à l’aide d’un outil standardisé
  66. 66. Le diagnostic a t-il été correctement effectué ? Question évaluative 1
  67. 67. Diagnostic: Evaluer le problème Un projet pertinent doit cibler un problème de santé ayant des conséquences significative sur la santé des gens (espérance de vie, qualité de vie, espérance de vie en bonne santé, bien être..) Différent aspects sont à prendre en compte: Incidence / prévalence, mortalité prématurée fardeau de la maladie / qualité de vie, expérience et signification de la maladie Déterminants (biologiques, sociaux, psychologiques, comportementaux…) Spécificité géographique ou temporelle Cout de la Prise en charge Coût humain; cout financier; cout en terme de productivité, de développement Année de vie perdues (DALYS) EHESP 67
  68. 68. 68 Où chercher les données? Sources possibles L’OMS (http://www.who.int/publications/fr/) Le Bulletin Epidémiologique Hebdomadaire (http://www.invs.sante.fr/beh/) L’OCDE (http://www.oecd.org/fr/statistiques/) L’Union Européenne (http://epp.eurostat.ec.europa.eu/portal/page/portal/eurostat/home) L‘INSERM (http://www.inserm.fr/thematiques/sante-publique/rapports- publies) Les organismes spécialisés comme l’OFDT ou l’ONISR (http://www.securite-routiere.gouv.fr/medias- outils/documentation/bibliographie) (http://www.ofdt.fr/ofdtdev/live/publi.html)
  69. 69. Principales causes de décès en 2009 Hommes Femmes Total en effectif en % en effectif en % en effectif en % Maladies infectieuses et parasitaires (1) 5 268 2 5 531 2 10 799 2 Tumeurs 93 134 34 66 310 25 159 444 30 Tumeurs du larynx, trachée, bronches et poumon 23 453 9 7 429 3 30 882 6 Tumeurs du côlon 6 530 2 5 990 2 12 520 2 Tumeurs du rectum et de l’anus 2 482 1 2 040 1 4 522 1 Tumeurs du sein 200 ns 11 588 4 11 788 2 Troubles mentaux et du comportement 7 482 3 10 059 4 17 541 3 Maladie de l’appareil circulatoire 66 833 25 77 510 29 144 343 27 Maladies cérébrovasculaires 13 266 5 18 720 7 31 986 6 Cardiopathies ischémiques 20 774 8 15 765 6 36 539 7 Maladies de l’appareil respiratoire 17 654 6 16 207 6 33 861 6 Maladies de l’appareil digestif 12 543 5 10 888 4 23 431 4 Causes externes 22 620 8 14 748 6 37 368 7 Accidents de transport 3 262 1 1 044 ns 4 306 1 Suicides 7 739 3 2 725 1 10 464 2 Autres causes 45 697 17 60 277 23 105 974 20 Total 272 253 100 263 113 100 535 366
  70. 70. Diagnostic: Evaluer le contexte Un projet pertinent doit prendre en compte le contexte local Le contexte regroupe plusieurs aspects : géographique, social, culturel, environnemental, historique, politique, conduites….législatif, réglementaire. l’ancrage dans un territoire et dans une problématique locale sont des caractéristiques intrinsèques des actions de santé. Le diagnostic va permettre d’analyser la situation sur le territoire, il est recommandé d’associer des acteurs locaux à cette phase de diagnostic afin d’élargir le champ des points de vues, de vérifier la pertinence de notre démarche et d’impliquer le plus grand nombre de personnes possible dans le dialogue territorial. EHESP 71
  71. 71. EHESP 72 Questions possibles Est-ce que nous avons identifié dans quelle zone géographique se déroule notre projet ? • Dans quel type d’environnement (urbain, rural, semi-rural, cité…) ? • En quoi peut-on s’appuyer sur les ressources locales ? • Est-ce que nous avons réalisé un diagnostic de départ ? Quelles habitudes, attitudes des participants envers la santé ? • Quelle connaissance des participants de leur santé, des problèmes de santé ? • Est-ce qu’il y a une politique de santé sur le territoire ? • Est-ce que notre projet est ancré sur le territoire ? Est-il construit à partir d’une problématique locale ? • Est-ce que notre projet est relié à des problématiques globales ? • Est-ce que notre discours est approprié à ce que peuvent observer les participants par eux-mêmes? • Est-ce que notre projet respecte les réglementations en vigueur ?
  72. 72. Diagnostic: Evaluer le public EHESP 73 Le projet doit partir d’un repérage des besoins et caractéristiques du public-cible L’implication des participants est un des aspects fondamentaux de toute actions de santé, c’est pourquoi la prise en compte de leurs caractéristiques est un critère de qualité. l’âge des participants, leur effectif, leurs caractéristiques sociales et culturelles, leurs capacités, leur culture, leurs acquis, leurs représentations… Enjeux Repérer au préalable les caractéristiques des futurs participants pour élaborer une action de santé appropriée et favorisant leur implication.
  73. 73. EHESP 74 Questions possibles Est-ce que nous avons pris en compte l’âge des participants ? Leurs capacités ? Leur niveau de connaissances ? Leurs motivations ? Leur effectif ? Leurs « caractéristiques » sociales et culturelles ? • Quelles sont les capacités cognitives, psychiques et de mobilité des participants ? • Est-ce que le projet tel qu’il est pensé correspond au rythme de vie des participants ? • Est-ce que notre projet s’est construit à partir des besoins ou envies des participants ? • Est-ce que la problématique les concerne réellement ? • Est-ce que les participants sont associés à l’élaboration du projet ? • Est-ce que nous avons défini la place, le rôle des participants dans le projet ?
  74. 74. Les Objectifs ont-ils clairement été définis ? Question évaluative 2
  75. 75. 76 Les objectifs La première question est de savoir pourquoi on veut mettre en place une action de santé, c'est-à-dire à quelle fin on veut mener une évaluation => les objectifs Ceux-ci doivent être réalistes, précis et quantifiables L’objectif prioritaire demeure le même: Améliorer la santé (au sens large du terme) des usagers
  76. 76. Les objectifs Objectif général Enoncé, en termes plus ou moins et précis, de ce vers quoi tend l’action de santé. Cet énoncé, qui définit les résultats de l‘action, représente l'orientation générale d'un programme. (L'objectif général constitue un premier degré de précision du but dont il découle.) Exemples Améliorer les comportements de santé chez les étudiants en première année Diminuer la mortalité routière chez les jeunes adultes Augmenter l’activité physique chez des salariés sédentaires en entreprise EHESP 77
  77. 77. Objectif spécifique Un OBJECTIF SPECIFIQUE est issu de la démultiplication d'un objectif général en autant d'énoncés nécessaires pour que quatre exigences soient satisfaites: •Décrit un changement attendu chez les bénéficiaires •Univoque: précis et une seule signification. Pas d’expressions nébuleuses ou sujettes à une interprétation libre. L'objectif doit exprimer clairement le résultat à atteindre (éventuellement de manière chiffrée) •Résultat, comportement…observable ou mesurable: décrire un résultat spécifique. Et non pas une catégorie de comportements comme le suggèrent les mots "comprendre« , « sensibiliser », "savoir". Ainsi, des objectifs comme "voir la valeur de la nutrition" ou « comprendre l’importance de la santé » ne sont pas spécifiques. •Précise les conditions dans lequel le résultat sera observé: chez qui, à quel moment, à quel endroit etc. EHESP 78 Les objectifs
  78. 78. •Exemples d’objectifs spécifiques •Diminuer de 10% le nombre de cigarettes consommées chez les étudiants en première année au cours des six prochains mois •Augmenter le nombre de fruits frais consommés au sein des foyers participants au cours des deux prochains mois •Réduire de 20% le nombre d’accidents de la route chez les jeunes du département au cours de l’année prochaine. •Augmenter le taux de connaissance sur le repérage des patients à risque suicidaire chez les médecins généralistes du réseau ville- hôpital à l’issue de la formation (pas de donnée de départ) NB: les termes favoriser, faciliter, sensibiliser, promouvoir etc. sont à éviter autant que possible pour les objectifs spécifiques EHESP 79 Les objectifs
  79. 79. La Pertinence des objectifs EHESP 80 La pertinence est un critère qui interroge le rapport entre les objectifs définis et les finalités de l’action. Enjeux Il est important de bien évaluer la pertinence des objectifs de l’action lors de l’élaboration du projet car elle est à la base d’un projet réussi. Si les objectifs ne sont pas pertinents et clairs, 1) L’action sera hasardeuse 2) Il sera impossible de définir des indicateurs 3) … ni de faire une évaluation 4) …ni de connaitre les effets de l’action
  80. 80. EHESP 81
  81. 81. EHESP 82
  82. 82. EHESP 83
  83. 83. La Pertinence des objectifs EHESP 84 Quelle est la population visée ? Sera-t-il possible de mesurer ces indicateurs ? Quel est le contexte dans lequel ces objectifs seraient mesurables ? La population générale Non, trop compliqué Etudes cliniques hospitalières, utilisation de « seuils » cliniques Quel conclusion ? Ne pas confondre promotion de la santé et soins médicaux
  84. 84. EHESP 85
  85. 85. EHESP 86 Questions possibles: Est-ce que le projet possède des objectifs précis? Est-ce que le projet possède des objectifs réalistes ? Est-ce que le projet possède des objectifs pertinents ? Pour les actions ciblant les individus • Est-ce que nous avons identifié des objectifs en termes de conduite ? Est-ce que nous avons identifié des objectifs en termes de savoir ? • Est-ce que nous avons identifié des objectifs en termes de savoir-faire ? • Est-ce que nous avons identifié des objectifs en termes de savoir-être ? • Est-ce que nous avons identifié des objectifs en termes de ressentis ? Pour les actions ciblant les organisations • Est-ce que nous avons identifié des objectifs de gouvernance ? Est-ce que nous avons identifié des objectifs de mise en oeuvre ? • Est-ce que les activités que nous allons mettre en oeuvre peuvent nous permettre d’atteindre nos objectifs ?
  86. 86. 87 Exercice sur document Cernez les éléments suivants : But du projet Porteur de projet Public cible Objectifs général Objectifs spécifiques Évaluation à l’aide du Preffi et des éléments discutés en cours
  87. 87. Sur quelles bases a été sélectionnée l’intervention? Question évaluative 3
  88. 88. La sélection de l’intervention EHESP 89 Il est important pour la réalisation du projet, que l’intervention sélection ait démontré son efficacité sur le problème de santé par ailleurs. Certains critères de sélection sont à examiner: Universalité : une intervention ayant montré des effets positifs dans une région du monde doit pouvoir être transposée dans un pays similaire (US= France= Allemagne=…) Reproductibilité : Toute action de santé rigoureuse doit être reproductible à l’identique (la procédure est décrite dans la publication: matériel, population, calendrier…) Efficacité: ses effets ont été quantifié précisément au cours d’une procédure d’évaluation rigoureuse (recherche)
  89. 89. Sélectionner une intervention La stratégie à adopter doit être sélectionnée en fonction de sa faisabilité; de son efficacité à réduire le problème; de sa pertinence par rapport au terrain; de son coût; du rapport cout/bénéfice… Des preuves scientifiques existent dans la littérature sur ces paramètres (evidence-based) Cette sélection va déterminer les besoins logistiques, financiers, intellectuel etc…nécessaires à l’intervention
  90. 90. Sélectionner une intervention Un rapport de 1979 du ministère américain de la santé estimait à: 50% la fraction de mortalité prématurée attribuables aux comportements contre 20% pour les facteurs environnementaux, 20% pour les facteurs biologiques individuels et 10% pour les insuffisances dans la prise en charge. Des estimations similaires ont été mises en évidence au niveau international
  91. 91. Types d’interventions possibles… Education du public: médias locaux ou nationaux, prévention par les pairs… Education précoce: intervention auprès des enfants (écoliers…) Formation/sensibilisation des professionnels de la santé: médecins, infirmières scolaires, travailleurs sociaux…. Programmes communautaires: par ex Gatekeepers (« sentinelles ») Interventions Législatives: obligation d’adopter un comportement de sécurité, interdiction des comportements à risque, restrictions… Modifications environnementales: barrière de sécurité, alarmes, constructions adaptées à la prévention; pistes cyclables; nudges
  92. 92. Les 7 étapes de la promotion de la santé fondée sur les preuves EHESP 94
  93. 93. EHESP 95 Synthèses de la littérature
  94. 94. EHESP 96
  95. 95. EHESP 97
  96. 96. EHESP 98 Rapports institutionnels
  97. 97. EHESP 99
  98. 98. EHESP 100
  99. 99. EHESP 101 Rapports d’experts terrain et recherche
  100. 100. EHESP 102 Rapports d’experts terrain et recherche
  101. 101. La sélection de l’intervention EHESP 103 L’utilisation des données probantes est la meilleure manière de sélectionner une intervention qui a des chances d’être efficace Permet de sélectionner l’intervention la plus pertinente en l’état actuel des connaissances et jusqu’à preuve du contraire (approche scientifique) En revanche, il n’existe aucune garantie de résultat quant à cette efficacité (et donc à l’atteinte des objectifs) dans le contexte local d’intervention D’autres paramètres sont à l’oeuvre (contextuels, environnementaux, mise en oeuvre, adaptation à la population-cible, au territoire etc.)
  102. 102. 104 Exercice sur document Cernez les éléments suivants : Action ou intervention prévue Déterminant sur lequel elle est sensée agir Modalités de sélection (pourquoi elle plutôt qu’un autre) Modalités de mise en oeuvre Adaptation au public-cible Évaluation à l’aide du Preffi et des éléments discutés en cours
  103. 103. La mise en oeuvre correspond t-elle aux prévisions ? Question évaluative 4
  104. 104. 106 Des moyens sont mobilisés (intrants) … pour réaliser des activités.. … dont les produits Cet enchaînement repose sur une suite de relations logiques (si... alors) dites "de cause à effet" et un impact sur la santé …doivent produire des résultats… Évaluation Suivi et évaluation de la chaîne des étapes d'une action
  105. 105. 107 Moyens humains, matériels, financiers Activités : construire, former, organiser, soigner, écrire, ... personnel formé, procédures mises en place, matériels conçus textes de loi préparés Baisse des conduites à risque, Recours aux soins, Détection précoce Conduites améliorées, Diminution des maladies; Mortalité prématurée réduite, Dépendance diminuée Intrants Activités Produits Résultats Impact Des moyens sont mobilisés (intrants) … pour réaliser des activités... dont les produits.. . doivent produire des résultats.. . et un impact sur la santé La structure logique d'un projet ou d'un programme NB: l’impact à long terme (cancer; maladies chroniques..) n’est ni mesurable ni pertinent pour les actions de PPS locales
  106. 106. EHESP 108
  107. 107. EHESP 109
  108. 108. 110 Evaluation de processus Un processus continu de collecte et d'analyse d'informations pour apprécier comment un projet (un programme, une action, ou une politique) est mis en oeuvre, en comparant les performances effectives avec les performances attendues
  109. 109. 111 1) Je vais identifier ce qui était prévu dans les documents de départ, 2) Je vais reconstituer ce qui s'est passé réellement Analyse documentaire Entretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension Comment répondre à cette question ? Analyse documentaire, lecture des dossiers d'archive Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité Exemple de question : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?
  110. 110. 112 La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? 3) Je vais comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions 4) Il me faudra décider ce qui est un changement négligeable et ce qui est un changement notable. Je ne signalerai que les changements qui ont eu des conséquences visibles sur les coûts et les délais Etablissement d'un chronogramme rétrospectif Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions Construction de l'argumentaire C'est la démarche que je me propose de suivre pour répondre à cette question
  111. 111. 113 Cette démarche prévoit l'utilisation de différentes techniques qui elle-mêmes supposent l'usage d'outils ou d'instruments Techniques - Analyse documentaire - Revue de dossiers - Entretiens individuels - Groupes de discussion Outils/instruments - Guides d'entretien - Chronogrammes La mise en oeuvre de ce programme s'est- elle déroulée comme prévu ?
  112. 112. Quels dispositifs d’évaluation ont été prévus ? Question évaluative 5
  113. 113. 115 L’évaluation de processus et de résultats sont des démarches distinctes mais complémentaires Evaluation de processus Mesure continue du rendement Utile au pilotage Evaluation de résultat Mesure des effets
  114. 114. EHESP 116 Processus/résultats
  115. 115. 117 Evaluation de résultat Une mesure, aussi systématique et objective que possible, des résultats d'un projet, d'un programme ou d'une politique, en vue de déterminer sa pertinence, et sa cohérence, l'efficience de sa mise en oeuvre, son efficacité et son impact ainsi que la pérennité des effets obtenus
  116. 116. 118 Comment s'assurer que l'impact est dû au programme ? Les questions auxquelles il faut répondre : –Est-ce que le programme « capitaine de soirée » a fait diminuer le nombre d’accidents de la route dans le secteur, ou bien ces accidents auraient-ils diminué de toute façon ? –Est-ce que la fourniture de brochures a contribué à l'amélioration du port du casque à vélo ou bien est- ce que cette amélioration est due à d'autres facteurs ? –Est-ce que le l’action éducative a amélioré le niveau de connaissances ou bien cela est-il dû à d'autres causes ?
  117. 117. 119 Deux problèmes sont à résoudre : 1)Dans quelle mesure peut-on identifier un effet (la conduite à risque diminue, ...) 2) Dans quelle mesure cet effet est-il attribuable à l’action (et non pas à une autre cause). Pour tenter de répondre, du mieux possible, à ces deux questions, des méthodes qui sont spécifiques à l'évaluation sont utilisées Méthodes d'évaluation de résultats
  118. 118. 120 Comment les résultats ont-ils été analysés? Question évaluative 6
  119. 119. 121 Question clé de l'évaluateur : Que ce serait-il passé pour les bénéficiaires si l’action n'avait pas eu lieu ? Comment refaire l'histoire ? Comment construire une base de comparaison ? L'art de l'évaluation consiste à trouver une solution pour construire une base de comparaison permettant d'aboutir à des conclusions crédibles Méthodes d'évaluation de résultats
  120. 120. 122 Temps Programme Bénéficiaires 30 10 17 Niveau des connaissances Étude écologique: Avant - après Score: Niveau des connaissances sur les aliments sains et ceux à éviter
  121. 121. 123 Temps Programme Bénéficiaires 30 10 17 Niveau des connaissances Avant - après
  122. 122. 124 Temps Programme Bénéficiaires 30 10 17 Niveau des connaissances Avant - après Tendance temporelle sans le programme Tendance temporelle avec le programme effet
  123. 123. EHESP 125 Étude écologique: Avant - après
  124. 124. EHESP 126 Étude écologique: Avant - après
  125. 125. EHESP 127
  126. 126. 128 Causes possibles Groupes observés Résultats de l'observation (effets) Toutes les autres influences Le projet ou la politique Groupe de contrôle Groupe expérimental Résultats au niveau du groupe de contrôle Résultats au niveau du groupe expérimental Résultats nets (attribuables au projet ou à la politique) L’expérimentation idéale (mais peu réaliste)
  127. 127. 129 Temps Programme Bénéficiaires 30 Groupe de contrôle équivalent 10 17 Niveau des connaissances Etude contrôlée
  128. 128. 130 Temps Programme Bénéficiaires 30 Groupe de contrôle équivalent 10 17 Niveau des connaissances Etude contrôlée Le niveau de connaissances est resté inchangé, la programme n’a eu aucun effet
  129. 129. 131 Temps Programme Bénéficiaires 30 Groupe de contrôle équivalent 10 17 Niveau des connaissances Etude contrôlée Le niveau des connaissances a augmenté, mais pas grâce au programme !
  130. 130. 132 Temps Programme Bénéficiaires (tous bac + 5) 30 Groupe de contrôle (tous sans diplomes) 10 17 Niveau des connaissances Etude contrôlée Quel part de l’effet est lié au programme ?
  131. 131. 133 En pratique, les études randomisées sont réservées à la recherche et ne peuvent pas être utilisées dans les actions de terrain (éthique, faisabilité…) MAIS Il est toujours possible de comparer les indicateurs de santé (si disponibles) entre l’endroit (territoire, établissement, population..) où l’action a eu lieu et un endroit similaire où se posent les même problèmes de santé (comparaison ici-ailleurs) Ex: mesure l’absenteisme des élèves dans le lycée où l’action de prévention de la grippe a eu lieu vs. le lycée voisin Méthodes d'évaluation de résultat
  132. 132. 134 Temps Programme Bénéficiaires 30 Groupe de contrôle équivalent 10 17 Niveau des connaissances Etude transversalle Objectif atteint, mais impossible d’estimer l’influence du programme Les scores étaient peut-être identiques avant le programme
  133. 133. 135 Temps Programme 30 10 17 Niveau des connaissances Etude cas-témoin Cas: bon niveau témoin: faible niveau % qui a suivi l’action % qui a suivi l’action
  134. 134. EHESP 136 Estimation de l’effet Groupes % réponses correctes signification Intervention 41% P<0.05 Témoin 11% Groupes % réponses correctes signification Intervention 13% P>0.05 Témoin 11%
  135. 135. EHESP 137 Estimation de l’effet Groupe Odd Ratio IC [95%] Intervention 4.3 [ 2.7 – 5.9] Témoin (ref) 1 Groupe Odd Ratio IC [95%] Intervention 4.3 [ 0.5 – 5.9] Témoin (ref) 1
  136. 136. Sélection de la procédure EHESP 138 Hiérarchie des preuves quantitatives: indique les types d'études qui sont les plus fiables, c'est-à-dire qui comportent le moins de biais. Aucune étude sur des humains et conçue par des humains ne pourra jamais être totalement exempte de biais, mais plus vous descendez dans la hiérarchie, plus il y a de risques Examens systématiques d'essais contrôlés randomisés Essais contrôlés randomisés Examens systématiques d'essais non randomisés ou d'études de cohorte Études de cohorte Études cas-témoin Séries de cas Rapports de cas Idées, éditoriaux, opinions Recherche sur les animaux
  137. 137. Types d’étude Validité Coût *Etude de cas *Etude écologique *Étude tranversalle *Cas-controle *Cohorte *Étude randomisée
  138. 138. Types d’étude EHESP 140 Définition Intérêt Limite Etude transversale Enquête établissant au même moment l’état de santé et la présence de facteurs de risque Aisée à mettre en oeuvre. Résultats rapidement disponibles. Permet d’estimer la prévalence (fréquence) d’une exposition / d’un état de santé Faible niveau de preuve quant au caractère causal des associations identifiées. Etude cas-témoins Comparaison de cas (ex : personnes ayant chuté) à des témoins (n’ayant pas chuté) et comparaison de leurs expositions passées à des facteurs de risque (ex : prise de médicament) Relativement aisée à mettre en oeuvre Résultats rapidement disponibles, y compris pour des affections rares Niveau de preuve supérieur à celui des études transversales Sujette à divers biais pouvant entraîner des résultats erronés (caractère rétrospectif, biais de mémoire…) Etude de cohorte Suivi prospectif de personnes exposées (ex : prenant un médicament) à des personnes non- exposées et comparaison de la fréquence d’apparition du phénomène (ex : chute) Permet de mesurer l’incidence Permet d’étudier les effets d’expositions rares Niveau de preuve supérieur à celui des enquêtes cas-témoins Coûteuse, longue Difficulté à assurer le suivi des participants sur le long terme. Non-exempte de biais
  139. 139. 141 Comment ont été constuit les indicateurs ? Question évaluative
  140. 140. Indicateurs Hiérarchie des objectifs Définition claire et précise d'un objectif Indicateur objectivement vérifiable Clarification des résultats attendus Quel niveau sera jugé satisfaisant: • quantité • qualité • temps Moyens de vérification Source et type de preuve nécessaires pour établir l'état de l'indicateur Le travail sur les indicateurs oblige à préciser et clarifier les objectifs La disponibilité de données valides et fiables limite l'utilité d'un indicateur Définition des indicateurs de résultats La logique horizontale Planification
  141. 141. 143 Les indicateurs devraient être : • mesurables (nombre, pourcentage, ratio) • factuels (avoir la même signification pour tous) • valables (ou appropriés : bien mesurer ce qu'ils proposent de mesurer) • vérifiables • sensibles (réagissant aux changements de situation) Avoir des indicateurs objectivement vérifiables est une condition qui prépare le succcès d'un projet : - Montre comment le succès sera reconnu - Oblige à clarifier ce qu'on entend par objectif - Fournit une base objective pour l'évaluation
  142. 142. 144 Techniques, outils, instruments ... Pratiquement toutes les techniques des sciences économiques et sociales, en particulier les statistiques, sont utilisables en évaluation: •Entretiens •Groupes de discussion (focus group) •Recherche documentaire •Revue des dossiers d'archive •Enquête par questionnaire •Etude de cas •Tests de connaissances ou d'aptitudes •Enquête d'opinion •Analyse de contenu •...
  143. 143. Entretiens en groupe individuels Questionnaires Auto questionnaire Hétéro questionnaire Focus group par la personne par un tiers Grille d’entretien Observation directe indirecte documentaire analyse conversationnelle Grille d’observation
  144. 144. L’observation Il existe différentes procédures d’observation : l’observation systématique –grille d’observation standardisée utilisée de manière systématique –Pas d’implication personnelle –Degré de réactivité des sujets l’observation participante –Implication active –Degré de participation variable –Grille d’observation l’observation libre –Pas de grille (à éviter pour les évaluations)
  145. 145. Les grilles d’observation - Construites à la fois à partir d’un modèle théorique et à partir de l’observation de comportements _ Exemple d’une grille d’observation : grille d’observation des enseignants 1 2 3 4 5 Terne, triste Sait stimuler Effacé Séduisant Peu sûr de lui Confiant Désorganisé Méthodique
  146. 146. EHESP 148
  147. 147. EHESP 149
  148. 148. EHESP 150 Si pertinent: Grille d’observation validée scientifiquement
  149. 149. Avantages de l’observation Les observations permettent d’appréhender une réalité vécue, plutôt que d’en obtenir une représentation éventuellement déformée au travers des représentations que les gens s’en font Limites •Très couteux en temps, énergie, préparation,… •L’observation doit avoir lieu dans un endroit et une période de temps définis et bornés • Dans toute procédure d’observation, les personnes observées ont tendance à modifier leur comportement
  150. 150. L’entretien Méthode de recueil d’informations qui consiste en des entretiens oraux individuels avec plusieurs personnes sélectionnées soigneusement, afin d’obtenir des informations sur des faits ou des perceptions Les questions peuvent être : ouvertes semi-ouvertes fermées
  151. 151. EHESP 153
  152. 152. EHESP 154 Sécurité de l’Information Hospitalière
  153. 153. EHESP 155
  154. 154. EHESP 156 Projet « suricates » Abdel Baba-Moussa et Catalin Nache, Santé Publique 4/2010 (Vol. 22), p. 449-459.
  155. 155. structuré Semi-structuré Libre Discours qui suit l’ordre des questions posées Discours « par paquets », dont l’ordre peut être plus ou moins déterminé Discours continu Questions préparées à l’avance et posées dans un ordre bien précis Information partielle et raccourcie Quelques points de repère pour l’interviewer Information de bonne qualité, orientée vers le but poursuivi Aucune question préparée à l’avance Information de très bonne qualité, mais pas nécessairement pertinente Information recueillie rapidement ou très rapidement Information recueillie dans un laps de temps raisonnable Durée de recueil d’informations non prévisible Les différents types d’entretiens
  156. 156. La préparation Préciser les questions générales et spécifiques Faire une première rédaction des questions Organiser la séquence des questions Adapter le processus de l’interview aux objectifs visés (transitions entre thèmes) Préparer l’introduction et les conclusions Préparer le système de notation des réponses Tester le protocole de l’entretien
  157. 157. Avantages •un plus haut pourcentage de réponses peut être obtenu •les personnes réellement sélectionnées peuvent être atteintes •tout type de population peut être atteint •on est mieux informé sur les caractéristiques de ceux qui ne répondent pas •les réponses sont spontanées •les réponses sont nuancées •Permet d’explorer le ressenti, les sentiments, les impressions, les opinions, les attitudes •L’enquête peut porter sur des sujets plus délicats et personnels
  158. 158. Inconvénients •L’apprentissage est indispensable pour bien manipuler la technique de l’entretien semi-directif. •C’est un outil qui demande du temps (temps d’entretien, temps de dépouillement, temps d’analyse) •Méthode très coûteuse •Réactivité maximale •L’enregistrement papier des réponses peut être difficile •L’attitude de l’interviewer peut affecter la validité des réponses
  159. 159. EHESP 161 Entretien de groupe composé de personnes concernées par une politique de santé ou une intervention. Obtenir des informations relatives à leurs opinions, attitudes et expériences ou attentes vis-à-vis de cette politique ou de cette intervention. Utilisée en évaluation de projets ou de programmes, en particulier pour les études de terrain auprès des bénéficiaires et des acteurs intermédiaires. Focus group
  160. 160. EHESP 162 Usages du Focus group
  161. 161. EHESP 163 •Recueillir rapidement des informations et des points de vue. •Permet à la fois l’expression et l’explication des différences de points de vue, et l’approfondissement de leurs opinions contradictoires. •Restitution à l’échelle locale: se concentre sur les observations et les premières conclusions des analyses de terrain conduites par les évaluateurs. •Peut être organisé pour recueillir les réactions des acteurs cibles de l’intervention, ainsi que leurs sensibilités à un problème donné. •L’objectif est de déceler les lignes de clivages dans un groupe Focus group
  162. 162. EHESP 164 Le focus group est le seul outil à la disposition de l’évaluateur à la fois d’analyse et de confrontation de l’information. Permet de mieux comprendre l’attitude des participants, leur compréhension et leur perception d’une intervention Permet d’obtenir une variété de points de vue et de perceptions stimulés par l’interaction. Chaque participant est mis en position de justifier en permanence ce qu’il affirme. Focus group
  163. 163. Exemple Au cours d’un focus group rassemblant les représentants de diverses associations d’aide aux toxicomanes IV et des acteurs de prévention Le terme « prévention » a été rejeté d’emblée par les associations, car considéré comme « moralisateur » vis-à-vis des usagers. Ces associations préfèrent le terme « réduction des risque » qui n’impliquent pas l’arrêt de la toxicomanie mais la réduction des risques liés à la pratique (VIH, VHC) Différence de vocabulaire lié à l’histoire (prévention du sida; engagement politique et social) et à l’idéologie (perception relative à la stigmatisation) des parties prenantes, etc.. EHESP 165
  164. 164. EHESP 166 Avant de décider d’organiser un focus group, l’évaluateur doit cerner la problématique de l’évaluation et en dégager une thématique à laquelle l’outil pourra répondre. Ressources allouées: temps, moyens Acteurs impliqués: terrain, planification, budget, analyse… Objectif: Approfondissement ou confrontation
  165. 165. EHESP 167 •Très utile pour collecter des infos auprès de groupes de bénéficiaires, notamment pour analyser l’impact perçu par ses derniers. •Et des participants, pour identifier ce qui pourrait être amélioré •La dynamique de groupe incite les participants à approfondir, expliciter et justifier leurs prises de position. •Les coûts de mise en oeuvre peuvent être limités. •Gain de temps. •Intérêt exploratoire de la méthode Avantages
  166. 166. EHESP 168 •Informations qualitatives, difficile à recueillir (verbatim) et à analyser (analyse de contenu); •Aucune portée universelle ou quantifiable •Organisation du focus group peut être complexe du point de vue logistique : identification de groupes de bénéficiaires, distances à gérer, mobilisation de compétences nationales et locales. •L’expression publique peut être limitée par des freins d’ordre politique et sociaux, ou relevant de la composition du groupe. Limites
  167. 167. Définition du questionnaire Un outil méthodologique Composé d’une série de questions s’enchaînant de manière structurée Permet la collecte méthodique d’informations dans le cadre d’une enquête, de façon directe ou par l’intermédiaire d’un enquêteur Vise la vérification d’hypothèses (y compris questions évaluatives) Permet d’obtenir des renseignements quantitatifs et/ou qualitatifs, précis et exploitables, souvent présentés sous forme de tableaux ou graphiques Présenté sous forme papier ou électronique.
  168. 168. EHESP 170 1: Une partie présentation/instruction destinée aux enquêteurs: Titre de l'enquête, présentation de l'organisme, présentation de la raison de l'enquête, le plan sommaire du questionnaire, un consentement éclairé ( à faire signer) 2: Des questions relatives aux caractéristiques individuelles : Age, sexe, état matrimonial, enfants, niveau d'études, etc. 3: Des questions de comportement : Fait quoi ?, où ?, quand ?, etc. (échelle de fréquence et d’intensité) 4: Des questions d'opinion/attitudes.croyances : Que pensez- vous de ?, donner votre avis sur. 5: Des questions de motif : pour quelles raisons ? Structure du questionnaire
  169. 169. Définition de l’objectif de l’enquête Objet: problème étudié Tabagisme chez les jeunes adultes Objectif: hypothèse à vérifier Modification des opinions et conduites tabagiques avant et après l’intervention La formulation se fera sous forme de phrase rédigée. Ex: Enquête auprès des jeunes adultes: elle vise à estimer les conduites tabagiques avant et après l’intervention préventive
  170. 170. Délimitation de la population Selon l’objectif Selon l’importance de la population Selon les moyens disponibles On pourra réaliser l’enquête auprès de toute la population ou auprès d’un échantillon. Plus l’effectif est important, mieux c’est L’échantillon se devra d’être représentatif.
  171. 171. Les questions filtres Une première question permet de « filtrer » la population interrogée Est-vous fumeur (se) ? □ oui □ non Selon la réponse donnée, la personne devra répondre à d’autres questions pour préciser encore Si oui, quelle est votre consommation journalière ? □ 1-4 cig./jour □ 5-10 cig/jour □ 11 – 20 cig/jour □ plus de 20 cig/jour
  172. 172. Les questions fermées Elles collectent des faits précis Plusieurs types de questions selon les modalités de réponses: Une seule réponse est possible -questions à choix binaire ex: Sexe: □ masculin □ féminin -questions à choix multiples ex: Situation familiale: □ célibataire □ marié(e) □ divorcé(e) □ pacsé(e) ou concubinage □ veuf(ve) -réponses à situer sur une échelle ex: Situez votre santé perçue sur une échelle graduée: Mauvaise □ 1 □ 2 □ 3 □ 4 Bonne
  173. 173. Les questions fermées Plusieurs réponses possibles - Réponses à choisir dans une liste: ex: par quels moyens vous informez vous sur les questions de santé? □ médecin généraliste □ médecin spécialiste □ internet □ télévision □ journaux □ brochures □ autres lesquels:………………..
  174. 174. Les questions fermées -Réponses à ordonner (classement hiérarchique) ex: même exemple que le précédent, mais en précisant: Numérotez de 1 à 10 selon votre ordre de préférence.
  175. 175. Les questions fermées -Les échelles de satisfaction, et de degré d’accord Que pensez-vous de l’interdiction de fumer dans les bars ? Très satisfait Plutôt satisfait Plutôt insatisfait Très insatisfait 4 3 2 1 Interdire de fumer dans les bars est une bonne chose… Pas du tout d’accord Pas d’accord D’accord Tout à fait d’accord 1 2 3 4
  176. 176. Les questions fermées -Les échelles de fréquence et d’intensité A quelle fréquence fumez-vous lors des soirées entre amis? Toujours souvent Parfois Jamais 4 3 2 1 Combien de cigarettes fumez vous lors d’une soirée entre amis 1 – 5 cig. 6- 10 cig. 11 – 15 cig. 16 ou + cig. 1 2 3 4
  177. 177. Les questions fermées -Les échelles de croyances/ connaissances Fumer du cannabis est moins dangereux que fumer du tabac Totalement faux Plutôt faux Plutôt vrai Totalement vrai 1 2 3 4 Possibilité d’utiliser des échelle en 5 points (Lickert), ou en 7 points. Mais un nombre de modalité pair évite la réponse médiane, utilisée par les répondant pour ne pas « s’engager »
  178. 178. Echelle visuelle Analogique Fumer du cannabis est moins dangereux que fumer du tabac Pas du tout d’accord Tout à fait d’accord
  179. 179. Les questions fermées Avantages des questions fermées Elles permettent des réponses aisées et rapides Elles sont faciles à dépouiller Les résultats sont directement quantifiables
  180. 180. Les questions ouvertes Question ouverte d’opinion: ex: Quelle est votre position par rapport à l’interdiction de fumer dans les lieux publics ? Question ouverte de fait: ex: quels sont les bénéfices que vous tirez de votre tabagie ? Question ouverte numérique: ex: Quelle est votre moyenne de consommation tabagique par jour?
  181. 181. Avantages des questions ouvertes: Elles permettent réellement le recueil d’opinions et de suggestions La personne enquêtée a le libre choix de la réponse Elles permettent des réponses personnalisées Elles permettent une approche exploratoire (mise en évidence d’informations non connues jusque-là)
  182. 182. Les questions de fait et d’opinion Les questions de fait: Elles concernent des faits précis: Fumez-vous ? Combien de cigarettes fumez-vous par jour ? Les questions d’opinion: Elles concernent les avis personnels, les jugements: Pourquoi fumez-vous ? □ par habitude □ par imitation □ par ennui…. Que pensez-vous de l’interdiction de fumer dans les restaurants ?
  183. 183. La formulation des questions La forme interrogative directe: Que pensez-vous de… Combien de … La forme indirecte: Nommez… Citez… Classez …. La forme affirmative: Vous avez obtenu le baccalauréat en _ _ _ _ Vous êtes demandeur d’emploi
  184. 184. Conseils pour la formulation des questions: Ce qui est recommandé - demander un seul fait ou opinion par question - utiliser un vocabulaire simple et précis - formuler clairement - prévoir éventuellement une question ouverte - prévoir toujours: □ autre choix Lequel ?...................
  185. 185. - les questions utilisant une négation: Ne pensez-vous pas que…..? - les questions qui induisent les réponses: Pensez-vous que la vente du tabac devrait être interdite aux mineurs ? - les questions qui risquent d’entraîner des réactions de rejet ou de gêne: Lors des élections présidentielles, pour quel candidat allez-vous voter ? ou des réactions de conformisme: Le problème de l’insécurité est-il un phénomène important aujourd’hui ? - les choix trop limités dans les questions à choix multiples Ajouter Autres choix ? Lesquels ? Ce qui est à éviter
  186. 186. Mise en forme Regrouper les questions de même type (socio-démographiques; habitudes; conduites…) Eventuellement, mettre un titre à ces rubriques ex: Identification – Logement – Famille – Loisirs…. Séparer les rubriques par un espace Placer au début les questions d’identification Placer les questions difficiles ou délicates entre des questions simples, ou les placer à la fin Limiter le nombre de questions afin de ne pas décourager la personne enquêtée: 25 à 30 questions au maximum.
  187. 187. Présentation définitive Facile à lire Facile à remplir Facile à dépouiller
  188. 188. EHESP 190 •Simple à mettre en oeuvre et à remplir par un grand nombre de participants •Donne des résultats directement exploitables (scores, %) •Analyse et inférence statistique possible (différences entre groupes ..) •Gain de temps. •Résultats comparables dans le temps Avantages
  189. 189. EHESP 191 •Demande beaucoup de temps et de rigueur pour la conception en amont •Aucune marge de manoeuvre une fois les premières passations effectuées (impossible de le modifier a posteriori) •Aucun intérêt en terme d’analyse exploratoire •Donne des résultats faussés si défaut de conception Limites
  190. 190. 192 Techniques, outils, instruments ... Pour approfondir, il existe de nombreux manuels, guides, etc... sur les thèmes suivants : - Collecte des données - Entrevues, groupes de discussion -Observations directes, études de cas -Etudes de cohortes, suivi longitudinal - Analyse des données -...
  191. 191. 193 Techniques, outils, instruments ... Un très grand nombre d’outils (questionnaires, grilles d’entretien etc..) construits et validés par les chercheurs sont disponibles sur internet ou auprès des organismes institutionnels (OMS, INPES, etc..) Ils produisent des indicateurs clairs sur les dimensions complexes (conduites, attitudes, croyances, normes, représentations…) de la plupart des problèmes de santé (tabac, alcool, addiction, sédentarité, nutrition…) Construire un outil de mesure complexe est donc pour la plupart des acteurs de terrain: -Une perte de temps -Une perte d’énergie et de moyens -Avec, au final, un outil qui sera peu pertinent
  192. 192. 194 Exercice sur document Cernez les éléments suivants : Procédure d’évaluation prévue -Pour analyser le processus -Pour analyser les résultats Outils utilisés (questionnaires, grilles…) Mesures répétées avant-après Personnes en charge de l’évaluation Conclusions sur le processus et les résultats ? Évaluation à l’aide du Preffi et des éléments discutés en cours
  193. 193. Critères de Qualité du rapport Question évaluative
  194. 194. 196 Rapport Thèmes à inclure dans le rapport (projet) : –Description schématique du programme à évaluer avec identification des parties prenantes –Les questions d’évaluations – les problèmes posés –La méthode, les outils –Les résultats attendus –La démarche et le plan de travail –Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises) –Le calendrier CONCIS
  195. 195. 197 Rapport Thèmes à inclure dans le rapport d’évaluation : –Description schématique du programme avec identification des parties prenantes –Les questions d’évaluations – les problèmes posés –La méthode, les outils, les indicateurs utilisés –Les résultats obtenus pour chaque objectif –Les effets non attendus (positifs et négatifs) –Une comparaison entre mise en ouvre prévue et effective –Conclusions et améliorations prévues (sur la base des résultats) CONCIS

×