Evaluer en prévention et
promotion de la santé
Aymery Constant
Maitre de conférences
EHESP
Quelques données de santé publique
La situation sanitaire de la France montre de bons
indicateurs puisque notre pays…
• es...
Quelques données de santé publique
Malgré ces points forts on observe des situations paradoxales :
1) La mortalité prématu...
Mortalité prématurée dans l’Union Européenne
Situation en France
Des indicateurs inquiétants…
• Un des taux de mortalité prématuré les plus élevés
d’Europe de l’Ouest
...
Prevention et promotion de la santé
Les actions de promotion de santé et de prévention demeurent
donc pertinentes pour:
• ...
7
Urbanisation
croissante
Pauvreté
grandissante
Vieillissement
Des populations
dépendance
Détérioration de
l'environnement...
Pourquoi le terme « évaluation » peut
mettre mal à l’aise ?
EHESP
10
Et pourtant….Les bénéfices de
l’évaluation
Quelques exemples historiques d’actions
de santé
EHESP
12
EHESP
13
EHESP
14
EHESP
15
Une logique de slogan
Pendant des décennies, les actions de promotion de la
santé et de prévention ont été assimilées à de...
EHESP
17
Si vous deviez évaluer cette
campagne d’information:
Quelles informations iriez-
vous collecter ?
Et à quel momen...
EHESP
18
Adéquation avec la
population cible ?
Correspond à un
besoin avéré ?
Agit sur un
déterminant
identifié ?
Nombre d...
EHESP
19
Adéquation avec la
population cible ?
Correspond à un
besoin avéré ?
Agit sur un
déterminant
identifié ?
Nombre d...
Les principes fondamentaux
de l’évaluation
21
Selon les "moments" de l'évaluation, les buts
diffèrent
Avant Pendant À la fin Avant et après
Vérifier la
conception
et...
22
L’évaluation de processus et de résultats sont
des démarches distinctes mais
complémentaires
Evaluation de
processus
Me...
23
Des objets de taille variable
Action/
mesure
Action/
mesure
Projet Projet
Programme
Politique
Action/
mesure
Action/
me...
24
t1
Conception
etc...
t3
Conception
Planification
Réalisation
Evaluation
Conception
Planification
Réalisation
Evaluation...
Les étapes de la démarche
d’évaluation
26
Diagnostic
Objectifs
- généraux
- spécifiques
Ressources
Prévues
Activités
Prévues
(obj opérationels)
Pop cible
prévue
...
27
Diagnostic
Objectifs
- généraux
- spécifiques
Ressources
Prévues
Ressources
Effectives
Pop cible
effective
Activités
Ef...
28
Diagnostic
Objectifs
- généraux
- spécifiques
Ressources
Prévues
Activités
Prévues
(obj opérationels)
Pop cible
prévue
...
29
Ressources
Effectives
Pop cible
effective
Activités
Effectives
Objectifs atteints Autres effets
Evaluation de la Mise e...
30
Diagnostic
Objectifs
- généraux
- spécifiques
Ressources
Prévues
Ressources
Effectives
Activités
Effectives
Objectifs a...
L’évaluation n’a de sens que…
- Si elle a été planifiée et conçue en même temps que le projet
(le projet est lui-même conç...
EHESP
32
Quatre conditions préalables à l’évaluation: (Wholey, 1970)
1. La logique d’intervention est claire, connue et pa...
Utile
Les qualités d'une évaluation
Crédible
Utile
Pertinente Accessible(digne de confiance)
Les qualités d'une évaluation
Crédible
Qualité et transparence des
méthodes employées,
compétence des évaluateurs
Utile
Pertinente
Objectivité, impartia...
Crédible
Utile
Pertinente
Pertinence des questions
initiales posées aux
évaluateurs par rapport aux
préoccupations du
comm...
Crédible
Utile
Pertinente
Communication des résultats
Présentation claire, complète
et détaillée de tous les
arguments, di...
Quelles compétences pour un
évaluateur ?
EHESP
39
Si vous êtes en charge d’évaluer les demandes
de subventions en PPS dans votre ARS
Première demande: évaluation d...
EHESP
40
EHESP
41
EHESP
42
Questions évaluatives
• Savoir quelles questions poser aux différentes
étapes planifiées du projet/action
• Savoir comment...
EHESP
44
Si vous êtes en charge d’évaluer les demandes
de subventions en PPS dans votre ARS
Renouvellement: évaluation de ...
A chaque étape
• Comparaison planification/réalisation
• Qu’est ce que a bien fonctionné
• Qu’est ce qui n’a pas fonctionn...
46
Diagnostic
Objectifs
- généraux
- spécifiques
Ressources
Prévues
Ressources
Effectives
Activités
Effectives
Objectifs a...
47
Diagnostic
Exemple:
L’analyse de la situation est-elle pertinente,
claire, fondées sur les données
épidémiologiques dis...
48
Objectifs
- généraux
- spécifiques
Exemple:
Les objectifs sont-ils clairs; quantifiables;
réalistes; pertinents au rega...
49
Activités
Prévues
(Obj. Opérationnels)
Pop cible
prévue
Exemple:
Les activités prévues sont-elles efficaces
pour attein...
50
Ressources
Prévues
Ressources
Effectives
Exemple:
Les ressources effectives correspondent
elles aux ressources prévues?...
51
Activités
Effectives
Pop cible
effective
Exemple:
Les actions se sont-elles déroulées
comme prévu ? Les participants
on...
52
Activités
Effectives
Objectifs atteints Autres effets
?
Pop cible
effective
Exemple:
A –on observé un changement chez
l...
Exemples d’outils de planification et
d’évaluation des actions de PPS
EHESP
54
Le Preffi 2.0
EHESP
55
EHESP
56
EHESP
57
EHESP
58
Projet centré sur l’élaboration de stratégies politiques
de santé
Evaluation en fonction de l’objet à
analyser
EHESP
59
Projet de mise en œuvre
Evaluation en fonction de l’objet à
analyser
EHESP
60
Projet communautaire
Evaluation en fonction de l’objet à
analyser
EHESP
61
Projet de diagnostic
Evaluation en fonction de l’objet à
analyser
EHESP
62
Evaluation de processus et de résultats
Evaluation en fonction de l’objet à
analyser
EHESP
63
http://www.emcdda.europa.eu/system/files/publications/144/EMCDDA-manuals1-
fr_154254.pdf
EHESP
64
EHESP
65
EHESP
66
EHESP
67
EHESP
68
EHESP
69
Le diagnostic a t-il été correctement effectué ?
Question évaluative 1
Diagnostic: Evaluer le problème
Un projet pertinent doit cibler un problème de santé ayant des
conséquences significative ...
72
Où chercher les données?
Sources possibles
L’OMS (http://www.who.int/publications/fr/)
Le Bulletin Epidémiologique Hebd...
EHESP
73
Site éco-santé (santé publique France)
EHESP
74
Site éco-santé (santé publique France)
Principales causes de décès en 2009
Hommes Femmes Total
en effectif en % en effectif en % en effectif en %
Maladies
infect...
Diagnostic: Evaluer le contexte
Un projet pertinent doit prendre en compte le contexte local
Le contexte regroupe plusieur...
EHESP
78
Questions possibles
Est-ce que nous avons identifié dans quelle zone géographique se déroule notre
projet ?
• Dan...
Diagnostic: Evaluer le public
EHESP
79
Le projet doit partir d’un repérage des besoins et caractéristiques
du public-cible...
EHESP
80
Questions possibles
Est-ce que nous avons pris en compte l’âge des participants ? Leurs
capacités ? Leur niveau d...
Les Objectifs ont-ils clairement été définis ?
Question évaluative 2
82
Les objectifs
La première question est de savoir pourquoi on veut mettre
en place une action de santé, c'est-à-dire à q...
Les objectifs
Objectif général
Enoncé, en termes plus ou moins et précis, de ce vers quoi tend
l’action de santé. Cet énon...
Objectif spécifique
Un OBJECTIF SPECIFIQUE est issu de la démultiplication d'un objectif
général en autant d'énoncés néces...
• Exemples d’objectifs spécifiques
• Diminuer de 10% le nombre de cigarettes consommées chez les
étudiants en première ann...
Exemples d’objectifs opérationnels correspondant aux activités
concrètes mises en place pour atteindre l’objectif général
...
La Pertinence des objectifs
EHESP
87
La pertinence est un critère qui interroge le rapport entre les
objectifs définis et ...
EHESP
88
EHESP
89
EHESP
90
EHESP
91
EHESP
92
• Seuls 2 objectifs sur 9 ont été (partiellement) documentés:
obésité et consommation fruits et légumes
• L’attei...
EHESP
93
Questions possibles:
Est-ce que le projet possède des objectifs précis?
Est-ce que le projet possède des objectif...
Sur quelles bases a été sélectionnée l’intervention?
Question évaluative 3
La sélection de l’intervention
EHESP
95
Il est important pour la réalisation du projet, que l’intervention
sélectionnée ai...
Sélectionner une intervention
• La stratégie à adopter doit être sélectionnée en fonction de sa
faisabilité; de son effica...
Sélectionner une intervention
Un rapport de 1979 du ministère américain de la santé estimait à:
50% la fraction de mortali...
Types d’intervention possibles…
Education du public: médias locaux ou nationaux, prévention par les
pairs…
Formation/sensi...
Les 7 étapes de la promotion de la santé
fondée sur les preuves
EHESP
100
EHESP
101
Synthèses de la littérature
EHESP
102
EHESP
103
EHESP
104
Rapports institutionnels
EHESP
105
EHESP
106
La sélection de l’intervention
EHESP
107
L’utilisation des données probantes est la meilleure
manière de sélectionner une ...
La mise en œuvre correspond t-elle aux prévisions ?
Question évaluative 4
109
Evaluation de processus
Un processus continu de collecte et d'analyse
d'informations pour apprécier comment un
projet ...
110
Des
moyens
sont mobilisés
(intrants)
… pour
réaliser des
activités..
… dont les
produits
Cet enchaînement repose sur u...
111
Moyens
humains,
matériels,
financiers
Activités :
construire,
former,
organiser,
soigner,
écrire, ...
personnel
formé,...
112
Cette démarche prévoit l'utilisation de différentes techniques
qui elles-mêmes supposent l'usage d'outils ou d'instrum...
113
1) Identifier ce qui était prévu
dans les documents de départ
2) Reconstituer ce qui s'est passé
réellement
Analyse do...
114
La mise en oeuvre de ce programme
s'est-elle déroulée comme prévu ?
3) comparer le plan et la réalité, mettre
à jour l...
EHESP
115
Exemple tiré d’une action locale
EHESP
116
EHESP
117
EHESP
118
EHESP
119
EHESP
120
EHESP
121
EHESP
122
Exemple tiré du guide d’évaluation des
actions de prevention des toxicomanies
EHESP
123
Exemple tiré du guide d’évaluation des
actions de prevention des toxicomanies
Quels dispositifs d’évaluation ont été prévus ?
Question évaluative 5
125
Evaluation de résultat
Une mesure, aussi systématique et objective
que possible, des résultats d'un projet, d'un
progr...
126
Comment s'assurer que l'impact est dû au
programme ?
Les questions auxquelles il faut répondre :
– Est-ce que le progr...
127
Deux problèmes sont à résoudre :
1) Dans quelle mesure peut-on identifier un effet (la
prévalence d'une maladie diminu...
128
Comment les résultats ont-ils été analysés?
Question évaluative 6
129
Question clé de l'évaluateur :
Que ce serait-il passé pour les bénéficiaires si
l’action n'avait pas eu lieu ?
Requier...
130
Temps
Programme
Bénéficiaires
30
10
17
Niveaudeconnaissances
Étude écologique: Avant - après
Score: Niveau de connaiss...
131
Temps
Programme
Bénéficiaires
30
10
17
Niveaudeconnaissances
Avant - après
132
Temps
Programme
Bénéficiaires
30
10
17
Niveaudeconnaissances
Avant - après
Tendance temporelle
sans le programme
Tenda...
EHESP
133
Étude écologique: Avant - après
EHESP
134
Étude écologique: Avant - après
EHESP
135
136
Causes possibles
Groupes observés
Résultats de
l'observation
(effets)
Toutes les
autres
influences
Le projet ou
la pol...
137
Temps
Programme
Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niveaudeconnaissances
Etude contrôlée
138
Temps
Programme
Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niveaudeconnaissances
Etude contrôlée
Le niveau d...
139
Temps
Programme
Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niveaudeconnaissances
Etude contrôlée
Le niveau d...
140
Temps
Programme
Bénéficiaires (tous bac + 5)
30
Groupe de contrôle (tous sans diplomes)
10
17
Niveaudeconnaissances
Et...
141
En pratique, les études randomisées sont réservées à
la recherche et ne peuvent pas être utilisées dans les
actions de...
142
Temps
Programme
Bénéficiaires
30
Groupe de contrôle équivalent
10
17
Niveaudeconnaissances
Etude transversalle
Objecti...
143
Temps
Programme
30
10
17
Niveaudeconnaissances
Etude cas-témoin
Cas: bon niveau
témoin: faible
niveau
% qui a suivi
l’...
EHESP
144
Estimation de l’effet
Groupes % réponses
correctes
signification
Intervention 41% P<0.05
Témoin 11%
Groupes % ré...
EHESP
145
Estimation de l’effet
Groupe Odd Ratio IC [95%]
Intervention 4.3 [ 2.7 – 5.9]
Témoin (ref) 1
Groupe Odd Ratio IC...
La sélection de l’intervention
EHESP
146
Hiérarchie des preuves quantitatives: indique les types d'études qui
sont les plu...
Types d’étude
Validité
Coût
*Etude de cas
*Etude écologique
*Étude tranversalle
*Cas-controle
*Cohorte
*Étude randomisée
Types d’étude
EHESP
148
Définition Intérêt Limite
Etude transversale Enquête établissant au même
moment l’état de santé et...
149
Comment ont été constuit les indicateurs ?
Question évaluative
Indicateurs
Hiérarchie des
objectifs
Définition claire
et précise d'un
objectif
Indicateur
objectivement
vérifiable
Clarif...
151
Les indicateurs devraient être :
• mesurables (nombre, pourcentage, ratio)
• factuels (avoir la même signification pou...
152
Techniques, outils, instruments ...
Pratiquement toutes les techniques des sciences
économiques et sociales, en partic...
Entretiens
en groupe
individuels
Questionnaires
Auto questionnaire
Hétéro questionnaire
Focus group
par la
personne
par un...
L’observation
Il existe différentes procédures d’observation :
l’observation systématique
– grille d’observation standardi...
Les grilles d’observation
- Construites à la fois à partir d’un modèle théorique et
à partir de l’observation de comportem...
EHESP
156
EHESP
157
EHESP
158
Si pertinent:
Grille d’observation
validée
scientifiquement
Avantages de l’observation
Les observations permettent d’appréhender une
réalité vécue, plutôt que d’en obtenir une
représ...
L’entretien
Méthode de recueil d’informations qui consiste en
des entretiens oraux individuels avec plusieurs
personnes sé...
EHESP
161
EHESP
162
Sécurité de l’Information Hospitalière
EHESP
163
structuré Semi-structuré Libre
Discours qui suit l’ordre
des questions posées
Discours « par paquets »,
dont l’ordre peut ...
La préparation
• Préciser les questions générales et spécifiques
• Faire une première rédaction des questions
• Organiser ...
Avantages
• un plus haut pourcentage de réponses peut être
obtenu
• les personnes réellement sélectionnées peuvent être
at...
Inconvénients
• L’apprentissage est indispensable pour bien
manipuler la technique de l’entretien semi-directif.
• C’est u...
Le focus group
EHESP
169
• Entretien de groupe composé de personnes concernées par une
politique de santé ou une intervention.
• Obtenir ...
EHESP
170
Usages du Focus group
EHESP
171
• Recueillir rapidement des informations et des points de vue.
• Permet à la fois l’expression et l’explication ...
EHESP
172
• Le focus group est le seul outil à la disposition de l’évaluateur
à la fois d’analyse et de confrontation de l...
Exemple
Au cours d’un focus group rassemblant les représentants de
diverses associations d’aide aux toxicomanes IV et des
...
EHESP
174
Avant de décider d’organiser un focus group, l’évaluateur doit
cerner la problématique de l’évaluation et en dég...
EHESP
175
• Très utile pour collecter des infos auprès de groupes
de bénéficiaires, notamment pour analyser l’impact
perçu...
EHESP
176
• Informations qualitatives, difficile à recueillir (verbatim) et
à analyser (analyse de contenu); aucune portée...
Le Questionnaire
Définition du questionnaire
Un outil méthodologique
Composé d’une série de questions s’enchaînant de manière
structurée
Pe...
EHESP
179
1: Une partie présentation/instruction destinée aux enquêteurs: Titre de
l'enquête, présentation de l'organisme,...
Définition de l’objectif de l’enquête
Objet: problème étudié
Tabagisme chez les jeunes adultes
Objectif: hypothèse à vérif...
Délimitation de la population
Selon l’objectif
Selon l’importance de la population
Selon les moyens disponibles
On pourra ...
Les questions filtres
Une première question permet de « filtrer » la
population interrogée
Est-vous fumeur (se) ?
□ oui □ ...
Les questions fermées
Elles collectent des faits précis
Plusieurs types de questions selon les modalités de réponses:
Une ...
Les questions fermées
Plusieurs réponses possibles
- Réponses à choisir dans une liste:
ex: par quels moyens vous informez...
Les questions fermées
- Réponses à ordonner (classement hiérarchique)
ex: même exemple que le précédent, mais en précisant...
Questions fermées
- Les échelles de satisfaction, et de degré d’accord
Que pensez-vous de l’interdiction de fumer dans les...
Questions fermées
- Les échelles de fréquence et d’intensité
A quelle fréquence fumez-vous lors des soirées entre amis?
To...
Les questions fermées
- Les échelles de croyances/ connaissances
Fumer du cannabis est moins dangereux que fumer du tabac
...
Echelle visuelle Analogique
Fumer du cannabis est moins dangereux que fumer du tabac
Pas du tout d’accord Tout à fait d’ac...
Questions fermées
Avantages des questions fermées
• Elles permettent des réponses aisées et rapides
• Elles sont faciles à...
Les questions ouvertes
Question ouverte d’opinion:
ex: Quelle est votre position par rapport à l’interdiction de
fumer dan...
Avantages des questions ouvertes
• Elles permettent réellement le recueil d’opinions
et de suggestions
• La personne enquê...
Les questions de fait et d’opinion
• Les questions de fait:
Elles concernent des faits précis:
Fumez-vous ?
Combien de cig...
La formulation des questions
La forme interrogative directe:
Que pensez-vous de… Combien de …
La forme indirecte:
Nommez… ...
Conseils pour la formulation des
questions:
Ce qui est recommandé
- demander un seul fait ou opinion par question
- utilis...
- les questions utilisant une négation:
Ne pensez-vous pas que…..?
- les questions qui induisent les réponses:
Pensez-vous...
Mise en forme
Regrouper les questions de même type (socio-démographiques;
habitudes; conduites…)
Eventuellement, mettre un...
Présentation définitive
Facile à lire
Facile à remplir
Facile à dépouiller
Les options méthodologiques
En fonction de l’objectif de l’étude, les trois décisions sont intimement liées et
ne peuvent ...
L'auto-administration
Méthodes d'auto-
administration
Avantages Inconvénients Commentaire
En dépôt
-Simple
-Coût faible
-A...
L'administration assistée
Méthodes
assistées
Avantages Inconvénients Commentaire
Par téléphone
-Très large diffusion
possi...
EHESP
202
• Simple à mettre en œuvre et à remplir par un
grand nombre de participants
• Donne des résultats directement ex...
EHESP
203
• Demande beaucoup de temps et de rigueur pour la
conception en amont
• Aucune marge de manœuvre une fois les pr...
204
Techniques, outils, instruments ...
Pour approfondir, il existe de nombreux manuels,
guides, etc... sur les thèmes sui...
Critères de Qualité du rapport
Question évaluative
206
Rapport
Thèmes à inclure dans le rapport (projet) :
– Description schématique du programme à évaluer avec
identificati...
207
Rapport
Thèmes à inclure dans le rapport d’évaluation :
– Description schématique du programme avec identification
des...
Méthodologie d'évaluation en promotion de la santé
Méthodologie d'évaluation en promotion de la santé
Méthodologie d'évaluation en promotion de la santé
Prochain SlideShare
Chargement dans…5
×

Méthodologie d'évaluation en promotion de la santé

1 117 vues

Publié le

Évaluation des actions en promotion de la santé

Publié dans : Formation
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
1 117
Sur SlideShare
0
Issues des intégrations
0
Intégrations
11
Actions
Partages
0
Téléchargements
39
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Méthodologie d'évaluation en promotion de la santé

  1. 1. Evaluer en prévention et promotion de la santé Aymery Constant Maitre de conférences EHESP
  2. 2. Quelques données de santé publique La situation sanitaire de la France montre de bons indicateurs puisque notre pays… • est en 4ème position mondiale pour l’espérance de vie à la naissance (80 ans en moyenne), • est en 1ère position européenne pour l’espérance de vie à 65 ans (17,5 ans/homme et 22 ans/femme), • présente le taux de mortalité cardio-vasculaire le plus bas dans l’UE, • possède un faible niveau de mortalité pour les 0-15 ans avec, notamment, un taux de mortalité infantile qui a diminué de moitié en 7 ans.
  3. 3. Quelques données de santé publique Malgré ces points forts on observe des situations paradoxales : 1) La mortalité prématurée est forte en France. • Cette surmortalité réduit considérablement l’espérance de vie à la naissance, notamment par rapport aux autres pays de l’UE. • Elle traduirait en particulier un développement encore trop faible de la prévention primaire. 2) Les inégalités de santé sont marquées entre : • Sexes : l’écart d’espérance de vie entre femmes et hommes est de 7 ans (84,4 ans contre 77,4), • Catégories sociales : l’écart masculin d’espérance de vie entre cadres/ professions libérales et les ouvriers non qualifiés est supérieur à 6 ans • Régions : l’écart de l’espérance de vie entre les hommes de Midi- Pyrénées et ceux du Nord Pas de Calais est de 5 ans (76 contre 71 ans).
  4. 4. Mortalité prématurée dans l’Union Européenne
  5. 5. Situation en France Des indicateurs inquiétants… • Un des taux de mortalité prématuré les plus élevés d’Europe de l’Ouest • Taux de suicide le plus élevé d’Europe de l’Ouest • Espérance de vie en bonne santé inférieure aux pays voisins • Consommation d’alcool très élevée • Consommation d’alcool et de cannabis la plus élevée chez les adolescents en Europe • consommation de psychotropes parmi les plus élevées au monde L’entrée des pays de l’est dans Union Européenne a permis à la France de « descendre » dans les classements EHESP 5
  6. 6. Prevention et promotion de la santé Les actions de promotion de santé et de prévention demeurent donc pertinentes pour: • Augmenter: l’espérance de vie en bonne santé, le bien-être, la qualité de vie, la santé mentale, la productivité, l’insertion; l’épanouissement personnel etc. • Eviter ou réduire : les blessures, maladies chroniques, maladies psychiques, la mortalité prématurée, les conséquences sociales de ces problèmes etc. Toutes les interventions/actions/programmes en PPS doivent modifier le status quo, quel que soit le domaine d’intervention (social, sanitaire, éducatif, scolaire..) EHESP 6
  7. 7. 7 Urbanisation croissante Pauvreté grandissante Vieillissement Des populations dépendance Détérioration de l'environnement Erosion de la volonté générale d'aide Exigences des beneficiaires Restrictions budgetaires Actions de santé Scepticisme des commanditaires Extension modèle anglo-saxon (et évaluation) Incertitudes institutionnelles Déficits liés aux dépenses de santé Raisons pour des actions de santé efficaces
  8. 8. Pourquoi le terme « évaluation » peut mettre mal à l’aise ?
  9. 9. EHESP 10 Et pourtant….Les bénéfices de l’évaluation
  10. 10. Quelques exemples historiques d’actions de santé
  11. 11. EHESP 12
  12. 12. EHESP 13
  13. 13. EHESP 14
  14. 14. EHESP 15
  15. 15. Une logique de slogan Pendant des décennies, les actions de promotion de la santé et de prévention ont été assimilées à des campagnes publicitaires • Effet « plafond » de ce type de campagne atteint • Peu ou pas d’évaluation: on continue comme on l’a toujours fait depuis des décennies • Les usagers les plus vulnérables sont les premières victimes (inégalités sociales de santé persistantes) EHESP 16
  16. 16. EHESP 17 Si vous deviez évaluer cette campagne d’information: Quelles informations iriez- vous collecter ? Et à quel moment?
  17. 17. EHESP 18 Adéquation avec la population cible ? Correspond à un besoin avéré ? Agit sur un déterminant identifié ? Nombre d’affiches posées Nombre de passages à la télévision, à la radio… Slogan bien mémorisé Amélioration des attitudes envers le préservatif Amélioration de l’utilisation du préservatif Diminution des MST
  18. 18. EHESP 19 Adéquation avec la population cible ? Correspond à un besoin avéré ? Agit sur un déterminant identifié ? Nombre d’affiches posées Nombre de passages à la télévision, à la radio… Slogan bien mémorisé Amélioration des attitudes envers le préservatif Amélioration de l’utilisation du préservatif Diminution des MST
  19. 19. Les principes fondamentaux de l’évaluation
  20. 20. 21 Selon les "moments" de l'évaluation, les buts diffèrent Avant Pendant À la fin Avant et après Vérifier la conception et la planification Améliorer la mise en œuvre Rendre des comptes Déterminer l’impact Programme Début
  21. 21. 22 L’évaluation de processus et de résultats sont des démarches distinctes mais complémentaires Evaluation de processus Mesure continue du rendement Utile au pilotage Evaluation de résultat Mesure des effets
  22. 22. 23 Des objets de taille variable Action/ mesure Action/ mesure Projet Projet Programme Politique Action/ mesure Action/ mesure Action/ mesure Action/ mesure Projets, programmes, politiques L'évaluation porte sur des objets de taille variable
  23. 23. 24 t1 Conception etc... t3 Conception Planification Réalisation Evaluation Conception Planification Réalisation Evaluation t2 Le cycle de fonctionnement d'une organisation qui apprend à partir de ses expériences
  24. 24. Les étapes de la démarche d’évaluation
  25. 25. 26 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Activités Prévues (obj opérationels) Pop cible prévue Planification
  26. 26. 27 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Ressources Effectives Pop cible effective Activités Effectives Objectifs atteints Autres effets Activités Prévues (obj opérationels) Pop cible prévue Planification Réalisation
  27. 27. 28 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Activités Prévues (obj opérationels) Pop cible prévue Evaluation du projet et de sa planification Validité du diagnostic initial Pertinence des objectifs et de la conception des actions Pertinence du choix de la pop cible Pertinence de la planification Organisation Faisabilité Etude des coûts Etc…
  28. 28. 29 Ressources Effectives Pop cible effective Activités Effectives Objectifs atteints Autres effets Evaluation de la Mise en oeuvre Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Activités Prévues (obj opérationels) Pop cible prévue
  29. 29. 30 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Ressources Effectives Activités Effectives Objectifs atteints Autres effets Activités Prévues (obj opérationels) Pop cible prévue Pop cible effective Evaluation de processus Evaluation de résultats
  30. 30. L’évaluation n’a de sens que… - Si elle a été planifiée et conçue en même temps que le projet (le projet est lui-même conçu en intégrant l’évaluation) - Si elle a débuté avant l’action, continue pendant l’action et se poursuit après - Si l’action est évaluable (les indicateurs de qualité du projet, de processus et de résultat sont collectés et disponibles) EHESP 31
  31. 31. EHESP 32 Quatre conditions préalables à l’évaluation: (Wholey, 1970) 1. La logique d’intervention est claire, connue et partagée de tous; 2. Les relations causales et la logique de l’intervention sont plausibles (fondement théorique) et les activités planifiées devraient permettre d’atteindre les effets attendus (elles ont déjà fait leurs preuves); 3. Les données nécessaires pour réaliser l’évaluation sont disponibles ou accessibles (collecte planifiée dans le projet) 4. L’utilité de réaliser l’évaluation est reconnue par les utilisateurs potentiels des résultats (peut aider à la mise en ouvre et à améliorer les effets de l’action).
  32. 32. Utile Les qualités d'une évaluation
  33. 33. Crédible Utile Pertinente Accessible(digne de confiance) Les qualités d'une évaluation
  34. 34. Crédible Qualité et transparence des méthodes employées, compétence des évaluateurs Utile Pertinente Objectivité, impartialité, pluralisme au niveau de la réalisation, indépendance par rapport aux services gestionnaires du projet ou de la politique Accessible Qualité des mesures et des relations causales établies Caractère reproductible des conclusions (un autre évaluateur aboutirait aux mêmes conclusions) , séparation complète entre conclusions et recommandations (digne de confiance) Les qualités d'une évaluation
  35. 35. Crédible Utile Pertinente Pertinence des questions initiales posées aux évaluateurs par rapport aux préoccupations du commanditaire, des services concernés et de toutes les parties prenantes au projet ou à la politique Accessible(digne de confiance) Réalisation au moment opportun, en réponse à une demande des responsables du projet ou de la politique, en vue d'améliorer la conception ou la réalisation de leurs programmes Les qualités d'une évaluation
  36. 36. Crédible Utile Pertinente Communication des résultats Présentation claire, complète et détaillée de tous les arguments, distinction nette entre observations, hypothèses, jugements Accessible , (digne de confiance) Qualité du rapport : organisation, taille, style (clarté, concision) Les qualités d'une évaluation
  37. 37. Quelles compétences pour un évaluateur ?
  38. 38. EHESP 39 Si vous êtes en charge d’évaluer les demandes de subventions en PPS dans votre ARS Première demande: évaluation de projet
  39. 39. EHESP 40
  40. 40. EHESP 41
  41. 41. EHESP 42
  42. 42. Questions évaluatives • Savoir quelles questions poser aux différentes étapes planifiées du projet/action • Savoir comment y répondre (méthodes, outils..) • Utiliser ces informations pour émettre des recommandations en vue d’améliorer le projet (de préférence, avant qu’il ait débuté) EHESP 43
  43. 43. EHESP 44 Si vous êtes en charge d’évaluer les demandes de subventions en PPS dans votre ARS Renouvellement: évaluation de processus/résultats
  44. 44. A chaque étape • Comparaison planification/réalisation • Qu’est ce que a bien fonctionné • Qu’est ce qui n’a pas fonctionné comme prévu • Comparaison objectifs/résultats • Les résultats au regards des objectifs • Les événements imprévus Utiliser ces informations pour émettre des recommandations et améliorer l’action EHESP 45
  45. 45. 46 Diagnostic Objectifs - généraux - spécifiques Ressources Prévues Ressources Effectives Activités Effectives Objectifs atteints Autres effets ? Activités Prévues (Obj. Opérationnels) Pop cible prévue Pop cible effective
  46. 46. 47 Diagnostic Exemple: L’analyse de la situation est-elle pertinente, claire, fondées sur les données épidémiologiques disponibles et actualisées ?
  47. 47. 48 Objectifs - généraux - spécifiques Exemple: Les objectifs sont-ils clairs; quantifiables; réalistes; pertinents au regards de la situation et des actions en promotion de la santé ?
  48. 48. 49 Activités Prévues (Obj. Opérationnels) Pop cible prévue Exemple: Les activités prévues sont-elles efficaces pour atteindre les objectifs ? Sont-elles adaptées à la population-cible ?
  49. 49. 50 Ressources Prévues Ressources Effectives Exemple: Les ressources effectives correspondent elles aux ressources prévues? Sont-elles attribuées selon le plan initial ?
  50. 50. 51 Activités Effectives Pop cible effective Exemple: Les actions se sont-elles déroulées comme prévu ? Les participants ont-ils été satisfaits ?
  51. 51. 52 Activités Effectives Objectifs atteints Autres effets ? Pop cible effective Exemple: A –on observé un changement chez les participants ? Ce changement correspond t-il aux objectifs ?
  52. 52. Exemples d’outils de planification et d’évaluation des actions de PPS
  53. 53. EHESP 54 Le Preffi 2.0
  54. 54. EHESP 55
  55. 55. EHESP 56
  56. 56. EHESP 57
  57. 57. EHESP 58 Projet centré sur l’élaboration de stratégies politiques de santé Evaluation en fonction de l’objet à analyser
  58. 58. EHESP 59 Projet de mise en œuvre Evaluation en fonction de l’objet à analyser
  59. 59. EHESP 60 Projet communautaire Evaluation en fonction de l’objet à analyser
  60. 60. EHESP 61 Projet de diagnostic Evaluation en fonction de l’objet à analyser
  61. 61. EHESP 62 Evaluation de processus et de résultats Evaluation en fonction de l’objet à analyser
  62. 62. EHESP 63 http://www.emcdda.europa.eu/system/files/publications/144/EMCDDA-manuals1- fr_154254.pdf
  63. 63. EHESP 64
  64. 64. EHESP 65
  65. 65. EHESP 66
  66. 66. EHESP 67
  67. 67. EHESP 68
  68. 68. EHESP 69
  69. 69. Le diagnostic a t-il été correctement effectué ? Question évaluative 1
  70. 70. Diagnostic: Evaluer le problème Un projet pertinent doit cibler un problème de santé ayant des conséquences significative sur la santé des gens (espérance de vie, qualité de vie, espérance de vie en bonne santé, bien être..) Différent aspects sont à prendre en compte: Incidence / prévalence, mortalité prématurée fardeau de la maladie / qualité de vie, expérience et signification de la maladie Déterminants (biologiques, sociaux, psychologiques, comportementaux…) Spécificité géographique ou temporelle Cout de la Prise en charge Coût humain; cout financier; cout en terme de productivité, de développement Année de vie perdues (DALYS) EHESP 71
  71. 71. 72 Où chercher les données? Sources possibles L’OMS (http://www.who.int/publications/fr/) Le Bulletin Epidémiologique Hebdomadaire (http://www.invs.sante.fr/beh/) L’OCDE (http://www.oecd.org/fr/statistiques/) L’Union Européenne (http://epp.eurostat.ec.europa.eu/portal/page/portal/eurostat/home) L‘INSERM (http://www.inserm.fr/thematiques/sante-publique/rapports- publies) Les organismes spécialisés comme l’OFDT ou l’ONISR (http://www.securite-routiere.gouv.fr/medias- outils/documentation/bibliographie) (http://www.ofdt.fr/ofdtdev/live/publi.html) Et depuis peu: santé publique france
  72. 72. EHESP 73 Site éco-santé (santé publique France)
  73. 73. EHESP 74 Site éco-santé (santé publique France)
  74. 74. Principales causes de décès en 2009 Hommes Femmes Total en effectif en % en effectif en % en effectif en % Maladies infectieuses et parasitaires (1) 5 268 2 5 531 2 10 799 2 Tumeurs 93 134 34 66 310 25 159 444 30 Tumeurs du larynx, trachée, bronches et poumon 23 453 9 7 429 3 30 882 6 Tumeurs du côlon 6 530 2 5 990 2 12 520 2 Tumeurs du rectum et de l’anus 2 482 1 2 040 1 4 522 1 Tumeurs du sein 200 ns 11 588 4 11 788 2 Troubles mentaux et du comportement 7 482 3 10 059 4 17 541 3 Maladie de l’appareil circulatoire 66 833 25 77 510 29 144 343 27 Maladies cérébrovasculaires 13 266 5 18 720 7 31 986 6 Cardiopathies ischémiques 20 774 8 15 765 6 36 539 7 Maladies de l’appareil respiratoire 17 654 6 16 207 6 33 861 6 Maladies de l’appareil digestif 12 543 5 10 888 4 23 431 4 Causes externes 22 620 8 14 748 6 37 368 7 Accidents de transport 3 262 1 1 044 ns 4 306 1 Suicides 7 739 3 2 725 1 10 464 2 Autres causes 45 697 17 60 277 23 105 974 20 Total 272 253 100 263 113 100 535 366
  75. 75. Diagnostic: Evaluer le contexte Un projet pertinent doit prendre en compte le contexte local Le contexte regroupe plusieurs aspects : géographique, social, culturel, environnemental, historique, politique, conduites….législatif, réglementaire. l’ancrage dans un territoire et dans une problématique locale sont des caractéristiques intrinsèques des actions de santé. Le diagnostic va permettre d’analyser la situation sur le territoire, il est recommandé d’associer des acteurs locaux à cette phase de diagnostic afin d’élargir le champ des points de vues, de vérifier la pertinence de notre démarche et d’impliquer le plus grand nombre de personnes possible dans le dialogue territorial. EHESP 77
  76. 76. EHESP 78 Questions possibles Est-ce que nous avons identifié dans quelle zone géographique se déroule notre projet ? • Dans quel type d’environnement (urbain, rural, semi-rural, cité…) ? • En quoi peut-on s’appuyer sur les ressources locales ? • Est-ce que nous avons réalisé un diagnostic de départ ? Quelles habitudes, attitudes des participants envers la santé ? • Quelle connaissance des participants de leur santé, des problèmes de santé ? • Est-ce qu’il y a une politique de santé sur le territoire ? • Est-ce que notre projet est ancré sur le territoire ? Est-il construit à partir d’une problématique locale ? • Est-ce que notre projet est relié à des problématiques globales ? • Est-ce que notre discours est approprié à ce que peuvent observer les participants par eux-mêmes? • Est-ce que notre projet respecte les réglementations en vigueur ?
  77. 77. Diagnostic: Evaluer le public EHESP 79 Le projet doit partir d’un repérage des besoins et caractéristiques du public-cible L’implication des participants est un des aspects fondamentaux de toute actions de santé, c’est pourquoi la prise en compte de leurs caractéristiques est un critère de qualité. l’âge des participants, leur effectif, leurs caractéristiques sociales et culturelles, leurs capacités, leur culture, leurs acquis, leurs représentations… Enjeux Repérer au préalable les caractéristiques des futurs participants pour élaborer une action de santé appropriée et favorisant leur implication.
  78. 78. EHESP 80 Questions possibles Est-ce que nous avons pris en compte l’âge des participants ? Leurs capacités ? Leur niveau de connaissances ? Leurs motivations ? Leur effectif ? Leurs « caractéristiques » sociales et culturelles ? • Quelles sont les capacités cognitives, psychiques et de mobilité des participants ? • Est-ce que le projet tel qu’il est pensé correspond au rythme de vie des participants ? • Est-ce que notre projet s’est construit à partir des besoins ou envies des participants ? • Est-ce que la problématique les concerne réellement ? • Est-ce que les participants sont associés à l’élaboration du projet ? • Est-ce que nous avons défini la place, le rôle des participants dans le projet ?
  79. 79. Les Objectifs ont-ils clairement été définis ? Question évaluative 2
  80. 80. 82 Les objectifs La première question est de savoir pourquoi on veut mettre en place une action de santé, c'est-à-dire à quelle fin on veut mener une évaluation => les objectifs Ceux-ci doivent être réalistes, précis et quantifiables L’objectif prioritaire demeure le même: Améliorer la santé (au sens large du terme) des bénéficiaires
  81. 81. Les objectifs Objectif général Enoncé, en termes plus ou moins et précis, de ce vers quoi tend l’action de santé. Cet énoncé, qui définit les résultats de l‘action, représente l'orientation générale d'un programme. Exemples Améliorer les comportements de santé chez les étudiants en première année Réduire la mortalité routière chez les jeunes adultes Favoriser l’activité physique chez des salariés sédentaires en entreprise EHESP 83
  82. 82. Objectif spécifique Un OBJECTIF SPECIFIQUE est issu de la démultiplication d'un objectif général en autant d'énoncés nécessaires pour que quatre exigences soient satisfaites: • Décrit un changement attendu chez les bénéficiaires • Univoque: précis et une seule signification. Pas d’expressions nébuleuses ou sujettes à une interprétation libre. L'objectif doit exprimer clairement le résultat à atteindre (éventuellement de manière chiffrée) • Résultat, comportement…observable ou mesurable: décrire un résultat spécifique. Et non pas une catégorie de comportements comme le suggèrent les mots "comprendre« , « sensibiliser », "savoir". Ainsi, des objectifs comme "voir la valeur de la nutrition" ou « comprendre l’importance de la santé » ne sont pas spécifiques. • Précise les conditions dans lequel le résultat sera observé: chez qui, à quel moment, à quel endroit etc.EHESP 84 Les objectifs
  83. 83. • Exemples d’objectifs spécifiques • Diminuer de 10% le nombre de cigarettes consommées chez les étudiants en première année au cours des six prochains mois • Augmenter le nombre de fruits frais consommés au sein des foyers participants au cours des deux prochains mois • Réduire de 20% le nombre d’accidents de la route chez les jeunes du département au cours de l’année prochaine. • Augmenter le taux de connaissance sur le repérage des patients à risque suicidaire chez les médecins généralistes du réseau ville-hôpital à l’issue de la formation (pas de donnée de départ) NB: les termes favoriser, faciliter, sensibiliser, promouvoir etc. sont à éviter autant que possible pour les objectifs spécifiques EHESP 85 Les objectifs
  84. 84. Exemples d’objectifs opérationnels correspondant aux activités concrètes mises en place pour atteindre l’objectif général • Organiser des interventions de 30 mn en face à face dans les classes de terminales pour parler des effets nocifs du tabac sur l’activité sexuelle • Faire des listes de courses avec les familles participantes et les accompagner au supermarché • Installer des fontaines à eaux dans les discothèques et des distribution gratuite de boissons non alcoolisées pour les conducteurs désignés . • Organiser un colloque de formation pour les généralistes dans un grand hôtel avec possibilité de jouer au golf EHESP 86 Les objectifs
  85. 85. La Pertinence des objectifs EHESP 87 La pertinence est un critère qui interroge le rapport entre les objectifs définis et les finalités de l’action. Enjeux Il est important de bien évaluer la pertinence des objectifs de l’action lors de l’élaboration du projet car elle est à la base d’un projet réussi. Si les objectifs ne sont pas pertinents et clairs, 1) L’action sera hasardeuse 2) Il sera impossible de définir des indicateurs 3) … ni de faire une évaluation 4) …ni de connaitre les effets de l’action
  86. 86. EHESP 88
  87. 87. EHESP 89
  88. 88. EHESP 90
  89. 89. EHESP 91
  90. 90. EHESP 92 • Seuls 2 objectifs sur 9 ont été (partiellement) documentés: obésité et consommation fruits et légumes • L’atteinte (ou non) de la plupart des objectifs spécifiques du PNNS 2001-2005 n’a pas pu être mesurée en 2006 Toujours avoir des objectifs réalistes en terme d’évaluation (contraintes, faisabilité, temps, moyens..) La Pertinence des objectifs
  91. 91. EHESP 93 Questions possibles: Est-ce que le projet possède des objectifs précis? Est-ce que le projet possède des objectifs réalistes ? Est-ce que le projet possède des objectifs pertinents ? Pour les actions ciblant les individus • Est-ce que nous avons identifié des objectifs en termes de conduite ? Est-ce que nous avons identifié des objectifs en termes de savoir ? • Est-ce que nous avons identifié des objectifs en termes de savoir-faire ? • Est-ce que nous avons identifié des objectifs en termes de savoir-être ? • Est-ce que nous avons identifié des objectifs en termes de ressentis ? Pour les actions ciblant les organisations • Est-ce que nous avons identifié des objectifs de gouvernance ? Est-ce que nous avons identifié des objectifs de mise en œuvre ? • Est-ce que les activités que nous allons mettre en œuvre peuvent nous permettre d’atteindre nos objectifs ?
  92. 92. Sur quelles bases a été sélectionnée l’intervention? Question évaluative 3
  93. 93. La sélection de l’intervention EHESP 95 Il est important pour la réalisation du projet, que l’intervention sélectionnée ait démontré son efficacité sur le problème de santé, par ailleurs. Certains critères de sélection sont à examiner: Universalité : une intervention ayant monté des effets positifs dans une région du monde doit pouvoir être transposée dans un pays similaire Reproductibilité : Toute action de santé rigoureuse doit être reproductible à l’identique (la procédure est décrite dans la publication: matériel, population, calendrier…) Efficacité: ses effets ont été quantifié précisément au cours d’une procédure d’évaluation rigoureuse
  94. 94. Sélectionner une intervention • La stratégie à adopter doit être sélectionnée en fonction de sa faisabilité; de son efficacité à réduire le problème; de sa pertinence par rapport au terrain; de son coût; du rapport cout/bénéfice… • Des preuves scientifiques existent dans la littérature sur ces paramètres (evidence-based) • Cette sélection va déterminer les besoins logistiques, financiers, intellectuel,…nécessaires à l’intervention
  95. 95. Sélectionner une intervention Un rapport de 1979 du ministère américain de la santé estimait à: 50% la fraction de mortalité prématurée attribuables aux comportements contre 20% pour les facteurs environnementaux, 20% pour les facteurs biologiques individuels et 10% pour les insuffisances dans la prise en charge. Des estimations similaires ont été mises en évidence au niveau international
  96. 96. Types d’intervention possibles… Education du public: médias locaux ou nationaux, prévention par les pairs… Formation/sensibilisation des professionnels de la santé: médecins, infirmières scolaires, travailleurs sociaux…. Programmes communautaires: par ex Gatekeepers (« sentinelles ») Interventions Législatives: obligation d’adopter un comportement de sécurité, interdiction des comportements à risque, restrictions… Modifications environnementales: barrière de sécurité, alarmes, constructions adaptées à la prévention; nudges
  97. 97. Les 7 étapes de la promotion de la santé fondée sur les preuves EHESP 100
  98. 98. EHESP 101 Synthèses de la littérature
  99. 99. EHESP 102
  100. 100. EHESP 103
  101. 101. EHESP 104 Rapports institutionnels
  102. 102. EHESP 105
  103. 103. EHESP 106
  104. 104. La sélection de l’intervention EHESP 107 L’utilisation des données probantes est la meilleure manière de sélectionner une intervention qui a des chances d’être efficace Permet de sélectionner l’intervention la plus pertinente en l’état actuel des connaissances et jusqu’à preuve du contraire En revanche, il n’existe aucune garantie de résultat quant à cette efficacité (et donc à l’atteinte des objectifs) D’autres paramètres sont à l’œuvre (contextuels, environnementaux, mise en œuvre, adaptation à la population-cible, au territoire etc.)
  105. 105. La mise en œuvre correspond t-elle aux prévisions ? Question évaluative 4
  106. 106. 109 Evaluation de processus Un processus continu de collecte et d'analyse d'informations pour apprécier comment un projet (un programme, une action, ou une politique) est mis en œuvre, en comparant les performances effectives avec les performances attendues
  107. 107. 110 Des moyens sont mobilisés (intrants) … pour réaliser des activités.. … dont les produits Cet enchaînement repose sur une suite de relations logiques (si... alors) dites "de cause à effet" et un impact sur la santé …doivent produire des résultats… Évaluation Suivi et évaluation de la chaîne des étapes d'une action
  108. 108. 111 Moyens humains, matériels, financiers Activités : construire, former, organiser, soigner, écrire, ... personnel formé, procédures mises en place, matériels conçus textes de loi préparés Baisse des conduites à risque, Recours aux soins, Détection précoce Conduites améliorées, Diminution des maladies; Mortalité prématurée réduite, Dépendance diminuée Intrants Activités Produits Résultats Impact Des moyens sont mobilisés (intrants) … pour réaliser des activités... dont les produits.. . doivent produire des résultats.. . et un impact sur la santé La structure logique d'un projet ou d'un programme
  109. 109. 112 Cette démarche prévoit l'utilisation de différentes techniques qui elles-mêmes supposent l'usage d'outils ou d'instruments Techniques - Analyse documentaire - Revue de dossiers - Entretiens individuels - Groupes de discussion Outils/instruments - Guides d'entretien - Chronogrammes La mise en oeuvre de ce programme s'est- elle déroulée comme prévu ?
  110. 110. 113 1) Identifier ce qui était prévu dans les documents de départ 2) Reconstituer ce qui s'est passé réellement Analyse documentaire Entretiens avec plusieurs responsables pour m'assurer d'une bonne compréhension Comment répondre à cette question ? Analyse documentaire, lecture des dossiers d'archive Entretiens avec des acteurs des différentes composantes, des différentes phases et de différentes sensibilité Exemple de question : La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ?
  111. 111. 114 La mise en oeuvre de ce programme s'est-elle déroulée comme prévu ? 3) comparer le plan et la réalité, mettre à jour les différences, vérifier que les opinions recueillies sur ce point convergent vers les mêmes conclusions 4) décider des changements à faire. Ne signaler que les changements qui ont eu des conséquences visibles sur les coûts et les délais Etablissement d'un chronogramme rétrospectif Entretiens avec plusieurs acteurs pour vérification de la validité des conclusions Construction de l'argumentaire
  112. 112. EHESP 115 Exemple tiré d’une action locale
  113. 113. EHESP 116
  114. 114. EHESP 117
  115. 115. EHESP 118
  116. 116. EHESP 119
  117. 117. EHESP 120
  118. 118. EHESP 121
  119. 119. EHESP 122 Exemple tiré du guide d’évaluation des actions de prevention des toxicomanies
  120. 120. EHESP 123 Exemple tiré du guide d’évaluation des actions de prevention des toxicomanies
  121. 121. Quels dispositifs d’évaluation ont été prévus ? Question évaluative 5
  122. 122. 125 Evaluation de résultat Une mesure, aussi systématique et objective que possible, des résultats d'un projet, d'un programme ou d'une politique, en vue de déterminer sa pertinence, sa cohérence,, son efficacité et son impact ainsi que la pérennité des effets obtenus
  123. 123. 126 Comment s'assurer que l'impact est dû au programme ? Les questions auxquelles il faut répondre : – Est-ce que le programme « capitaine de soirée » a fait diminuer le nombre d’accidents de la route dans le secteur, ou bien ces accidents auraient-ils diminué de toute façon ? – Est-ce que la fourniture de brochures a contribué à l'amélioration du port du casque à vélo ou bien est- ce que cette amélioration est due à d'autres facteurs ? – Est-ce que le l’action éducative a amélioré le niveau de connaissances ou bien cela est-il dû à d'autres causes ?
  124. 124. 127 Deux problèmes sont à résoudre : 1) Dans quelle mesure peut-on identifier un effet (la prévalence d'une maladie diminue, ...) 2) Dans quelle mesure cet effet est-il attribuable à l’action (et non pas à une autre cause). Pour tenter de répondre, du mieux possible, à ces deux questions, des méthodes qui sont spécifiques à l'évaluation sont utilisées Méthodes d'évaluation de l'impact
  125. 125. 128 Comment les résultats ont-ils été analysés? Question évaluative 6
  126. 126. 129 Question clé de l'évaluateur : Que ce serait-il passé pour les bénéficiaires si l’action n'avait pas eu lieu ? Requiert de construire une base de comparaison permettant d'aboutir à des conclusions crédibles Méthodes d'évaluation de l'impact
  127. 127. 130 Temps Programme Bénéficiaires 30 10 17 Niveaudeconnaissances Étude écologique: Avant - après Score: Niveau de connaissances sur les aliments sains et ceux à éviter
  128. 128. 131 Temps Programme Bénéficiaires 30 10 17 Niveaudeconnaissances Avant - après
  129. 129. 132 Temps Programme Bénéficiaires 30 10 17 Niveaudeconnaissances Avant - après Tendance temporelle sans le programme Tendance temporelle avec le programme effet
  130. 130. EHESP 133 Étude écologique: Avant - après
  131. 131. EHESP 134 Étude écologique: Avant - après
  132. 132. EHESP 135
  133. 133. 136 Causes possibles Groupes observés Résultats de l'observation (effets) Toutes les autres influences Le projet ou la politique Groupe de contrôle Groupe expérimental Résultats au niveau du groupe de contrôle Résultats au niveau du groupe expérimental Résultats nets (attribuables au projet ou à la politique) L’expérimentation idéale (mais peu réaliste)
  134. 134. 137 Temps Programme Bénéficiaires 30 Groupe de contrôle équivalent 10 17 Niveaudeconnaissances Etude contrôlée
  135. 135. 138 Temps Programme Bénéficiaires 30 Groupe de contrôle équivalent 10 17 Niveaudeconnaissances Etude contrôlée Le niveau de connaissance est resté inchangé, la programme n’a eu aucun effet
  136. 136. 139 Temps Programme Bénéficiaires 30 Groupe de contrôle équivalent 10 17 Niveaudeconnaissances Etude contrôlée Le niveau de connaissance a augmenté, mais pas grâce au programme
  137. 137. 140 Temps Programme Bénéficiaires (tous bac + 5) 30 Groupe de contrôle (tous sans diplomes) 10 17 Niveaudeconnaissances Etude contrôlée Quel part de l’effet est lié au programme ?
  138. 138. 141 En pratique, les études randomisées sont réservées à la recherche et ne peuvent pas être utilisées dans les actions de terrain (éthique) MAIS Il est toujours possible de comparer les indicateurs de santé (si disponibles) entre le l’endroit (territoire, établissement, population..) où l’action a eu lieu et un endroit similaire où se posent les même problèmes de santé (comparaison ici-ailleurs) Ex: mesure l’absenteisme des élèves dans le lycée où l’action de prévention de la grippe a eu lieu vs. le lycée voisin Méthodes d'évaluation de l'impact
  139. 139. 142 Temps Programme Bénéficiaires 30 Groupe de contrôle équivalent 10 17 Niveaudeconnaissances Etude transversalle Objectif atteint, mais impossible d’estimer d’influence du programme Les niveaux de connaissances étaient peut être déjà à ces niveaux avant le programme
  140. 140. 143 Temps Programme 30 10 17 Niveaudeconnaissances Etude cas-témoin Cas: bon niveau témoin: faible niveau % qui a suivi l’action % qui a suivi l’action
  141. 141. EHESP 144 Estimation de l’effet Groupes % réponses correctes signification Intervention 41% P<0.05 Témoin 11% Groupes % réponses correctes signification Intervention 13% P>0.05 Témoin 11%
  142. 142. EHESP 145 Estimation de l’effet Groupe Odd Ratio IC [95%] Intervention 4.3 [ 2.7 – 5.9] Témoin (ref) 1 Groupe Odd Ratio IC [95%] Intervention 4.3 [ 0.5 – 5.9] Témoin (ref) 1
  143. 143. La sélection de l’intervention EHESP 146 Hiérarchie des preuves quantitatives: indique les types d'études qui sont les plus fiables, c'est-à-dire qui comportent le moins de biais. Aucune étude sur des humains et conçue par des humains ne pourra jamais être totalement exempte de biais, mais plus vous descendez dans la hiérarchie, plus il y a de risques Examens systématiques d'essais contrôlés randomisés Essais contrôlés randomisés Examens systématiques d'essais non randomisés ou d'études de cohorte Études de cohorte Études cas-témoin Séries de cas Rapports de cas Idées, éditoriaux, opinions Recherche sur les animaux
  144. 144. Types d’étude Validité Coût *Etude de cas *Etude écologique *Étude tranversalle *Cas-controle *Cohorte *Étude randomisée
  145. 145. Types d’étude EHESP 148 Définition Intérêt Limite Etude transversale Enquête établissant au même moment l’état de santé et la présence de facteurs de risque Aisée à mettre en œuvre. Résultats rapidement disponibles. Permet d’estimer la prévalence (fréquence) d’une exposition / d’un état de santé Faible niveau de preuve quant au caractère causal des associations identifiées. Etude cas-témoins Comparaison de cas (ex : personnes ayant chuté) à des témoins (n’ayant pas chuté) et comparaison de leurs expositions passées à des facteurs de risque (ex : prise de médicament) Relativement aisée à mettre en œuvre Résultats rapidement disponibles, y compris pour des affections rares Niveau de preuve supérieur à celui des études transversales Sujette à divers biais pouvant entraîner des résultats erronés (caractère rétrospectif, biais de mémoire…) Etude de cohorte Suivi prospectif de personnes exposées (ex : prenant un médicament) à des personnes non- exposées et comparaison de la fréquence d’apparition du phénomène (ex : chute) Permet de mesurer l’incidence Permet d’étudier les effets d’expositions rares Niveau de preuve supérieur à celui des enquêtes cas-témoins Coûteuse, longue Difficulté à assurer le suivi des participants sur le long terme. Non-exempte de biais
  146. 146. 149 Comment ont été constuit les indicateurs ? Question évaluative
  147. 147. Indicateurs Hiérarchie des objectifs Définition claire et précise d'un objectif Indicateur objectivement vérifiable Clarification des résultats attendus Quel niveau sera jugé satisfaisant: • quantité • qualité • temps Moyens de vérification Source et type de preuve nécessaires pour établir l'état de l'indicateur Le travail sur les indicateurs oblige à préciser et clarifier les objectifs La disponibilité de données valides et fiables limite l'utilité d'un indicateur Définition des indicateurs de résultats La logique horizontale Planification
  148. 148. 151 Les indicateurs devraient être : • mesurables (nombre, pourcentage, ratio) • factuels (avoir la même signification pour tous) • valables (ou appropriés : bien mesurer ce qu'ils proposent de mesurer) • vérifiables • sensibles (réagissant aux changements de situation) Avoir desindicateurs objectivement vérifiables est une condition qui prépare le succcès d'un projet : - Montre comment le succès sera reconnu - Oblige à clarifier ce qu'on entend par objectif - Fournit une base objective pour l'évaluation
  149. 149. 152 Techniques, outils, instruments ... Pratiquement toutes les techniques des sciences économiques et sociales, en particulier les statistiques, sont utilisables en évaluation: • Entretiens • Groupes de discussion (focus group) • Recherche documentaire • Revue des dossiers d'archive • Enquête par questionnaire • Etude de cas • Tests de connaissances ou d'aptitudes • Enquête d'opinion • Analyse de contenu • ...
  150. 150. Entretiens en groupe individuels Questionnaires Auto questionnaire Hétéro questionnaire Focus group par la personne par un tiers Grille d’entretien Observation directe indirecte documentaire analyse conversationnelle Grille d’observation
  151. 151. L’observation Il existe différentes procédures d’observation : l’observation systématique – grille d’observation standardisée utilisée de manière systématique – Pas d’implication personnelle – Degré de réactivité des sujets l’observation participante – Implication active – Degré de participation variable – Grille d’observation l’observation libre – Pas de grille (à éviter pour les évaluations)
  152. 152. Les grilles d’observation - Construites à la fois à partir d’un modèle théorique et à partir de l’observation de comportements _ Exemple d’une grille d’observation : grille d’observation des enseignants 1 2 3 4 5 Terne, triste Sait stimuler Effacé Séduisant Peu sûr de lui Confiant Désorganisé Méthodique
  153. 153. EHESP 156
  154. 154. EHESP 157
  155. 155. EHESP 158 Si pertinent: Grille d’observation validée scientifiquement
  156. 156. Avantages de l’observation Les observations permettent d’appréhender une réalité vécue, plutôt que d’en obtenir une représentation éventuellement déformée au travers des représentations que les gens s’en font Limites • Très couteux en temps, énergie, préparation,… • L’observation doit avoir lieu dans un endroit et une période de temps définis et bornés • Dans toute procédure d’observation, les personnes observées ont tendance à modifier leur comportement
  157. 157. L’entretien Méthode de recueil d’informations qui consiste en des entretiens oraux individuels avec plusieurs personnes sélectionnées soigneusement, afin d’obtenir des informations sur des faits ou des perceptions Les questions peuvent être : • ouvertes • semi-ouvertes • fermées
  158. 158. EHESP 161
  159. 159. EHESP 162 Sécurité de l’Information Hospitalière
  160. 160. EHESP 163
  161. 161. structuré Semi-structuré Libre Discours qui suit l’ordre des questions posées Discours « par paquets », dont l’ordre peut être plus ou moins déterminé Discours continu Questions préparées à l’avance et posées dans un ordre bien précis Information partielle et raccourcie Quelques points de repère pour l’interviewer Information de bonne qualité, orientée vers le but poursuivi Aucune question préparée à l’avance Information de très bonne qualité, mais pas nécessairement pertinente Information recueillie rapidement ou très rapidement Information recueillie dans un laps de temps raisonnable Durée de recueil d’informations non prévisible Les différents types d’entretiens
  162. 162. La préparation • Préciser les questions générales et spécifiques • Faire une première rédaction des questions • Organiser la séquence des questions • Adapter le processus de l’interview aux objectifs visés (transitions entre thèmes) • Préparer l’introduction et les conclusions • Préparer le système de notation des réponses • Tester le protocole de l’entretien
  163. 163. Avantages • un plus haut pourcentage de réponses peut être obtenu • les personnes réellement sélectionnées peuvent être atteintes • tout type de population peut être atteint • on est mieux informé sur les caractéristiques de ceux qui ne répondent pas • les réponses sont spontanées • les réponses sont nuancées • Permet d’explorer le ressenti, les sentiments, les impressions, les opinions, les attitudes • L’enquête peut porter sur des sujets plus délicats et personnels
  164. 164. Inconvénients • L’apprentissage est indispensable pour bien manipuler la technique de l’entretien semi-directif. • C’est un outil qui demande du temps (temps d’entretien, temps de dépouillement, temps d’analyse) • Méthode très coûteuse • Réactivité maximale • L’enregistrement papier des réponses peut être difficile • L’attitude de l’interviewer peut affecter la validité des réponses
  165. 165. Le focus group
  166. 166. EHESP 169 • Entretien de groupe composé de personnes concernées par une politique de santé ou une intervention. • Obtenir des informations relatives à leurs opinions, attitudes et expériences ou attentes vis-à-vis de cette politique ou de cette intervention. • Utilisée en évaluation de projets ou de programmes, en particulier pour les études de terrain auprès des bénéficiaires et des acteurs intermédiaires. Focus group
  167. 167. EHESP 170 Usages du Focus group
  168. 168. EHESP 171 • Recueillir rapidement des informations et des points de vue. • Permet à la fois l’expression et l’explication des différences de points de vue, et l’approfondissement de leurs opinions contradictoires. • Restitution à l’échelle locale: se concentre sur les observations et les premières conclusions des analyses de terrain conduites par les évaluateurs. • Peut être organisé pour recueillir les réactions des acteurs cibles de l’intervention, ainsi que leurs sensibilités à un problème donné. • L’objectif est de déceler les lignes de clivages dans un groupe Focus group
  169. 169. EHESP 172 • Le focus group est le seul outil à la disposition de l’évaluateur à la fois d’analyse et de confrontation de l’information. • Permet de mieux comprendre l’attitude des participants, leur compréhension et leur perception d’une intervention • Se trouver en situation de groupe permet d’obtenir une variété de points de vue et de perceptions stimulés par l’interaction. • Chaque participant est mis en position de justifier en permanence ce qu’il affirme. Focus group
  170. 170. Exemple Au cours d’un focus group rassemblant les représentants de diverses associations d’aide aux toxicomanes IV et des acteurs de prévention Le terme « prévention » a été rejeté d’emblée par les associations, car considéré comme « moralisateur » vis-à-vis des usagers. Ces associations préfèrent le terme « réduction des risque » qui n’impliquent pas l’arrêt de la toxicomanie mais la réduction des risques liés à la pratique (VIH, VHC) Différence de vocabulaire lié à l’histoire (prévention du sida; engagement politique et social) et à l’idéologie (perception relative à la stigmatisation) des parties prenantes, etc.. EHESP 173
  171. 171. EHESP 174 Avant de décider d’organiser un focus group, l’évaluateur doit cerner la problématique de l’évaluation et en dégager une thématique à laquelle l’outil pourra répondre. Ressources allouées: temps, moyens Acteurs impliqués: terrain, planification, budget, analyse… Objectif: Approfondissement ou confrontation
  172. 172. EHESP 175 • Très utile pour collecter des infos auprès de groupes de bénéficiaires, notamment pour analyser l’impact perçu par ses derniers. • Et des participants, pour identifier ce qui pourrait être amélioré • La dynamique de groupe incite les participants à approfondir, expliciter et justifier leurs prises de position. • Les coûts de mise en œuvre peuvent être limités. • Gain de temps. • Intérêt exploratoire de la méthode Avantages
  173. 173. EHESP 176 • Informations qualitatives, difficile à recueillir (verbatim) et à analyser (analyse de contenu); aucune portée universelle ou quantifiable • Organisation du focus group peut être complexe du point de vue logistique : identification de groupes de bénéficiaires, distances à gérer, mobilisation de compétences nationales et locales. • L’expression publique peut être limitée par des freins d’ordre politique et sociaux, ou relevant de la composition du groupe. Limites
  174. 174. Le Questionnaire
  175. 175. Définition du questionnaire Un outil méthodologique Composé d’une série de questions s’enchaînant de manière structurée Permet la collecte méthodique d’informations dans le cadre d’une enquête, de façon directe ou par l’intermédiaire d’un enquêteur Vise la vérification d’hypothèses (y compris questions évaluatives) Permet d’obtenir des renseignements quantitatifs et/ou qualitatifs, précis et exploitables, souvent présentés sous forme de tableaux ou graphiques Présenté sous forme papier ou électronique.
  176. 176. EHESP 179 1: Une partie présentation/instruction destinée aux enquêteurs: Titre de l'enquête, présentation de l'organisme, présentation de la raison de l'enquête, le plan sommaire du questionnaire, un consentement éclairé ( à faire signer) 2: Des questions relatives aux caractéristiques individuelles : Age, sexe, état matrimonial, enfants, niveau d'études, etc. 3: Des questions de comportement : Fait quoi ?, où ?, quand ?, etc. (échelle de fréquence et d’intensité) 4: Des questions d'opinion/attitudes.croyances : Que pensez- vous de ?, donner votre avis sur. 5: Des questions de motif : pour quelles raisons ? Structure du questionnaire
  177. 177. Définition de l’objectif de l’enquête Objet: problème étudié Tabagisme chez les jeunes adultes Objectif: hypothèse à vérifier Modification des opinions et conduites tabagiques avant et après l’intervention La formulation se fera sous forme de phrase rédigée. Ex: Enquête auprès des jeunes adultes: elle vise à estimer les conduites tabagiques avant et après l’intervention préventive
  178. 178. Délimitation de la population Selon l’objectif Selon l’importance de la population Selon les moyens disponibles On pourra réaliser l’enquête auprès de toute la population ou auprès d’un échantillon. Plus l’effectif est important, mieux c’est L’échantillon se devra d’être représentatif.
  179. 179. Les questions filtres Une première question permet de « filtrer » la population interrogée Est-vous fumeur (se) ? □ oui □ non Selon la réponse donnée, la personne devra répondre à d’autres questions pour préciser encore Si oui, quelle est votre consommation journalière ? □ 1-4 cig./jour □ 5-10 cig/jour □ 11 – 20 cig/jour □ plus de 20 cig/jour
  180. 180. Les questions fermées Elles collectent des faits précis Plusieurs types de questions selon les modalités de réponses: Une seule réponse est possible - questions à choix binaire ex: Sexe: □ masculin □ féminin - questions à choix multiples ex: Situation familiale: □ célibataire □ marié(e) □ divorcé(e) □ pacsé(e) ou concubinage □ veuf(ve) - réponses à situer sur une échelle ex: Situez votre santé perçue sur une échelle graduée: Mauvaise □ 1 □ 2 □ 3 □ 4 Bonne
  181. 181. Les questions fermées Plusieurs réponses possibles - Réponses à choisir dans une liste: ex: par quels moyens vous informez vous sur les questions de santé? □ médecin généraliste □ médecin spécialiste □ internet □ télévision □ journaux □ brochures □ autres lesquels:………………..
  182. 182. Les questions fermées - Réponses à ordonner (classement hiérarchique) ex: même exemple que le précédent, mais en précisant: Numérotez de 1 à 10 selon votre ordre de préférence.
  183. 183. Questions fermées - Les échelles de satisfaction, et de degré d’accord Que pensez-vous de l’interdiction de fumer dans les bars ? Très satisfait Plutôt satisfait Plutôt insatisfait Très insatisfait 4 3 2 1 Interdire de fumer dans les bars est une bonne chose… Pas du tout d’accord Pas d’accord D’accord Tout à fait d’accord 1 2 3 4
  184. 184. Questions fermées - Les échelles de fréquence et d’intensité A quelle fréquence fumez-vous lors des soirées entre amis? Toujours souvent Parfois Jamais 4 3 2 1 Combien de cigarettes fumez vous lors d’une soirée entre amis 1 – 5 cig. 6- 10 cig. 11 – 15 cig. 16 ou + cig. 1 2 3 4
  185. 185. Les questions fermées - Les échelles de croyances/ connaissances Fumer du cannabis est moins dangereux que fumer du tabac Totalement faux Plutôt faux Plutôt vrai Totalement vrai 1 2 3 4 Possibilité d’utiliser des échelle en 5 points (Lickert), ou en 7 points. Mais un nombre de modalité pair évite la réponse médiane, utilisée par les répondant pour ne pas « s’engager »
  186. 186. Echelle visuelle Analogique Fumer du cannabis est moins dangereux que fumer du tabac Pas du tout d’accord Tout à fait d’accord
  187. 187. Questions fermées Avantages des questions fermées • Elles permettent des réponses aisées et rapides • Elles sont faciles à dépouiller • Les résultats sont directement quantifiables
  188. 188. Les questions ouvertes Question ouverte d’opinion: ex: Quelle est votre position par rapport à l’interdiction de fumer dans les lieux publics ? Question ouverte de fait: ex: quels sont les bénéfices que vous tirez de votre tabagie ? Question ouverte numérique: ex: Quelle est votre moyenne de consommation tabagique par jour?
  189. 189. Avantages des questions ouvertes • Elles permettent réellement le recueil d’opinions et de suggestions • La personne enquêtée a le libre choix de la réponse • Elles permettent des réponses personnalisées • Elles permettent une approche exploratoire (mise en évidence d’informations non connues jusque- là)
  190. 190. Les questions de fait et d’opinion • Les questions de fait: Elles concernent des faits précis: Fumez-vous ? Combien de cigarettes fumez-vous par jour ? • Les questions d’opinion: Elles concernent les avis personnels, les jugements: Pourquoi fumez-vous ? □ par habitude □ par imitation □ par ennui…. Que pensez-vous de l’interdiction de fumer dans les restaurants ?
  191. 191. La formulation des questions La forme interrogative directe: Que pensez-vous de… Combien de … La forme indirecte: Nommez… Citez… Classez …. La forme affirmative: Vous avez obtenu le baccalauréat en _ _ _ _ Vous êtes demandeur d’emploi
  192. 192. Conseils pour la formulation des questions: Ce qui est recommandé - demander un seul fait ou opinion par question - utiliser un vocabulaire simple et précis - formuler clairement - prévoir éventuellement une question ouverte - prévoir toujours: □ autre choix Lequel ?...................
  193. 193. - les questions utilisant une négation: Ne pensez-vous pas que…..? - les questions qui induisent les réponses: Pensez-vous que la vente du tabac devrait être interdite aux mineurs ? - les questions qui risquent d’entraîner des réactions de rejet ou de gêne: Lors des élections présidentielles, pour quel candidat allez-vous voter ? ou des réactions de conformisme: Le problème de l’insécurité est-il un phénomène important aujourd’hui ? - les choix trop limités dans les questions à choix multiples Ajouter Autres choix ? Lesquels ? Ce qui est à éviter
  194. 194. Mise en forme Regrouper les questions de même type (socio-démographiques; habitudes; conduites…) Eventuellement, mettre un titre à ces rubriques ex: Identification – Logement – Famille – Loisirs…. Séparer les rubriques par un espace Placer au début les questions d’identification Placer les questions difficiles ou délicates entre des questions simples, ou les placer à la fin Limiter le nombre de questions afin de ne pas décourager la personne enquêtée: 25 à 30 questions au maximum.
  195. 195. Présentation définitive Facile à lire Facile à remplir Facile à dépouiller
  196. 196. Les options méthodologiques En fonction de l’objectif de l’étude, les trois décisions sont intimement liées et ne peuvent être considérées séparément. Dans le tableau ci-après quelques exemples permettent d’illustrer notre propos : Objectif de l'étude Questionnaire Population interrogée Méthode de collecte Evaluer un aspect de l’efficacité d’une action -Simple -Assez court (20 questions) -participants (effectif défini à l’avance) -Grand (plusieurs milliers) -Par courrier ou de préférence par téléphone Sonder l’opinion de la population d’une ville -Complet (60 questions) -Assez long -Echantillon représentatif par quotas (quartier, âge, CSP notamment) -Un millier de personnes -Face à face dans la rue ou de préférence à domicile Identifier les pratiques et besoins acteurs de santé -Assez simple -Longueur moyenne (30 questions) -Exhaustivité souhaitée, soit environ 2000 personnes -Administration via un réseau Intranet.
  197. 197. L'auto-administration Méthodes d'auto- administration Avantages Inconvénients Commentaire En dépôt -Simple -Coût faible -Aucun contrôle sur les retours -Faible incitation à répondre -Vu comme une simple opération publicitaire Par courrier -Large diffusion -Coût limité -Gestion du taux de retour -Risque de sur- représentation de certaines catégories -Adapté pour les clientèles captives Sur borne interactive -Agréable et vivant pour les répondants -Coûts de saisie économisés -Peu de contrôle -Maintenance du matériel -Adapté pour les enquêtes sur un point de vente ou les tests d’évaluation En réseau -Processus optimisé -Très rapide -Problème d’accès -Identification des répondants -Très adapté en intranet et extranet, plus contestable en internet
  198. 198. L'administration assistée Méthodes assistées Avantages Inconvénients Commentaire Par téléphone -Très large diffusion possible -Rapidité -Coût assez limité -Conditions peu agréables pour le répondant -Le questionnaire ne doit pas être trop long, ni trop personnel -Adapté pour les sondages nationaux "éclairs" En face à face -Grande interaction avec le répondant (aide, reformulation) -Pas de limitation dans les thèmes -Possibilité de montrer ou de faire tester -Risque d'influence par l'enquêteur -Logistique lourde -Coûteux -Adapté pour des sujets impliquants
  199. 199. EHESP 202 • Simple à mettre en œuvre et à remplir par un grand nombre de participants • Donne des résultats directement exploitables (scores, %) • Analyse et inférence statistique possible (différences entre groupes ..) • Gain de temps. • Résultats comparables dans le temps Avantages
  200. 200. EHESP 203 • Demande beaucoup de temps et de rigueur pour la conception en amont • Aucune marge de manœuvre une fois les premières passations effectuées (impossible de le modifier a posteriori) • Aucun intérêt en terme d’analyse exploratoire • Donne des résultats faussés si défaut de conception Limites
  201. 201. 204 Techniques, outils, instruments ... Pour approfondir, il existe de nombreux manuels, guides, etc... sur les thèmes suivants : - Collecte des données - Entrevues, groupes de discussion - Observations directes, études de cas - Etudes de cohortes, suivi longitudinal - Analyse des données - ...
  202. 202. Critères de Qualité du rapport Question évaluative
  203. 203. 206 Rapport Thèmes à inclure dans le rapport (projet) : – Description schématique du programme à évaluer avec identification des parties prenantes – Les questions d’évaluations – les problèmes posés – La méthode, les outils – Les résultats attendus – La démarche et le plan de travail – Le dispositif d'évaluation (les intervenants et leur rôle, les qualifications requises) – Le calendrier CONCIS
  204. 204. 207 Rapport Thèmes à inclure dans le rapport d’évaluation : – Description schématique du programme avec identification des parties prenantes – Les questions d’évaluations – les problèmes posés – La méthode, les outils, les indicateurs utilisés – Les résultats obtenus pour chaque objectif – Les effets non attendus (positifs et négatifs) – Une comparaison entre mise en oeuvre prévue et effective – Conclusions et améliorations prévues (sur la base des résultats) CONCIS

×