Thoughts on the use of realistic evaluation of complex interventions in health

1. Réflexions sur le recours à
l’évaluation réaliste d’interventions
complexes en santé publique
V. Ridde

3. OMS, 2008

4. Diez Roux, 2012

5. Au coeur de la complexité
• « Dès qu’un individu entreprend une action,
quelle qu’elle soit, celle-ci commence à
échapper à ses intentions »(Morin, 1990)

6. Intervention complexe
1. est une théorie ou est composée de plusieurs théories
2. implique l’action de plusieurs acteurs sociaux
3. consiste en une chaine de processus
4. cette chaine n’étant pas linéaire
5. se déroule dans un contexte et un système social
6. est sujette à des changements
7. un système ouvert apprenant
Pawson et al, 2004

8. Le réalisme
Évaluation réaliste langienne Évaluation réaliste pawsonienne

9. 1- Évaluation et situations réelles

10. “Evaluability assessment”
• Logique d’intervention => quelle intervention
mettez-vous en place ?
– Description de l’intervention et des liens logiques
• Approche centrée sur l’utilisation => que voulez-
vous savoir ? Comment allez-vous utiliser les
résultats ?
– Questions/hypothèses de recherche et temporalité
de la prise de décision
• Équipe de recherche et d’utilisation des résultats
– Devis et méthodes
– Petite équipe internationale et nationale de
chercheurs et courtiers en connaissances

11. FACTEURS CONTEXTUELS MODIFIANTS : leadership DRS et MCD; disponibilité & motivation des AS et mb COGES; disponibilité des MEG (DRD, CAMEG); relations
soignants / soignés; genre; facteurs culturels; situations sanitaire, sociale, économique et politique…
DEMANDE
S Appui financier Remboursement des
(Subvention à 100% frais usagers (GC)  Confiance /
U
des SS des enfants < Remboursements des système santé
B 5 ans, femmes publique de la part
frais de transports
V enceintes & des populations
d’urgence (GC) vers
E allaitantes et structures de référence
N indigents,  du pouvoir d’agir
FEMMES
subvention des femmes / soins
T Disponibilité des MEG ENCEINTES &
complémentaire des de santé
I Amélioration du plateau ALLAITANTES
SONU, subvention
O des transports FORMATIONS médico-technique  du recours au  pauvreté
N d’urgence) SANITAIRES secteur informel
Disponibilité
Q  dépenses
Appui matériel ambulances
U catastrophiques au
(réhabilitation, (opérationnelles)
niveau des
A équipement, ménages
L matériel…) ENFANTS < 5 ANS
I Rationalisation des
prescriptions  délai de latence
T Appui technique
AGENTS DE SANTE pour les
E (Formation, suivi, co-
Amélioration de la consultations de SS
supervision)
P C qualité des soins par les GC
A O
R M  utilisation des SS 
Développement des
T M Information des leaders (GC) morbidité
capacités
I U & population et
(Information
nb d’évacués mortalité
C N communautaire, COMIT E DE GESTION Amélioration situation
d’urgence ET  délai maternelle
I A implication dans le (COGES) comptable INDIGENTS
de PEC évacués et infantile
système de
P U Expérimentation d’une d’urgence
subvention,
A T formation, stratégie de PEC des
T A accompagnement…) indigents  accouchements
I I Renforcement des assistés et
O R capacité COGES césariennes
OFFRE
N E
INTRANTS ET CIBLES DE 1er EXTRANTS CIBLES DE 2ème EFFETS
ACTIVITES NIVEAU (outputs) NIVEAU (outcomes) IMPACTS

12. Real World Evaluation (Bamberger et al, 2009)
• TEMPS:
– leçons apprises du Niger (2007), préparation rapide,
chercheurs internationaux pas toujours sur le terrain au
début, peu de chercheurs nationaux formés à la recherche
évaluative
• BUDGET :
– intervention matter, 1ère évaluation de cette ampleur (pas
d’idée du budget)
– 34 mois : Interv. (7 millions), recherche/dissem./plaidoyer
(900K) = 12%
• DONNÉES : échantillon limité, peu d’observations
avant et sans l’intervention, quelques biais (histoire,
maturation, sélection)
• POLITIQUE : Plaidoyer ONG/Bailleurs vs État => besoin
de preuves/données probantes

13. Devis multi-niveaux/types
PERTINENCE
PROCESSUS
EFFETS
Types d’évaluation = pertinence + processus + effets (pas impact)
Niveaux = individuel, ménage, centre de santé, communauté

15. Pooled Time Series + Multilevel Analysis:
Impact of 2 Interventions in Dori (Burkina Faso)
Assisted deliveries Per Month
4 Districts, 78 Communities, 72-month Follow=Up
60
ITS - Predicted values by District
50
40
30
20
10
0
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69 71
Adjustments: Population size-growth, Seasonality, Communities
Haddad, 2012

16. Variability of Responses to Interventions
in Burkina Faso (between – within communities)
80
70 Gains in assisted deliveries per area over time*
60
17
50
62 41
40 41
27 56
19 62
53
10
30 56 56
19 3
19 41
51 17 27
19 56 71
34 38
17
45 19
20 38
27 61 63
53
45 29
27 67
71
40
41 51 63
34 3
53
51
45
34
29
10
29 30
34 10
67
63 3 38
30
10 53 17
32 30 71
67
34 40 62
40
38 62
61
38 61 61
71
28 27 4
55 51 40
4
63
4 29
3
0 3
67
63
62
61
56
55
53
51
45
41
40
38
34
32
30
29
28
27
19
17
10
4 61
51
17 28
4 55
71 56
30
29 67
10 45 32
45
40
10 55 53
28 32
71 32 55
32
3
55
62
41 4
-10 67
63
30 28
28
-20
Reference point Month 1 Month 7 Month 13 Month 19 Month 25
Haddad, 2012

17. RÉFLEXIONS
• Un évaluateur n’est pas juste un “ evidence
maker ” vs (n=60?) compétences
• De l’intérêt de travailler en équipe
• De l’importance des méthodes mixtes
• “Methodological appropriateness should be
considered the ‘gold standard’ for impact
evaluation” NONIE, 2007

18. 2 – Évaluation et théories
• est-ce que l’intervention fonctionne ?
• est-ce que l’intervention
fonctionne, comment, pour qui et dans
quelles circonstances ?

19. Approches paradigmatiques
POSITIVISME REALISME RELATIVISME
Comment les
Est-ce que cela acteurs, les processus
Est-ce (coût) fonctionne, pour sociaux, le pouvoir
QUESTIONS efficace ? qui, dans quelles influencent et
conditions, et où ? comprennent les
interventions
Epidémiologie, Analyses des
DISCIPLINES économie, politiques, des Socio-anthropologie
science politique organisations
APPROCHES Déductive Abductive Inductive
DEVIS Fixes Pragmatiques/MM Flexibles
Gilson, 2012; Robson, 2002

20. LE RÉALISME
La réalité existe en dehors des
constructions humaines, mais elle
n’est perceptible qu’à travers nos
sens
Maxwell, Pawson, Bhaskar, etc.

21. Causalité générative et contingente
M élément du raisonnement de
l’acteur face à une ressource
/intervention
X Y
CONTEXTE
Complexité et absence de linéarité

23. ÉVALUATION DU PROGRAMME
NATIONAL DU LUTTE CONTRE LE
PALUDISME AU BURKINA FASO

24. FIDÉLITÉ DE L’IMPLANTATION
Fidélité de contenu (volet curatif) Fidélité du contenu (volet préventif)
100% 100%
75% 75%
50% 50%
25% 25%
0% 0%
Recrutement et Dotation de Activités Rémunérations Recrutement et Activités Rémunération
formation matériel formation

26. MÉCANISMES CANDIDATS
1. Sentiment d’appartement et de reddition de compte
au système de santé
2. Sentiment d’appartement et de reddition de compte
à la communauté
3. Sentiment de crédibilité et de légitimité en faisant
partie du système de santé
4. L’anticipation d’être valorisé par le système de santé
5. L’anticipation d’être valorisé par la communauté
6. Une perception de l’amélioration de son statut social
et de disposer d’un rôle social
7. Une assurance qu’il existe un système de rétro-action
et de soutien
Kane, et al. 2010

27. ZORGHO 15 ASC KAYA 14 ASC
Présent sauf un ASC
M1 Présent
« ils disent que c’est un projet »
Présent
M2 « même un petit enfant connait chez Présent
moi «
M3 Présent sauf un ASC Présent
M4 Présent Présent mais a évolué avec la PECAD
Présent
« Je suis un acteur important car nous
M4 Présent, encouragement des ICP
réduisons le nombre de consultation au
niveau du CSPS.
Partagé, pas de changement de statut
M6 Partagé, pas de changement de statut « je suis devenu le chef de santé du
village »
M7 Présent mais varié Présent mais varié

28. CAPITALISATION DES POLITIQUES

29. Cadre d’analyse
Robert et al, 2011

30. SIMPLE MULTIPLES
BURKINA BENIN MALI
CONTEXTE
CAS CAS CAS
HOLISTIQUE
CAS
Un seul niveau
d’analyse NIGER TOGO SENEGAL
CAS CAS CAS
CONTEXTE BURKINA BENIN MALI
CAS S1 CAS CAS
CAS S1 MC 2
S3
S1 MC 2 2
MC
S3
S1
S3
MC 2
IMBRIQUÉE
Plusieurs S1 S3
niveaux NIGER TOGO SENEGAL
d’analyse MC 2
CAS CAS CAS
S1 MC 2 S1 MC 2 S1 MC 2
S3
S3 S3 S3
Adapté de Yin, 2009

31. Niveaux d’analyse
Robert et al, 2011

32. SYNTHÈSE RÉALISTE
• Étape 1 : Reconstruire la théorie d’intervention
• Étape 2 : Rechercher les données primaires
• Étape 3 : Évaluer la qualité des études
• Étape 4 : Extraire les données
• Étape 5 : Synthétiser les données
Robert et Ridde, 2012

33. Robert et Ridde, 2012

34. Théorie d’intervention
Dans la mesure où les soins de santé sont gratuits, la
population a recours aux soins selon ses besoins. Elle n’a
pas besoin de recourir à l’automédication, ni à
s’endetter pour payer les soins, ni à arbitrer avec
d’autres dépenses essentielles. La barrière financière
étant un obstacle majeur à l'accès aux soins, la
population a donc plus facilement accès aux services de
santé.
Robert et Ridde, 2012

35. Robert et Ridde, 2012

36. Robert et Ridde, 2012

37. Adapted from Pawson and Tilley (1997) and Pawson (2006).

38. CONCLUSION
« real change is real hard in
the real word »
(Stange & Phillips, 2007)