Réflexions sur le recours àl’évaluation réaliste d’interventions    complexes en santé publique               V. Ridde
OMS, 2008
Diez Roux, 2012
Au coeur de la complexité• « Dès qu’un individu entreprend une action,  quelle qu’elle soit, celle-ci commence à  échapper...
Intervention complexe1.   est une théorie ou est composée de plusieurs théories2.   implique l’action de plusieurs acteurs...
Le réalismeÉvaluation réaliste langienne   Évaluation réaliste pawsonienne
1- Évaluation et situations réelles
“Evaluability assessment”• Logique d’intervention => quelle intervention  mettez-vous en place ?  – Description de l’inter...
FACTEURS CONTEXTUELS MODIFIANTS : leadership DRS et MCD; disponibilité & motivation des AS et mb COGES; disponibilité des ...
Real World Evaluation                (Bamberger et al, 2009)• TEMPS:  – leçons apprises du Niger (2007), préparation rapid...
Devis multi-niveaux/types               PERTINENCE                   PROCESSUS     EFFETSTypes d’évaluation = pertinence +...
Pooled Time Series + Multilevel Analysis:Impact of 2 Interventions in Dori (Burkina Faso)                   Assisted deliv...
Variability of Responses to Interventions                    in Burkina Faso (between – within communities)8070           ...
RÉFLEXIONS• Un évaluateur n’est pas juste un “ evidence  maker ” vs (n=60?) compétences• De l’intérêt de travailler en équ...
2 – Évaluation et théories• est-ce que l’intervention fonctionne ?• est-ce que l’intervention  fonctionne, comment, pour q...
Approches paradigmatiques              POSITIVISME           REALISME             RELATIVISME                             ...
LE RÉALISMELa réalité existe en dehors desconstructions humaines, mais ellen’est perceptible qu’à travers nossens         ...
Causalité générative et contingente                            M        élément du raisonnement de                        ...
ÉVALUATION DU PROGRAMMENATIONAL DU LUTTE CONTRE LE PALUDISME AU BURKINA FASO
FIDÉLITÉ DE L’IMPLANTATION               Fidélité de contenu (volet curatif)                          Fidélité du contenu ...
MÉCANISMES CANDIDATS1. Sentiment d’appartement et de reddition de compte   au système de santé2. Sentiment d’appartement e...
ZORGHO 15 ASC                               KAYA 14 ASC               Présent sauf un ASCM1                               ...
CAPITALISATION DES POLITIQUES
Cadre d’analyse                  Robert et al, 2011
SIMPLE                      MULTIPLES                                   BURKINA               BENIN               MALI    ...
Niveaux d’analyse                    Robert et al, 2011
SYNTHÈSE RÉALISTE•   Étape 1 : Reconstruire la théorie d’intervention•   Étape 2 : Rechercher les données primaires•   Éta...
Robert et Ridde, 2012
Théorie d’interventionDans la mesure où les soins de santé sont gratuits, lapopulation a recours aux soins selon ses besoi...
Robert et Ridde, 2012
Robert et Ridde, 2012
Adapted from Pawson and Tilley (1997) and Pawson (2006).
CONCLUSION« real change is real hard inthe real word »                      (Stange & Phillips, 2007)
Realistic Evaluation (in French)
Realistic Evaluation (in French)
Realistic Evaluation (in French)
Realistic Evaluation (in French)
Realistic Evaluation (in French)
Prochain SlideShare
Chargement dans…5
×

Realistic Evaluation (in French)

564 vues

Publié le

Thoughts on the use of realistic evaluation of complex interventions in health

Publié dans : Santé & Médecine
0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
564
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
0
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Realistic Evaluation (in French)

  1. 1. Réflexions sur le recours àl’évaluation réaliste d’interventions complexes en santé publique V. Ridde
  2. 2. OMS, 2008
  3. 3. Diez Roux, 2012
  4. 4. Au coeur de la complexité• « Dès qu’un individu entreprend une action, quelle qu’elle soit, celle-ci commence à échapper à ses intentions »(Morin, 1990)
  5. 5. Intervention complexe1. est une théorie ou est composée de plusieurs théories2. implique l’action de plusieurs acteurs sociaux3. consiste en une chaine de processus4. cette chaine n’étant pas linéaire5. se déroule dans un contexte et un système social6. est sujette à des changements7. un système ouvert apprenant Pawson et al, 2004
  6. 6. Le réalismeÉvaluation réaliste langienne Évaluation réaliste pawsonienne
  7. 7. 1- Évaluation et situations réelles
  8. 8. “Evaluability assessment”• Logique d’intervention => quelle intervention mettez-vous en place ? – Description de l’intervention et des liens logiques• Approche centrée sur l’utilisation => que voulez- vous savoir ? Comment allez-vous utiliser les résultats ? – Questions/hypothèses de recherche et temporalité de la prise de décision• Équipe de recherche et d’utilisation des résultats – Devis et méthodes – Petite équipe internationale et nationale de chercheurs et courtiers en connaissances
  9. 9. FACTEURS CONTEXTUELS MODIFIANTS : leadership DRS et MCD; disponibilité & motivation des AS et mb COGES; disponibilité des MEG (DRD, CAMEG); relations soignants / soignés; genre; facteurs culturels; situations sanitaire, sociale, économique et politique… DEMANDES Appui financier Remboursement des (Subvention à 100% frais usagers (GC)  Confiance /U des SS des enfants < Remboursements des système santéB 5 ans, femmes publique de la part frais de transportsV enceintes & des populations d’urgence (GC) versE allaitantes et structures de référenceN indigents,  du pouvoir d’agir FEMMES subvention des femmes / soinsT Disponibilité des MEG ENCEINTES & complémentaire des de santéI Amélioration du plateau ALLAITANTES SONU, subventionO des transports FORMATIONS médico-technique  du recours au  pauvretéN d’urgence) SANITAIRES secteur informel DisponibilitéQ  dépenses Appui matériel ambulancesU catastrophiques au (réhabilitation, (opérationnelles) niveau desA équipement, ménagesL matériel…) ENFANTS < 5 ANSI Rationalisation des prescriptions  délai de latenceT Appui technique AGENTS DE SANTE pour lesE (Formation, suivi, co- Amélioration de la consultations de SS supervision)P C qualité des soins par les GCA OR M  utilisation des SS  Développement desT M Information des leaders (GC) morbidité capacitésI U & population et (Information nb d’évacués mortalitéC N communautaire, COMIT E DE GESTION Amélioration situation d’urgence ET  délai maternelleI A implication dans le (COGES) comptable INDIGENTS de PEC évacués et infantile système deP U Expérimentation d’une d’urgence subvention,A T formation, stratégie de PEC desT A accompagnement…) indigents  accouchementsI I Renforcement des assistés etO R capacité COGES césariennes OFFREN E INTRANTS ET CIBLES DE 1er EXTRANTS CIBLES DE 2ème EFFETS ACTIVITES NIVEAU (outputs) NIVEAU (outcomes) IMPACTS
  10. 10. Real World Evaluation (Bamberger et al, 2009)• TEMPS: – leçons apprises du Niger (2007), préparation rapide, chercheurs internationaux pas toujours sur le terrain au début, peu de chercheurs nationaux formés à la recherche évaluative• BUDGET : – intervention matter, 1ère évaluation de cette ampleur (pas d’idée du budget) – 34 mois : Interv. (7 millions), recherche/dissem./plaidoyer (900K) = 12%• DONNÉES : échantillon limité, peu d’observations avant et sans l’intervention, quelques biais (histoire, maturation, sélection)• POLITIQUE : Plaidoyer ONG/Bailleurs vs État => besoin de preuves/données probantes
  11. 11. Devis multi-niveaux/types PERTINENCE PROCESSUS EFFETSTypes d’évaluation = pertinence + processus + effets (pas impact)Niveaux = individuel, ménage, centre de santé, communauté
  12. 12. Pooled Time Series + Multilevel Analysis:Impact of 2 Interventions in Dori (Burkina Faso) Assisted deliveries Per Month 4 Districts, 78 Communities, 72-month Follow=Up 60 ITS - Predicted values by District 50 40 30 20 10 0 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 51 53 55 57 59 61 63 65 67 69 71 Adjustments: Population size-growth, Seasonality, Communities Haddad, 2012
  13. 13. Variability of Responses to Interventions in Burkina Faso (between – within communities)8070 Gains in assisted deliveries per area over time*60 1750 62 4140 41 27 56 19 62 53 1030 56 56 19 3 19 41 51 17 27 19 56 71 34 38 17 45 1920 38 27 61 63 53 45 29 27 67 71 40 41 51 63 34 3 53 51 45 34 29 10 29 30 34 10 67 63 3 38 3010 53 17 32 30 71 67 34 40 62 40 38 62 61 38 61 61 71 28 27 4 55 51 40 4 63 4 29 3 0 3 67 63 62 61 56 55 53 51 45 41 40 38 34 32 30 29 28 27 19 17 10 4 61 51 17 28 4 55 71 56 30 29 67 10 45 32 45 40 10 55 53 28 32 71 32 55 32 3 55 62 41 4-10 67 63 30 28 28-20 Reference point Month 1 Month 7 Month 13 Month 19 Month 25 Haddad, 2012
  14. 14. RÉFLEXIONS• Un évaluateur n’est pas juste un “ evidence maker ” vs (n=60?) compétences• De l’intérêt de travailler en équipe• De l’importance des méthodes mixtes• “Methodological appropriateness should be considered the ‘gold standard’ for impact evaluation” NONIE, 2007
  15. 15. 2 – Évaluation et théories• est-ce que l’intervention fonctionne ?• est-ce que l’intervention fonctionne, comment, pour qui et dans quelles circonstances ?
  16. 16. Approches paradigmatiques POSITIVISME REALISME RELATIVISME Comment les Est-ce que cela acteurs, les processus Est-ce (coût) fonctionne, pour sociaux, le pouvoirQUESTIONS efficace ? qui, dans quelles influencent et conditions, et où ? comprennent les interventions Epidémiologie, Analyses desDISCIPLINES économie, politiques, des Socio-anthropologie science politique organisationsAPPROCHES Déductive Abductive Inductive DEVIS Fixes Pragmatiques/MM Flexibles Gilson, 2012; Robson, 2002
  17. 17. LE RÉALISMELa réalité existe en dehors desconstructions humaines, mais ellen’est perceptible qu’à travers nossens Maxwell, Pawson, Bhaskar, etc.
  18. 18. Causalité générative et contingente M élément du raisonnement de l’acteur face à une ressource /intervention X Y CONTEXTEComplexité et absence de linéarité
  19. 19. ÉVALUATION DU PROGRAMMENATIONAL DU LUTTE CONTRE LE PALUDISME AU BURKINA FASO
  20. 20. FIDÉLITÉ DE L’IMPLANTATION Fidélité de contenu (volet curatif) Fidélité du contenu (volet préventif)100% 100%75% 75%50% 50%25% 25% 0% 0% Recrutement et Dotation de Activités Rémunérations Recrutement et Activités Rémunération formation matériel formation
  21. 21. MÉCANISMES CANDIDATS1. Sentiment d’appartement et de reddition de compte au système de santé2. Sentiment d’appartement et de reddition de compte à la communauté3. Sentiment de crédibilité et de légitimité en faisant partie du système de santé4. L’anticipation d’être valorisé par le système de santé5. L’anticipation d’être valorisé par la communauté6. Une perception de l’amélioration de son statut social et de disposer d’un rôle social7. Une assurance qu’il existe un système de rétro-action et de soutien Kane, et al. 2010
  22. 22. ZORGHO 15 ASC KAYA 14 ASC Présent sauf un ASCM1 Présent « ils disent que c’est un projet » PrésentM2 « même un petit enfant connait chez Présent moi «M3 Présent sauf un ASC PrésentM4 Présent Présent mais a évolué avec la PECAD Présent « Je suis un acteur important car nousM4 Présent, encouragement des ICP réduisons le nombre de consultation au niveau du CSPS. Partagé, pas de changement de statutM6 Partagé, pas de changement de statut « je suis devenu le chef de santé du village »M7 Présent mais varié Présent mais varié
  23. 23. CAPITALISATION DES POLITIQUES
  24. 24. Cadre d’analyse Robert et al, 2011
  25. 25. SIMPLE MULTIPLES BURKINA BENIN MALI CONTEXTE CAS CAS CASHOLISTIQUE CASUn seul niveaud’analyse NIGER TOGO SENEGAL CAS CAS CAS CONTEXTE BURKINA BENIN MALI CAS S1 CAS CAS CAS S1 MC 2 S3 S1 MC 2 2 MC S3 S1 S3 MC 2IMBRIQUÉEPlusieurs S1 S3niveaux NIGER TOGO SENEGALd’analyse MC 2 CAS CAS CAS S1 MC 2 S1 MC 2 S1 MC 2 S3 S3 S3 S3 Adapté de Yin, 2009
  26. 26. Niveaux d’analyse Robert et al, 2011
  27. 27. SYNTHÈSE RÉALISTE• Étape 1 : Reconstruire la théorie d’intervention• Étape 2 : Rechercher les données primaires• Étape 3 : Évaluer la qualité des études• Étape 4 : Extraire les données• Étape 5 : Synthétiser les données Robert et Ridde, 2012
  28. 28. Robert et Ridde, 2012
  29. 29. Théorie d’interventionDans la mesure où les soins de santé sont gratuits, lapopulation a recours aux soins selon ses besoins. Elle n’apas besoin de recourir à l’automédication, ni às’endetter pour payer les soins, ni à arbitrer avecd’autres dépenses essentielles. La barrière financièreétant un obstacle majeur à laccès aux soins, lapopulation a donc plus facilement accès aux services desanté. Robert et Ridde, 2012
  30. 30. Robert et Ridde, 2012
  31. 31. Robert et Ridde, 2012
  32. 32. Adapted from Pawson and Tilley (1997) and Pawson (2006).
  33. 33. CONCLUSION« real change is real hard inthe real word » (Stange & Phillips, 2007)

×