"Les méthodes mixtes pour évaluer des interventions de santé publique : concepts et pratiques en Afrique

Les méthodes mixtes pour évaluer des interventions de santé publique : concepts et pratiques en Afrique V. Ridde

Mixed Methods Soup multi-trait-multimethod research; integrating qualitative and quantitative approaches; integrated methods; interrelating qualitative and quantitative data; methodological triangulation; multi- methodological research; multi-method designs and linking qualitative and quantitative data; multiple methods; combining qualitative and quantitative research; mixed model studies; blended methods; mixed methods research. Ridde V. A case study on methodological pluralism in public health research in Africa. Research and Reports in Tropical Medicine. 2010.

Méthodes mixtes: DéfinitionCombinaison desméthodesqualitatives etquantitativesPratique:depuis longtemps…… récemmentconceptualisée entermes deméthodes mixtes(premier ‘handbook’publié en 2003…2010)

« polythéisme méthodologique »• « la palette des méthodes utilisées [est] en adéquation avec le problème traité et [fait] l’objet d’une réflexion dans le mouvement même où on la déploie pour résoudre une question particulière » Bourdieu (2001)• “the opportunistic nature of mixed-method design”. Teddlie C, Tashakkori A. 2006

Approches paradigmatiques POSITIVISME REALISME RELATIVISME Comment les acteurs, Est-ce que cela les processus sociaux, le Est-ce (coût) fonctionne, pourQUESTIONS efficace ? qui, dans quelles pouvoir influencent et comprennent les conditions, et où ? interventions Epidémiologie, Analyses desDISCIPLINES économie, politiques, des Socio-anthropologie science politique organisationsAPPROCHES Déductive Abductive Inductive DEVIS Fixes Pragmatiques/MM Flexibles Gilson, 2012; Robson, 2002

MÉTHODES MIXTES LORS1. De programme de recherches2. De projet de recherche

UN PROGRAMME DE RECHERCHES au Burkina Faso, Mali et Niger

Global Campaign for the Health MDGs 2009Free quality services for women andchildren at the point of use and otheraccess barriers removedAfrican Union 2010 (Kampala) :User fees abolition for pregnantwomen and children under 5 years

Scoping review : use fees ablition in Africa Ridde V et Mack G. La place des données qualitatives dans les évaluations. Revue ADSP, décembre 2009, pp 32-34

CONTEXT ACTEURS ÉMERGENCE Géographique Responsables FORMULATION Agents Particuliers Économique Intéressés Groupes stratégiques Politique MISE EN OEUVRE Culturel EFFETSOrganisationnel Attendus Non attendus Ridde et Olivier de Sardan, 2012

Methodological pluralism Research questions Research processConceptual framework andtheoretical approach SamplingTools and data collection Mixed Data analysis MethodsKnowledge dissemination and utilization Yin RK. Mixed methods research: Are the methods genuinely integrated or merely parallel? . Research in the Schools. 2006;13(1):41-7. Ridde V. A case study on methodological pluralism in public health research in Africa. Research and Reports in Tropical Medicine. 2010.

Critères pour le type complexe en MM • Un processus de recherche itératif et cyclique • Des décisions de départ qui influencent les suivantes • Une cohérence au sein des différentes étapes du programme de recherche • Des partenaires impliqués dans le processus de recherche • Une collaboration entre les différents chercheurs • L’utilisation des perspectives qualitatives et quantitatives • La prise en compte des multiples paradigmes Nastasi B.K. et al, 2010

Typologies for MMRBasic Design TypologiesI. Monostrand vs multistrandII. Methods/DataIII. Stage of research processComplex TypologiesIV. Integrated/interactive/systemicV. Iterative = « mixing of qualitative and quantitative methods occurs in a dynamic, changing, or evolving manner over the course of the research program »VI. Synergistic Nastasi B.K. et al, 2010

QUAN DESIGNS QUAL APPROACHES •5 Common Approaches*• Randomized controlled • RCT• Non-randomized controlled • Ethnography • Case controlled trial • anthropology & sociology • Controlled before and after • Case study • Controlled interrupted time • social sciences series analysis • Phenomenology• Observational non-controlled • philosophy & psychology • Cohort study • Narratives • Cross-sectional study • social sciences • Case-control • Grounded theory • Interrupted time series analysis • sociology • Before and after study *Creswell (2007). Qualitative inquiry and research • Case series design. Sage. • Case report Pluye et al 2012.

QUAN DESIGNS QUAL APPROACHES •5 Common Approaches*• Randomized controlled • RCT• Non-randomized controlled • Ethnography • Case controlled trial • anthropology & sociology • Controlled before and after • Case study • Controlled interrupted time • social sciences series analysis • Phenomenology• Observational non-controlled • philosophy & psychology • Cohort study • Narratives • Cross-sectional study • social sciences • Case-control • Grounded theory • Interrupted time series analysis • sociology • Before and after study *Creswell (2007). Qualitative inquiry and research • Case series design. Sage. • Case report Health care utilization 04->10 Agenda setting, implementation, Health expenses 06 vs 10 perceived effects … and unintended effects Cost recovery before vs after Pluye et al.

FACTEURS CONTEXTUELS MODIFIANTS : leadership DRS et MCD; disponibilité & motivation des AS et mb COGES; disponibilité des MEG (DRD, CAMEG); relations soignants / soignés; genre; facteurs culturels; situations sanitaire, sociale, économique et politique… DEMANDES Appui financier Remboursement des (Subvention à 100% frais usagers (GC)  Confiance /U des SS des enfants < Remboursements des système santéB 5 ans, femmes publique de la part frais de transportsV enceintes & des populations d’urgence (GC) versE allaitantes et structures de référenceN indigents,  du pouvoir d’agir FEMMES subvention des femmes / soinsT Disponibilité des MEG ENCEINTES & complémentaire des de santéI Amélioration du plateau ALLAITANTES SONU, subventionO des transports FORMATIONS médico-technique  du recours au  pauvretéN d’urgence) SANITAIRES secteur informel DisponibilitéQ  dépenses Appui matériel ambulancesU catastrophiques au (réhabilitation, (opérationnelles) niveau desA équipement, ménagesL matériel…) ENFANTS < 5 ANSI Rationalisation des prescriptions  délai de latenceT Appui technique AGENTS DE SANTE pour lesE (Formation, suivi, co- Amélioration de la consultations de SS supervision)P C qualité des soins par les GCA OR M  utilisation des SS  Développement desT M Information des leaders (GC) morbidité capacitésI U & population et (Information nb d’évacués mortalitéC N communautaire, COMIT E DE GESTION Amélioration situation d’urgence ET  délai maternelleI A implication dans le (COGES) comptable INDIGENTS de PEC évacués et infantile système deP U Expérimentation d’une d’urgence subvention,A T formation, stratégie de PEC desT A accompagnement…) indigents  accouchementsI I Renforcement des assistés etO R capacité COGES césariennes OFFREN E INTRANTS ET CIBLES DE 1er EXTRANTS CIBLES DE 2ème EFFETS ACTIVITES NIVEAU (outputs) NIVEAU (outcomes) IMPACTS

Une intervention complexe• Subvention, formation, suivi, contrôle, mobilisation communautaire, etc.• Intégration dans le système de santé (vs Niger, K*)

DEVIS MULTI/MM PERTINENCE PROCESSUSEFFICACITÉ Valéry Ridde et al. , « The evaluation of an experiment in healthcare user fees exemption for vulnerable groups in Burkina Faso », Field Actions Science Reports [Online], Special Issue 8 | 2012, Online since 06 November 2012, Connection on 20 November 2012. URL : http://factsreports.revues.org/1758

Valéry Ridde et al. , « The evaluation of an experiment in healthcare user fees exemption for vulnerable groups inBurkina Faso », Field Actions Science Reports [Online], Special Issue 8 | 2012, Online since 06 November 2012,Connection on 20 November 2012. URL : http://factsreports.revues.org/1758

MÉTHODES MIXTES LORS1. De programme de recherches2. De projet de recherche

QUATRE APPROCHES Stratégie Temporalité Prépondé Analyse Notation rance Explicative Séquentiel, QUAN Relier QUAN  qual quantitatif d’abordExploratoire Séquentiel, QUAL Relier QUAL  quan qualitatif d’abord Imbriquée Concomitant ou Inégale Imbriquer QUAN (qual) ou séquentiel QUAL (quan)Triangulation Concomitant Égale Fusionner QUAN + QUAL De Allegri et al. 2012, Creswell, 2007, Pluye 2012, etc

VOS TRAVAUX EN MM• Souhaitez-vous mettre en valeur l’utilisation des méthodes mixtes dans votre présentation ?• n = 10 abstracts/posters• Pure QUANT = 4• Pure QUAL = 2• MM : 40% – Explicatif = 1 – Exploratoire = 1 – Imbriqué = 0 – Triangulé = 2

BIOMEDICAL SCIENTISTS• « A qualitative evaluation is an evaluation balanced by perception with control conditions, distribution curves, statistics, and the like »• « Interviews and focus groups? I’m personally not too impressed by them. They’re anecdotes. They’re opinions. And opinions are not science, unfortunately. Opinions are more like religious beliefs.• « Qualitative methods are sort of the least rigorous » Albert M, Laberge S, Hodges BD, Regehr G, Lingard L: Biomedical scientists perception of the social sciences in health research. Social Science & Medicine 2008, 66(12):2520-2531.

EXPLANATORY SEQUENTIAL DESIGN QUAL QUANT Dissemination User survey workshop In depth interviews

QUANT (n=1035)  QUAL (Extreme case studies : 1 FG + 17 in-depth interviews)4,5004,0003,5003,0002,500 Grand mean =2,000 1.863 F CFA1,5001,000 500 Official fee = 900 F CFA 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25

QUALITATIVE• 4 propositions to be tested – Items not included in the delivery kit – Stock out of some items in the local drugs depots – Lack of policy understanding • « We have a serious trouble to understand the subsidies policy » Nurse – Coping strategies • « the problem is concerning the rest of the items from the kit » Nurse Ridde V, Kouanda S, Yameogo M, Kadio K, Bado A: Why do women pay more than they should? A mixed methods study of the implementation gap in a policy to subsidize the costs of deliveries in Burkina Faso. Eval Program Plann 2012, 36(1):145-152.

EXPLANATORY SEQUENTIAL DESIGN QUAL QUANT InterpretationRegister survey workshop + case studies

Évolution des consultations moyennes mensuelles 30 Haddad, Ridde et al, 2012

Haddad, Ridde et al, 2012

EXPLORATORY SEQUENTIAL DESIGN QUAL QUANTIn depth Interview Accounting survey Observations Stocks survey

PERCEPTIONS AU NIGER• « Les délais »… – « Vraiment le nœud du problème est que durant toute l’année 2009, on n’a reçu aucun franc comme remboursement ». [Membre de l’ECD]• « La gratuité C’est la catastrophe » – « Maintenant on est dans le rouge parce qu’on a épuisé tout ce qu’on avait avant l’arrivée de la gratuité. La gratuité a tout rongé et très malheureusement les remboursements causent problème (…). On dépense et on ne reçoit pas. ». (Gestionnaire du DS).

REMBOURSEMENT 100,000,000 90,000,000 80,000,000 70,000,000 60,000,000 50,000,000 40,000,000 30,000,000 20,000,000 10,000,000 0 Mai 07 - Avril 08 Mai 08 - Avril 09 Mai 09 - Avril 10Factures envoyées Factures remboursées Kafando et al, 2012

Kafando et al, 2012

TRESORERIE Kafando et al, 2012

PERCEPTIONS MALI«Qu’ils arrêtent cette gratuité : tu sais on ne peut pasvouloir une chose et son contraire. Les CSCOMfonctionnent selon le principe de recouvrement, tu nepeux pas dire à des gens de gérer et mettre en placeun système qui concurrence cela. La gratuitéconcurrence les centres. Le palu c’est 80% desactivités des CSCOMs. Si la gratuité du paludismeeffective, les centres vont chuter, ils ne pourront passurvivre avec 20% ventes de médicaments». Sanogo,l, 2012

FINANCES DES ASACO Kafando, Ridde et al, 2012

Nombres trimestriels de consultations dans un centre moyen 1000 Début de la gratuité des CTA 900 800 5 ans +Nombre trimestriel de consultations 700 600 500 400 0 - 4 ans 300 200 100 0 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 2003 2004 2005 2006 2007 2008 2009 2010 Trimestres Heinmueller, Ridde et al, 2012

EMBEDDED SEQUENTIAL DESIGN QUANT Household survey QUAL Illuminative and paradox case studies

Recherche action au Burkina Faso• Voir film :http://www.youtube.com/watch?v=LEnd05H3glY&feature=relmfuVoir à la fin de la présentation

Ridde 2012

Worst-off illuminative case studies• 20 indigents – Monthly x 12 • In-depth interview (stratified vs 169 in 2007) • Observations • Expenditures questionnaire

Worst-off paradox case studies• 54 worst-off in non-poor household • In-depth interview (stratified 54 vs 319 worst-off in 2010) • Observation

Distances euclidiennes domicile-CSPS Ridde, Bonnet et al. 2012

Ridde, Bonnet et al. 2012

TRIANGULATION CONCURRENT DESIGN QUAL In depth Interview FINDINGS QUANT Registers survey

Prescribers’ perceptions regarding changes in their practicesNO CONSENSUS• AS-1: “Now it is easier for us to prescribe. If the treatment is for a week, I don’t hesitate. In the past, I had to prescribe for five days if the patient didn’t have the means to cover a whole week’s dose.”• AS-3: “Our prescribing hasn’t changed, in the sense that we are required to follow the flow chart in the DTG, whether it’s free or not.” Atchessi N. et al

Changes in prescriptions in the post-intervention period (n=14.956/n= 4.282)Outcome Diagnosisindicator Effect measure Effect measure Assessment Condition (comorbidity) Condition (comorbidity) parameter (c) for children ages 0 to 4 years For children ages 5 to 10 years Without With comorbidity comorbidityPresence of Malaria (a) Odds ratio 0.48** NA* 1.25antibiotics [0.33 ; 0.70] [0.78; 1.99] ALRTI (b) Odds ratio 1.93 1.32 0.96 [0.66 ; 5.62] [0.22; 7.69] [0.50; 1.88]Presence of Malaria (b) Odds ratio 1.22 0.62 1.27injectables [0.85 ; 1.71] [0.32; 1.16] [0.95; 1.68] ALRTI (b) Odds ratio 0.28** 0.81 1.77** [0.17 ; 0.46] [0.36; 1.81] [1.15 ; 2.73]Number of Malaria (b) Coefficient 0.03 0.002 0.05**drugs (Linearprescribed regression) [-0.009; 0.08] [-0.05; 0.05] [0.008; 0.104] ALRTI (b) Coefficient -0.14** 0.019 0.096 (Linear regression) [-0.20; -0.08] [-0.04;0.084] [0.03-0.16] Atchessi N. et al

TRIANGULATION CONCURRENT DESIGN QUAL Focus Group FINDINGS QUANT User survey

Nous sommesOn dépense beaucoup parce que la contentes pour (ladistance est longue. Si le CSPS était gratuité) mais si ledans notre village, on allait pas CSPS était ici, ce seraitdépenser pour un déplacement et l’idéalen plus nous n’allions pas acheter àmanger. Ben Ameur, Ridde et al. 2012

Satisfaction à l’égard de l’accouchement Philibert, Ridde et al. 2012

ANALYSE DE LA QUALITÉ• GRAMMS: “Good Reporting of A Mixed Methods Study” (OCathain, A. 2008) = 6 critères• MMAT : Mixed Methods Appraisal Tools (Pluye, P. et al, 2011) = 19 critères• A comprehensive framework (OCathain, A. 2010) = 44 critères

BIOMEDICAL SCIENTISTS• « Like most of my colleagues in the biomedical sciences, I thought that rigor and logic were the characteristics of the basic sciences. But when I got to know the social sciences better [by sitting on various committees], I realized that logic and rigor actually constitute one of their strengths » Albert M, Laberge S, Hodges BD, Regehr G, Lingard L: Biomedical scientists perception of the social sciences in health research. Social Science & Medicine 2008, 66(12):2520-2531.

• Creswell JW, Plano Clark VL: Designing and conducting mixed methods research. Thousand Oaks, Calif.: SAGE Publications; 2007.• Pluye P: Les méthodes mixtes pour l’évaluation des programmes. In: Approches et pratiques en évaluation de programme Seconde édition sous presse. edn. Edited by Ridde V, Dagenais C. Montréal: Presses de lUniversité de Montréal; 2012.• Guével M-R, Pommier J: Recherche par les méthodes mixtes en santé publique : enjeux et illustration. Sante Publique (Bucur) 2012, 24:23-38.• Teddlie C, Tashakkori A: Handbook of Mixed Methods in Social and Behavioral Research. edn. Thousand Oaks, California: Sage Publications; 2010 Yin RK: Mixed methods research: Are the methods genuinely integrated or merely parallel? . Research in the Schools 2006, 13(1):41-47.

http://www.pum.umontreal.ca

"Les méthodes mixtes pour évaluer des interventions de santé publique : concepts et pratiques en Afrique

de valery_ridde le 20 novembre 2012

Accessibilité

Catégories

Détails de l'import

Droits d'utilisation

Statistiques

"Les méthodes mixtes pour évaluer des interventions de santé publique : concepts et pratiques en Afrique Presentation Transcript