Les méthodes mixtes pour analyser les
politiques publiques en Afrique
J-P Olivier de Sardan et V. Ridde
Séminaire sur le financement de la santé dans
les pays en développement
27/05/2013 – Agence Française de
Développement - Paris
BIOMEDICAL SCIENTISTS
• « A qualitative evaluation is an evaluation
balanced by perception with control
conditions, distribution curves, statistics, and the
like »
• « Qualitative methods are sort of the least
rigorous »
Albert M, Laberge S, Hodges BD, Regehr G, Lingard L: Biomedical scientists' perception of the social sciences
in health research. Social Science & Medicine 2008, 66(12):2520-2531.
Mixed Methods Soup
 multi-trait-multimethod research; integrating
qualitative and quantitative approaches; integrated
methods; interrelating qualitative and quantitative
data; methodological triangulation; multi-
methodological research; multi-method designs and
linking qualitative and quantitative data; multiple
methods; combining qualitative and quantitative
research; mixed model studies; blended methods;
mixed methods research.
Ridde V. A case study on methodological pluralism in public health research in Africa. Research and Reports in Tropical Medicine. 2010.
Combinaison des
méthodes
qualitatives et
quantitatives
Pratique:
depuis longtemps…
… récemment
conceptualisée en
termes de
méthodes mixtes
(premier ‘handbook’
publié en 2003…
2010)
Méthodes mixtes: Définition
« éclectisme méthodologique » OdS, 1998
• « la palette des méthodes utilisées [est] en
adéquation avec le problème traité et [fait]
l’objet d’une réflexion dans le mouvement même
où on la déploie pour résoudre une question
particulière »
Bourdieu (2001)
• “the opportunistic nature of mixed-method
design”. Teddlie C, Tashakkori A. 2006
PUBLICATIONS SUR LA SUPPRESSION DU
PAIEMENT DES SOINS EN AFRIQUE 1988-2009
Ridde V et Mack G. La place des données qualitatives dans les évaluations. Revue ADSP, décembre 2009, pp 32-34
12
5
2
0
QUANTI
MIXTES
QUALI
LES TROIS APPROCHES
Pluye 2012; Ridde et Haddad, 2013
SEQUENTIEL EXPLICATIVE QUAN  QUAL
SEQUENTIEL EXPLORATOIRE QUAL  QUAN
CONCOMITANTE
QUAN + QUAL
ou
QUAL + QUAN
QUANT
Enquête ménages utilisateurs
Séries chronologique
interrompue
QUAL
Atelier de partage
Entrevues individuelles
SEQUENTIEL EXPLICATIF
QUANT (n=1035)  QUAL (Études de cas : 1 ateler + 17 entrevues)
0
500
1,000
1,500
2,000
2,500
3,000
3,500
4,000
4,500
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
Grande moyenne =
1.863 F CFA
Paiement officiel = 900 F CFA
QUALITATIVE
• 4 propositions to be tested
– Items not included in the delivery kit
– Stock out of some items in the local drugs depots
– Lack of policy understanding
• « We have a serious trouble to understand the subsidies
policy » Nurse
– Coping strategies
• « the problem is concerning the rest of the items from the
kit » Nurse
0
20/m
40/m
60/m
80/m
100/m
110 SONU
Fins de mois
0 3
2004
6 9 12 3
2005
6 9 12 3
2006
6 9 12 3
2007
6 9 12 3
2008
6 9 12 3
2009
6 9
Koutougou
0
20/m
40/m
60/m
80/m
100/m
Nombre mensuel 110 SONU
Fins de mois
0 3
2004
6 9 12 3
2005
6 9 12 3
2006
6 9 12 3
2007
6 9 12 3
2008
6 9 12 3
2009
6 9
Petegoli
0
20/m
40/m
60/m
80/m
100/m
Nombre mensuel 110 SONU
Fins de mois
0 3
2004
6 9 12 3
2005
6 9 12 3
2006
6 9 12 3
2007
6 9 12 3
2008
6 9 12 3
2009
6 9
Taouremba
Hétérogénéité des effets
QUAL
Entrevues individuelles
Observations
QUANT
Enquête comptable
Enquête des stocks
SEQUENTIEL EXPLORATOIRE
• « Les délais »…
– « Vraiment le nœud du problème est que durant toute
l’année 2009, on n’a reçu aucun franc comme
remboursement ». [Membre de l’ECD]
• « La gratuité C’est la catastrophe »
– « Maintenant on est dans le rouge parce qu’on a
épuisé tout ce qu’on avait avant l’arrivée de la
gratuité. La gratuité a tout rongé et très
malheureusement les remboursements causent
problème (…). On dépense et on ne reçoit pas. ».
(Gestionnaire du DS).
PERCEPTIONS AU NIGER
REMBOURSEMENT
0
10,000,000
20,000,000
30,000,000
40,000,000
50,000,000
60,000,000
70,000,000
80,000,000
90,000,000
100,000,000
Mai 07 - Avril 08 Mai 08 - Avril 09 Mai 09 - Avril 10
Factures envoyées
Factures remboursées
Kafando et al, 2012
TRESORERIE
Kafando et al, 2012
«Qu’ils arrêtent cette gratuité. La
gratuité concurrence les centres. Le
palu c’est 80% des activités des
CSCOMs. Si la gratuité du paludisme
effective, les centres vont chuter, ils ne
pourront pas survivre avec 20% ventes
de médicaments».
PERCEPTIONS MALI
Sanogo,l, 2012
FINANCES DES ASACO
Kafando, Ridde et al, 2012
QUAL
Entrevues individuelles
QUANT
Observations dans les
centres de santé
CONCOMITANTE
RÉSULTATS
QUALITATIF
• « Ah toi-même tu vois, on est débordé, [la
gratuité] c'est bien pour la population mais pour
nous on travaille trop…. Souvent on peut monter
le matin on descend [arrêter le travail] jusqu'à
15 h ou 16 h tellement que y a beaucoup de
malades » infirmier Burkina
• « Je pense qu'il y a beaucoup de travail. Il n y a
pas beaucoup de personnel; nous sommes que
deux pour le moment » » infirmier du Niger
AVANTAGES ET DEFIS
MÉTHODOLOGIQUES
LES AVANTAGES DES MM
• La complémentarité pour l’évaluation des
politiques publiques
• La quantification des références des
perceptions (cas de la charge de travail ou des
finances)
• La compréhension de quantifications
intrigantes (cas des effets politique SONU)
LES DÉFIS DES MM
• Des temps de collecte/analyse différents
• Des compétences/formations différentes
• La gestion des divergences/convergences
• Des acteurs souvent centrés sur la QUANTI
LES AVANTAGES DES DONNÉES
QUANTITATIVES EN AFRIQUE
• Données de routines exploitables pour l’analyse
des politiques
• Des échantillons statistiquement représentatifs
• L’attribution causale sous certaines conditions
• Des décideurs en santé publique à l’affut des
nombres
• Quantifier des activités et des effets
LES DÉFIS DE LA COLLECTE
QUANTITATIVE EN AFRIQUE
• Expérimentations naturelles
• Rapport qualité/prix
• Observation vs déclaration
• Contrôle de la qualité des données
• Temps long et complexité des analyses
• Hétérogénéité des résultats
PERTINENCE DU QUALITATIF EN
AFRIQUE
• Importance du double langage (parole
publique vs parole privée)
• Intérêt général à camoufler les problèmes
• Biais des enquêteurs/enquêtés lors des
enquêtes quantitatives par questionnaires
LES CONDITIONS D’UN QUALITATIF
RIGOUREUX
• Chercheurs/enquêteurs formés
• Enjeux de traduction et maîtrise du contexte
• Rôle de l’insertion et de l’observation
• Gare aux focus group ! Gare à la culture de la
consultance !
• Triangulation et saturation vs échantillonnage
LE « BIAIS NÉGATIF » DU LASDEL ?
• Focaliser sur les écarts et les problèmes est
utile, même si c’est agaçant
• Création significative d’une différence
d’attitude entre conservateurs et réformateurs
face à nos résultats
• Étudier les cas positifs : nécessaire et difficile
• Rôle phase collective initiale (procédure
ECRIS)
LEÇONS TIRÉES DU PROGRAMME
• Organiser un ECRIS collectif au début incluant les
quantitativistes et/ou avoir un atelier commun au départ
sur la problématique
• Un programme de recherche souple, réactif, évolutif
• Mieux planifier l’intégration QUALI-QUANTI au début et à
chaque étape
• Disposer nécessairement d’équipe QUALI-QUANTI dans
chaque pays
• Prendre le temps des analyses mixtes en équipe
• Pas de soumission du QUALI au QUANTI (et vice-versa)
• Pas de soumission d’une équipe du Sud (sous-traitante) à
une équipe du Nord (conceptrice et maître d’œuvre)

Les méthodes mixtes pour l analyse des politiques publiques

  • 1.
    Les méthodes mixtespour analyser les politiques publiques en Afrique J-P Olivier de Sardan et V. Ridde Séminaire sur le financement de la santé dans les pays en développement 27/05/2013 – Agence Française de Développement - Paris
  • 2.
    BIOMEDICAL SCIENTISTS • «A qualitative evaluation is an evaluation balanced by perception with control conditions, distribution curves, statistics, and the like » • « Qualitative methods are sort of the least rigorous » Albert M, Laberge S, Hodges BD, Regehr G, Lingard L: Biomedical scientists' perception of the social sciences in health research. Social Science & Medicine 2008, 66(12):2520-2531.
  • 3.
    Mixed Methods Soup multi-trait-multimethod research; integrating qualitative and quantitative approaches; integrated methods; interrelating qualitative and quantitative data; methodological triangulation; multi- methodological research; multi-method designs and linking qualitative and quantitative data; multiple methods; combining qualitative and quantitative research; mixed model studies; blended methods; mixed methods research. Ridde V. A case study on methodological pluralism in public health research in Africa. Research and Reports in Tropical Medicine. 2010.
  • 4.
    Combinaison des méthodes qualitatives et quantitatives Pratique: depuislongtemps… … récemment conceptualisée en termes de méthodes mixtes (premier ‘handbook’ publié en 2003… 2010) Méthodes mixtes: Définition
  • 5.
    « éclectisme méthodologique» OdS, 1998 • « la palette des méthodes utilisées [est] en adéquation avec le problème traité et [fait] l’objet d’une réflexion dans le mouvement même où on la déploie pour résoudre une question particulière » Bourdieu (2001) • “the opportunistic nature of mixed-method design”. Teddlie C, Tashakkori A. 2006
  • 6.
    PUBLICATIONS SUR LASUPPRESSION DU PAIEMENT DES SOINS EN AFRIQUE 1988-2009 Ridde V et Mack G. La place des données qualitatives dans les évaluations. Revue ADSP, décembre 2009, pp 32-34 12 5 2 0 QUANTI MIXTES QUALI
  • 7.
    LES TROIS APPROCHES Pluye2012; Ridde et Haddad, 2013 SEQUENTIEL EXPLICATIVE QUAN  QUAL SEQUENTIEL EXPLORATOIRE QUAL  QUAN CONCOMITANTE QUAN + QUAL ou QUAL + QUAN
  • 8.
    QUANT Enquête ménages utilisateurs Sérieschronologique interrompue QUAL Atelier de partage Entrevues individuelles SEQUENTIEL EXPLICATIF
  • 9.
    QUANT (n=1035) QUAL (Études de cas : 1 ateler + 17 entrevues) 0 500 1,000 1,500 2,000 2,500 3,000 3,500 4,000 4,500 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 Grande moyenne = 1.863 F CFA Paiement officiel = 900 F CFA
  • 10.
    QUALITATIVE • 4 propositionsto be tested – Items not included in the delivery kit – Stock out of some items in the local drugs depots – Lack of policy understanding • « We have a serious trouble to understand the subsidies policy » Nurse – Coping strategies • « the problem is concerning the rest of the items from the kit » Nurse
  • 11.
    0 20/m 40/m 60/m 80/m 100/m 110 SONU Fins demois 0 3 2004 6 9 12 3 2005 6 9 12 3 2006 6 9 12 3 2007 6 9 12 3 2008 6 9 12 3 2009 6 9 Koutougou 0 20/m 40/m 60/m 80/m 100/m Nombre mensuel 110 SONU Fins de mois 0 3 2004 6 9 12 3 2005 6 9 12 3 2006 6 9 12 3 2007 6 9 12 3 2008 6 9 12 3 2009 6 9 Petegoli 0 20/m 40/m 60/m 80/m 100/m Nombre mensuel 110 SONU Fins de mois 0 3 2004 6 9 12 3 2005 6 9 12 3 2006 6 9 12 3 2007 6 9 12 3 2008 6 9 12 3 2009 6 9 Taouremba Hétérogénéité des effets
  • 12.
  • 13.
    • « Lesdélais »… – « Vraiment le nœud du problème est que durant toute l’année 2009, on n’a reçu aucun franc comme remboursement ». [Membre de l’ECD] • « La gratuité C’est la catastrophe » – « Maintenant on est dans le rouge parce qu’on a épuisé tout ce qu’on avait avant l’arrivée de la gratuité. La gratuité a tout rongé et très malheureusement les remboursements causent problème (…). On dépense et on ne reçoit pas. ». (Gestionnaire du DS). PERCEPTIONS AU NIGER
  • 14.
    REMBOURSEMENT 0 10,000,000 20,000,000 30,000,000 40,000,000 50,000,000 60,000,000 70,000,000 80,000,000 90,000,000 100,000,000 Mai 07 -Avril 08 Mai 08 - Avril 09 Mai 09 - Avril 10 Factures envoyées Factures remboursées Kafando et al, 2012
  • 15.
  • 16.
    «Qu’ils arrêtent cettegratuité. La gratuité concurrence les centres. Le palu c’est 80% des activités des CSCOMs. Si la gratuité du paludisme effective, les centres vont chuter, ils ne pourront pas survivre avec 20% ventes de médicaments». PERCEPTIONS MALI Sanogo,l, 2012
  • 17.
    FINANCES DES ASACO Kafando,Ridde et al, 2012
  • 18.
    QUAL Entrevues individuelles QUANT Observations dansles centres de santé CONCOMITANTE RÉSULTATS
  • 19.
    QUALITATIF • « Ahtoi-même tu vois, on est débordé, [la gratuité] c'est bien pour la population mais pour nous on travaille trop…. Souvent on peut monter le matin on descend [arrêter le travail] jusqu'à 15 h ou 16 h tellement que y a beaucoup de malades » infirmier Burkina • « Je pense qu'il y a beaucoup de travail. Il n y a pas beaucoup de personnel; nous sommes que deux pour le moment » » infirmier du Niger
  • 21.
  • 22.
    LES AVANTAGES DESMM • La complémentarité pour l’évaluation des politiques publiques • La quantification des références des perceptions (cas de la charge de travail ou des finances) • La compréhension de quantifications intrigantes (cas des effets politique SONU)
  • 23.
    LES DÉFIS DESMM • Des temps de collecte/analyse différents • Des compétences/formations différentes • La gestion des divergences/convergences • Des acteurs souvent centrés sur la QUANTI
  • 24.
    LES AVANTAGES DESDONNÉES QUANTITATIVES EN AFRIQUE • Données de routines exploitables pour l’analyse des politiques • Des échantillons statistiquement représentatifs • L’attribution causale sous certaines conditions • Des décideurs en santé publique à l’affut des nombres • Quantifier des activités et des effets
  • 25.
    LES DÉFIS DELA COLLECTE QUANTITATIVE EN AFRIQUE • Expérimentations naturelles • Rapport qualité/prix • Observation vs déclaration • Contrôle de la qualité des données • Temps long et complexité des analyses • Hétérogénéité des résultats
  • 26.
    PERTINENCE DU QUALITATIFEN AFRIQUE • Importance du double langage (parole publique vs parole privée) • Intérêt général à camoufler les problèmes • Biais des enquêteurs/enquêtés lors des enquêtes quantitatives par questionnaires
  • 27.
    LES CONDITIONS D’UNQUALITATIF RIGOUREUX • Chercheurs/enquêteurs formés • Enjeux de traduction et maîtrise du contexte • Rôle de l’insertion et de l’observation • Gare aux focus group ! Gare à la culture de la consultance ! • Triangulation et saturation vs échantillonnage
  • 28.
    LE « BIAISNÉGATIF » DU LASDEL ? • Focaliser sur les écarts et les problèmes est utile, même si c’est agaçant • Création significative d’une différence d’attitude entre conservateurs et réformateurs face à nos résultats • Étudier les cas positifs : nécessaire et difficile • Rôle phase collective initiale (procédure ECRIS)
  • 29.
    LEÇONS TIRÉES DUPROGRAMME • Organiser un ECRIS collectif au début incluant les quantitativistes et/ou avoir un atelier commun au départ sur la problématique • Un programme de recherche souple, réactif, évolutif • Mieux planifier l’intégration QUALI-QUANTI au début et à chaque étape • Disposer nécessairement d’équipe QUALI-QUANTI dans chaque pays • Prendre le temps des analyses mixtes en équipe • Pas de soumission du QUALI au QUANTI (et vice-versa) • Pas de soumission d’une équipe du Sud (sous-traitante) à une équipe du Nord (conceptrice et maître d’œuvre)