LA SCIENCE DE
LA PRESTATION:
Apprendre de la mise en œuvre
Résultats des évaluations
d’impact et leçons du FBR
Dinesh Nair...
Le pourquoi et le comment
des 10 Plus Grandes Leçons
• L’examen des opérations de FBR en cours a
suggéré des défis récurre...
Leçon #1
“Montre-moi l’argent!”
- Procédez au paiement à temps
• Plus de 70% des projets ont eu des difficultés
pour procé...
Les visites en consultation externe au
Nigeria ont diminué quand les paiements
ont été interrompus
0%
10%
20%
30%
40%
50%
...
Leçon 1: “Montre-moi l’argent!”
Procédez au paiement à temps
Recommandations
Suivre le temps nécessaire pour que le paiem...
Leçon #2
“Continuez à faire bouger le
pilier de but!”
L’Amélioration Continue de la
Qualité (ACQ) implique de
Changer les ...
0
20
40
60
80
100
Mwaro
Muramvya
Kirundo
Cibitoke
Buja-Rural
Kayanza
Ngozi
Makamba
Rutana
Bubanza
Bururi
Gitega
Karuzi
Muy...
Leçon 2: “Continuez à faire bouger le pilier de but!”
L’Amélioration Continue de la Qualité (ACQ)
implique de Changer les ...
Leçon #3
“Pour être clairvoyant, nous
continuons en apprenant”
• Le FBR en tant qu’outil permet
l’expérimentation, l’appre...
Qu’a fait le Zimbabwe?
Analyse quantitative
Analyse qualitative
 Concevoir le FBR du côté de la demande et de
l’offre (pi...
Les études de recherche opérationnelle devraient
être budgétisées
Menez des évaluations de processus et utilisez les
rés...
Leçon #4
“L’Argent n’est pas la source de
tout le mal, Le Manque d’Argent
l’est”
– Préoccupez-vous de la
durabilité financ...
La durabilité du FBP nécessite des
réformes du système de santé plus larges
 Le FBP du Burundi est
combiné avec les soins...
Où va l’argent du FBP?
14
PAIEMENTS DU FBP AU BURUNDIAU TRIMESTRE 3, 2013 million de francs
Nouvelle
consultation
en exter...
35%
37%
39%
40%
45%
11%
10%
10%
9%
5%
16%
16%
12%
13%
10%
29%
31%
31%
33%
37%
8%
7%
7%
5%
3%
Q2 2012
Q3 2012
Q4 2012
Q1 20...
Recommandations
Suivez les dépenses générales du FBP et comprenez
où vont la plupart des fonds du FBP
Il est plus facile...
Leçon #5
“Les Mathophobes du monde
tous unis!”
– Utilisez vos données
• Les données sont vitales mais sous-exploitées,
mal...
Applications internet avec interface
publique montrant les informations sur la
performance et les finances
18
Burundi
Beni...
Comment la Zambie utilise ses données
• Analyse trimestrielle
• Analyse complète par expert
o Analyse en différences-de-di...
Leçon 5: Les Mathophobes du monde
tous unis!” – Utilisez vos données
Recommandations
 Créez des systèmes fiables pour la ...
Leçon #6
“Comprenez vos clients”
- Les problèmes du côté de la
demande sont peut-être moins
compris
• Il faut comprendre l...
Même avec de larges améliorations dans l’utilisation
depuis que le FBP a été introduit, les niveaux de
couverture absolue ...
Leçon 6: “Comprenez vos clients”
- Les problèmes du côté de la demande
sont peut-être moins compris
Recommandations
 Cons...
Leçon #7
“Ca suffit les tracés plats”
- Identifiez les formations et les
régions à faible performance.
Faites quelque chos...
Il y a clairement des formations qui ne
progressent pas – càd. celles aux “tracés plats”
Non-déterminants
• Nombre de pers...
Leçon 7: Ca suffit les “tracés plats”
Recommandations
Utilisez vos données pour identifier les formations
qui ne se sont ...
Leçon #8
“Tu peux courir, mais tu ne peux pas
te cacher”
– Préoccupez-vous des menaces
politiques envers le FBP
• Même les...
Pilote de FBR en Zambie
 Unité d’Implémentation du Programme (UIP) du
FBR pas généralisée au sein de la structure du
Mini...
Recommandations
L’expertise en économie politique devrait être
engagée pour étudier les facteurs importants dans
le passa...
Leçon #9
“Même les plans les mieux prévus
peuvent aller de travers”
– Analysez le design de votre projet
pour vous assurez...
Bénin
 La bureaucratie complique
les dépenses des
incitations du FBP par les
formations
 Peut réduire la motivation
des ...
Recommandations
Examinez périodiquementla progression des éléments
dans votre théorie du changement, pas seulement ce
que...
Leçon #10
“Gardez vos études d’impact droit
au but”
- Evitez les questions d’Evaluation
d’Impact qui sont TROP subtiles
• ...
0
600
1200
1800
2400
1* 2 3 4 1 2
2012 2013
Enfants immunisés
Control
Treatment
Les groupes de l’intervention de FBR et
de...
Groupes expérimental & de contrôle au
Nigéria – essayez dur d’être explicite sur
les différences !!!!
35
Eléments clé FBP ...
Recommandations
Evaluez à l’avance si les variations expérimentales
vont probablement faire une différence dans les
résul...
Un bateau au port est en
sécurité– mais ça n’est pas
pour ça qu’on construit des
bateaux.-John A Shedd (1928)
Mettez en oe...
Prochain SlideShare
Chargement dans…5
×

Annual Results and Impact Evaluation Workshop for RBF - Day Four - La science de la prestation: Résultats des évaluations d’impact et leçons du FBR

309 vues

Publié le

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

Publié dans : Santé
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
309
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
3
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Annual Results and Impact Evaluation Workshop for RBF - Day Four - La science de la prestation: Résultats des évaluations d’impact et leçons du FBR

  1. 1. LA SCIENCE DE LA PRESTATION: Apprendre de la mise en œuvre Résultats des évaluations d’impact et leçons du FBR Dinesh Nair, Benjamin Loevinsohn et Ifelayo Ojo
  2. 2. Le pourquoi et le comment des 10 Plus Grandes Leçons • L’examen des opérations de FBR en cours a suggéré des défis récurrents et des leçons utiles • Se focaliser sur les leçons les plus importantes facilitera l’apprentissage des autres équipes • La sélection des 10 plus grandes leçons a été faite par les TTLs et les experts du FBR impliquésdans un portefeuille de 8 programmes de FBR en cours 2
  3. 3. Leçon #1 “Montre-moi l’argent!” - Procédez au paiement à temps • Plus de 70% des projets ont eu des difficultés pour procéder aux paiementsà temps 3
  4. 4. Les visites en consultation externe au Nigeria ont diminué quand les paiements ont été interrompus 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Dec Jan Feb Mar Apr May Jun Jul Aug Sep Oct Nov Dec Jan Feb Mar Apr May Jun Jul Aug Sep Adamawa Nasarawa Ondo Paiements interrompus 4
  5. 5. Leçon 1: “Montre-moi l’argent!” Procédez au paiement à temps Recommandations Suivre le temps nécessaire pour que le paiement parvienne aux formations Etablir des normes explicites pour le délai maximum autorisé (2 ou 3 mois) Fournir des ressources d’avance aux formations sanitaires: (i) gagne leur confiance; (ii) indique que le FBP a commencé; (iii) fournit des fonds d’investissement 5
  6. 6. Leçon #2 “Continuez à faire bouger le pilier de but!” L’Amélioration Continue de la Qualité (ACQ) implique de Changer les Indicateurs de Qualité • Beaucoup de formations font rapidement des améliorations dans la qualité et ensuite plafonnent 6
  7. 7. 0 20 40 60 80 100 Mwaro Muramvya Kirundo Cibitoke Buja-Rural Kayanza Ngozi Makamba Rutana Bubanza Bururi Gitega Karuzi Muyinga Ruyigi Cankuzo Buja-Mairie Scores de qualitépar province Le score de qualité moyen a plafonné après trois trimestres au Burundi 7
  8. 8. Leçon 2: “Continuez à faire bouger le pilier de but!” L’Amélioration Continue de la Qualité (ACQ) implique de Changer les Indicateurs de Qualité Recommandations Les checklists de qualité quantifiées devraient mettre l’accent sur les indicateurs de processus plutôt que de structure Revisez la checklist tous les 1-2 ans pour mettre l’accent sur l’amélioration continue Incluez: 1) observation de l’interaction prestataire- patient; 2) examen des entrées de données (besoin d’entrées de données standards); 3) vignettes; 4) entretiens de sortie, etc. Investissez dans la formation des superviseurs 8
  9. 9. Leçon #3 “Pour être clairvoyant, nous continuons en apprenant” • Le FBR en tant qu’outil permet l’expérimentation, l’apprentissage et la correction en cours de route 9
  10. 10. Qu’a fait le Zimbabwe? Analyse quantitative Analyse qualitative  Concevoir le FBR du côté de la demande et de l’offre (pilote urbain)  Bon maternel urbain ciblé (côté demande)  FBR de paiement à la qualité  A revu la tarification  A amélioré les checklists de qualité 10
  11. 11. Les études de recherche opérationnelle devraient être budgétisées Menez des évaluations de processus et utilisez les résultats pour le dialogue et la prise de décision sur l’implémentation. Participez aux examens du portefeuille de FBR– cherchez de nouvelles idées Leçon 3: “Pour être clairvoyant, continuez en apprenant” 11
  12. 12. Leçon #4 “L’Argent n’est pas la source de tout le mal, Le Manque d’Argent l’est” – Préoccupez-vous de la durabilité financière • Le FBP ne devrait pas être conçu pour se substituer aux déficiencesdu financement national de la santé 12
  13. 13. La durabilité du FBP nécessite des réformes du système de santé plus larges  Le FBP du Burundi est combiné avec les soins de santé gratuits  Le gouvernementpaie presque la moitié – 1,4% du budget alloué  Pool commun pour les partenaires de développement – deux contributions réduites  Déficit cumulatif de près de US$ 8M  Les réformes de la santé du FBP au Rwanda faisaient partie de réformes plus larges  réforme de l’assurance santé communautaire  réforme des ressources humaines 13
  14. 14. Où va l’argent du FBP? 14 PAIEMENTS DU FBP AU BURUNDIAU TRIMESTRE 3, 2013 million de francs Nouvelle consultation en externe 32% Accouchements en institution 23% Autres services du FBR 32% Consultation postnatale 6% Utilisateurs de méthodes de PF modernes 6% Enfants complètement immunisés - 1%
  15. 15. 35% 37% 39% 40% 45% 11% 10% 10% 9% 5% 16% 16% 12% 13% 10% 29% 31% 31% 33% 37% 8% 7% 7% 5% 3% Q2 2012 Q3 2012 Q4 2012 Q1 2013 Q2 2013 Intervention HFs Intervention DMO Hospital Control 1 HFs Control 1 DMO Hôpital Zambie: Consommation agrégée des fonds de FBP de Q2, 2012 – Q2, 2013 Où va l’argent du FBP? 15 FS intervention FS contrôle 1 OMD intervention OMD contrôle 1
  16. 16. Recommandations Suivez les dépenses générales du FBP et comprenez où vont la plupart des fonds du FBP Il est plus facile d’augmenter les tarifs que de les réduire. Ceci suggère de commencer avec des tarifs relativementplus bas et de les augmenter Maintenez que le(s) gouvernement(s) vi(ven)tdans les limites d’une enveloppebudgétaire. Faites attention à l’augmentation des dépenses non liée à une meilleure performance. Leçon 4: “L’Argent n’est pas la source de tout le mal, Le Manque d’Argent l’est” – Préoccupez-vous de la durabilité financière 16
  17. 17. Leçon #5 “Les Mathophobes du monde tous unis!” – Utilisez vos données • Les données sont vitales mais sous-exploitées, malgré beaucoupd’efforts dévoués à la collecte,la vérificationet à la mise en ligne des données de paiement 17
  18. 18. Applications internet avec interface publique montrant les informations sur la performance et les finances 18 Burundi Benin Nigeria
  19. 19. Comment la Zambie utilise ses données • Analyse trimestrielle • Analyse complète par expert o Analyse en différences-de-différences des tendances en utilisant les données SIGS pour comparer entre les 3 bras 19 1ére visite anténatale avant 20 semaines 3eme dose TPI à femme enceinte Soins postnataux dans les 6 jours Présence Planning Familial - Total (Calc) Accouchem ent par personnel qualifié Présence patient externe total (calc) Complétem ent immunisé < 1 an nouveau FBR contre Financement additionnel Coef 0.904 0.815 0.696 12.944 2.220 -9.316 -2.783 p-value 0.045 0.231 0.229 0.002 0.019 0.735 0.024 FBR contre Contrôle Coef 1.174 1.954 1.586 7.850 2.243 -39.929 -2.761 p-value 0.005 0.002 0.011 0.055 0.031 0.158 0.011
  20. 20. Leçon 5: Les Mathophobes du monde tous unis!” – Utilisez vos données Recommandations  Créez des systèmes fiables pour la collecte et la compilation des données  Assurez-vous d’un flux constant de données du FBP avec une charge de reporting minimale pour les agents de santé  Faites de l’analyse des données le travail de quelqu’un  Déployez des logiciels pour faciliterl’analyse des données  Déléguez l’analyse à la foule! (crowd-sourcing)  Essayez de trianguler toutes les sources de données disponibles afin de déterminer les tendances dans l’utilisation et les résultats 20
  21. 21. Leçon #6 “Comprenez vos clients” - Les problèmes du côté de la demande sont peut-être moins compris • Il faut comprendre les causes à la racine du problème que le FBR essaie de résoudre. 21
  22. 22. Même avec de larges améliorations dans l’utilisation depuis que le FBP a été introduit, les niveaux de couverture absolue restent bas au Nigeria Barrières à l’utilisation de service dans deuxLGA nigérians:  Problèmesde transport  Tarifs variables et imprévisibles pour les serviceset les médicaments  Barrières sociales et culturelles Solution proposée: Un programme de Bons pour améliorer la consommation de services  Cycle continu d’apprentissageet de réponse pour aider les ménagesà surmonterles barrières d’utilisation et améliorer les résultatsde santé. 22
  23. 23. Leçon 6: “Comprenez vos clients” - Les problèmes du côté de la demande sont peut-être moins compris Recommandations  Considérez les problèmes de demande si la couverture reste faible malgré le FBP (même si le FBP a fait une grosse différence).  Comprenez les barrières à l’accès – barrières culturelles, sociales et financières avec des enquêtes ménages; groupes de discussions dirigés, entretiens avec informateur clé, etc.  Les options pour répondre aux problèmes de demande incluent: (i) travail de plus près avec les structures communautaires; (ii) Transferts monétaires conditionnels; (iii) bons; (iv) Campagne de Changement des Comportements avec le personnel de la formation ou les ONG 23
  24. 24. Leçon #7 “Ca suffit les tracés plats” - Identifiez les formations et les régions à faible performance. Faites quelque chose pour elles! • Une compréhension détaillée des prédicteurs de succès et d’échec est nécessaire 24
  25. 25. Il y a clairement des formations qui ne progressent pas – càd. celles aux “tracés plats” Non-déterminants • Nombre de personnel • Eloignement • Qualification du responsable • Planification des activités - 20 40 60 80 100 120 140 Déviants positifs • Engagement communautaire • Capacité de gestion du responsable Accouchementinstitutionnel dans les formations de l’Adamawa, normalisé par 100 000 pop. 25
  26. 26. Leçon 7: Ca suffit les “tracés plats” Recommandations Utilisez vos données pour identifier les formations qui ne se sont pas améliorées ou qui n’ont pas une bonne performance Menez des études quantitatives et qualitatives (ex.: Nigeria et Zimbabwe) Considérez le type d’assistance technique nécessaire aux formations à faible performance et ré-examinez ce qui est actuellement disponible. 26
  27. 27. Leçon #8 “Tu peux courir, mais tu ne peux pas te cacher” – Préoccupez-vous des menaces politiques envers le FBP • Même les programmes de FBR à succès font face à des pressions politiques qui menacent leur durabilité 27
  28. 28. Pilote de FBR en Zambie  Unité d’Implémentation du Programme (UIP) du FBR pas généralisée au sein de la structure du Ministère  Changements institutionnels au Ministère de la Santé  Champions clé déplacés 28 Attention aux gagnants et aux perdants
  29. 29. Recommandations L’expertise en économie politique devrait être engagée pour étudier les facteurs importants dans le passage à l’échelle et la durabilité du FBR, afin de trouver ce qui peut être fait différemment. Institutionnaliser les rôles tels que l’achat et la mise en œuvre du projet au sein des structures gouvernementales pourrait aider à améliorer l’adhésion 29 Leçon 8: Préoccupez-vous des menaces politiques envers le FBP
  30. 30. Leçon #9 “Même les plans les mieux prévus peuvent aller de travers” – Analysez le design de votre projet pour vous assurez que les hypothèses demeurent valides • Comprenez les déterminants clé du programme de FBP et leurs liens pour produire des résultats 30
  31. 31. Bénin  La bureaucratie complique les dépenses des incitations du FBP par les formations  Peut réduire la motivation des agents de santé d’être performant  Tickets modérateurs plus faciles à dépenser  Des frais élevés peuvent réduire l’utilisation des soins 31 Des défis liés à l’autonomie des formations sanitaires au Bénin et un FBP emboîté en Afghanistan ont rendu la mise en œuvre différente Afghanistan  Environnement unique d’accord sur la performance avec ONG  Préoccupations sur la sécurité constantes  FBP superposé sur PPA
  32. 32. Recommandations Examinez périodiquementla progression des éléments dans votre théorie du changement, pas seulement ce que vous essayez d’accomplir,mais comment vous y arrivez Des analyses utiles pour tout projet incluent:  Quel est le pourcentage additionnel du FBP à la paie des agents de santé? Sont-ils motivés par ce montant?  Equilibre entre supervision et autonomie au niveau de la formation sanitaire  Ressources disponibles en première ligne pour les formations sanitaires 32 Leçon 9: “Même les plans les mieux prévus peuvent aller de travers” – Analysez le design de votre projet pour vous assurez que les hypothèses demeurent valides
  33. 33. Leçon #10 “Gardez vos études d’impact droit au but” - Evitez les questions d’Evaluation d’Impact qui sont TROP subtiles • Il est très difficile d’évaluer les impacts différentiels quand il n’existe qu’une variation minimale entre groupes expérimentaux 33
  34. 34. 0 600 1200 1800 2400 1* 2 3 4 1 2 2012 2013 Enfants immunisés Control Treatment Les groupes de l’intervention de FBR et de financement additionnel se ressemblent au Bénin  Aucune claire différence n’émerge  Un autre groupe de contrôle avec aucun financement additionnel a été inclus comme contrefactuel 34 0 2000 4000 6000 8000 1* 2 3 4 1 2 2012 2013 Accouchement assisté Control Treatment
  35. 35. Groupes expérimental & de contrôle au Nigéria – essayez dur d’être explicite sur les différences !!!! 35 Eléments clé FBP DFF Financement 2$ max par tête pour performance 1$ max par tête pour opérations Bonus au personnel Oui Non Comité FS Oui Non Autonomie FS Oui Oui Plan d’activités et autres outils FBP Oui Non Usage du SIGS Oui Oui Facture trimestrielle Oui Non Vérificationmensuelle Oui Non Vérificationtrimestrielle Oui Oui Vérificationpar tiers Oui Non Assistance technique FBR Oui Non
  36. 36. Recommandations Evaluez à l’avance si les variations expérimentales vont probablement faire une différence dans les résultats Travaillez avec l’équipe d’EI dès le début Assurez-vous que les homologues comprennent parfaitement les questions de recherche, et sont convaincus de leur utilité. 36 Leçon 10: “Gardez vos études d’impact droit au but” Evitez les questions d’Evaluation d’Impact qui sont TROP subtiles
  37. 37. Un bateau au port est en sécurité– mais ça n’est pas pour ça qu’on construit des bateaux.-John A Shedd (1928) Mettez en oeuvre, apprenez et partagez vos leçons!

×