A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

1. LA SCIENCE DE
LA PRESTATION:
Apprendre de la mise en œuvre
Résultats des évaluations
d’impact et leçons du FBR
Dinesh Nair, Benjamin Loevinsohn et Ifelayo Ojo

2. Le pourquoi et le comment
des 10 Plus Grandes Leçons
• L’examen des opérations de FBR en cours a
suggéré des défis récurrents et des leçons utiles
• Se focaliser sur les leçons les plus importantes
facilitera l’apprentissage des autres équipes
• La sélection des 10 plus grandes leçons a été
faite par les TTLs et les experts du FBR
impliquésdans un portefeuille de 8
programmes de FBR en cours
2

3. Leçon #1
“Montre-moi l’argent!”
- Procédez au paiement à temps
• Plus de 70% des projets ont eu des difficultés
pour procéder aux paiementsà temps
3

4. Les visites en consultation externe au
Nigeria ont diminué quand les paiements
ont été interrompus
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
Dec
Jan
Feb
Mar
Apr
May
Jun
Jul
Aug
Sep
Oct
Nov
Dec
Jan
Feb
Mar
Apr
May
Jun
Jul
Aug
Sep
Adamawa
Nasarawa
Ondo
Paiements
interrompus
4

5. Leçon 1: “Montre-moi l’argent!”
Procédez au paiement à temps
Recommandations
Suivre le temps nécessaire pour que le paiement
parvienne aux formations
Etablir des normes explicites pour le délai
maximum autorisé (2 ou 3 mois)
Fournir des ressources d’avance aux formations
sanitaires: (i) gagne leur confiance; (ii) indique que
le FBP a commencé; (iii) fournit des fonds
d’investissement
5

6. Leçon #2
“Continuez à faire bouger le
pilier de but!”
L’Amélioration Continue de la
Qualité (ACQ) implique de
Changer les Indicateurs de
Qualité
• Beaucoup de formations font rapidement des
améliorations dans la qualité et ensuite
plafonnent
6

7. 0
20
40
60
80
100
Mwaro
Muramvya
Kirundo
Cibitoke
Buja-Rural
Kayanza
Ngozi
Makamba
Rutana
Bubanza
Bururi
Gitega
Karuzi
Muyinga
Ruyigi
Cankuzo
Buja-Mairie
Scores de qualitépar province
Le score de qualité moyen a plafonné après
trois trimestres au Burundi
7

8. Leçon 2: “Continuez à faire bouger le pilier de but!”
L’Amélioration Continue de la Qualité (ACQ)
implique de Changer les Indicateurs de Qualité
Recommandations
Les checklists de qualité quantifiées devraient mettre
l’accent sur les indicateurs de processus plutôt que de
structure
Revisez la checklist tous les 1-2 ans pour mettre
l’accent sur l’amélioration continue
Incluez: 1) observation de l’interaction prestataire-
patient; 2) examen des entrées de données (besoin
d’entrées de données standards); 3) vignettes; 4)
entretiens de sortie, etc.
Investissez dans la formation des superviseurs
8

9. Leçon #3
“Pour être clairvoyant, nous
continuons en apprenant”
• Le FBR en tant qu’outil permet
l’expérimentation, l’apprentissage et la
correction en cours de route
9

10. Qu’a fait le Zimbabwe?
Analyse quantitative
Analyse qualitative
 Concevoir le FBR du côté de la demande et de
l’offre (pilote urbain)
 Bon maternel urbain ciblé (côté demande)
 FBR de paiement à la qualité
 A revu la tarification
 A amélioré les checklists de qualité
10

11. Les études de recherche opérationnelle devraient
être budgétisées
Menez des évaluations de processus et utilisez les
résultats pour le dialogue et la prise de décision
sur l’implémentation.
Participez aux examens du portefeuille de FBR–
cherchez de nouvelles idées
Leçon 3: “Pour être clairvoyant,
continuez en apprenant”
11

12. Leçon #4
“L’Argent n’est pas la source de
tout le mal, Le Manque d’Argent
l’est”
– Préoccupez-vous de la
durabilité financière
• Le FBP ne devrait pas être conçu pour se
substituer aux déficiencesdu financement
national de la santé
12

13. La durabilité du FBP nécessite des
réformes du système de santé plus larges
 Le FBP du Burundi est
combiné avec les soins
de santé gratuits
 Le gouvernementpaie presque
la moitié – 1,4% du budget
alloué
 Pool commun pour les
partenaires de développement
– deux contributions réduites
 Déficit cumulatif de près
de US$ 8M
 Les réformes de la
santé du FBP au
Rwanda faisaient
partie de réformes
plus larges
 réforme de l’assurance
santé communautaire
 réforme des ressources
humaines
13

14. Où va l’argent du FBP?
14
PAIEMENTS DU FBP AU BURUNDIAU TRIMESTRE 3, 2013 million de francs
Nouvelle
consultation
en externe
32%
Accouchements en
institution 23%
Autres
services du
FBR 32%
Consultation postnatale
6%
Utilisateurs de méthodes
de PF modernes 6%
Enfants complètement
immunisés - 1%

15. 35%
37%
39%
40%
45%
11%
10%
10%
9%
5%
16%
16%
12%
13%
10%
29%
31%
31%
33%
37%
8%
7%
7%
5%
3%
Q2 2012
Q3 2012
Q4 2012
Q1 2013
Q2 2013
Intervention HFs Intervention DMO Hospital
Control 1 HFs Control 1 DMO
Hôpital
Zambie: Consommation agrégée des fonds de FBP de Q2, 2012 – Q2, 2013
Où va l’argent du FBP?
15
FS intervention
FS contrôle 1
OMD intervention
OMD contrôle 1

16. Recommandations
Suivez les dépenses générales du FBP et comprenez
où vont la plupart des fonds du FBP
Il est plus facile d’augmenter les tarifs que de les
réduire. Ceci suggère de commencer avec des tarifs
relativementplus bas et de les augmenter
Maintenez que le(s) gouvernement(s) vi(ven)tdans les
limites d’une enveloppebudgétaire.
Faites attention à l’augmentation des dépenses non
liée à une meilleure performance.
Leçon 4: “L’Argent n’est pas la source de tout
le mal, Le Manque d’Argent l’est”
– Préoccupez-vous de la durabilité financière
16

17. Leçon #5
“Les Mathophobes du monde
tous unis!”
– Utilisez vos données
• Les données sont vitales mais sous-exploitées,
malgré beaucoupd’efforts dévoués à la
collecte,la vérificationet à la mise en ligne des
données de paiement
17

18. Applications internet avec interface
publique montrant les informations sur la
performance et les finances
18
Burundi
Benin
Nigeria

19. Comment la Zambie utilise ses données
• Analyse trimestrielle
• Analyse complète par expert
o Analyse en différences-de-différences des tendances en
utilisant les données SIGS pour comparer entre les 3 bras
19
1ére visite
anténatale
avant 20
semaines
3eme dose
TPI à
femme
enceinte
Soins
postnataux
dans les 6
jours
Présence
Planning
Familial -
Total (Calc)
Accouchem
ent par
personnel
qualifié
Présence
patient
externe
total (calc)
Complétem
ent
immunisé <
1 an
nouveau
FBR contre Financement additionnel
Coef 0.904 0.815 0.696 12.944 2.220 -9.316 -2.783
p-value 0.045 0.231 0.229 0.002 0.019 0.735 0.024
FBR contre Contrôle
Coef 1.174 1.954 1.586 7.850 2.243 -39.929 -2.761
p-value 0.005 0.002 0.011 0.055 0.031 0.158 0.011

20. Leçon 5: Les Mathophobes du monde
tous unis!” – Utilisez vos données
Recommandations
 Créez des systèmes fiables pour la collecte et la compilation
des données
 Assurez-vous d’un flux constant de données du FBP avec une
charge de reporting minimale pour les agents de santé
 Faites de l’analyse des données le travail de quelqu’un
 Déployez des logiciels pour faciliterl’analyse des données
 Déléguez l’analyse à la foule! (crowd-sourcing)
 Essayez de trianguler toutes les sources de données
disponibles afin de déterminer les tendances dans l’utilisation
et les résultats
20

21. Leçon #6
“Comprenez vos clients”
- Les problèmes du côté de la
demande sont peut-être moins
compris
• Il faut comprendre les causes à la racine du
problème que le FBR essaie de résoudre.
21

22. Même avec de larges améliorations dans l’utilisation
depuis que le FBP a été introduit, les niveaux de
couverture absolue restent bas au Nigeria
Barrières à l’utilisation de service dans deuxLGA nigérians:
 Problèmesde transport
 Tarifs variables et imprévisibles pour les serviceset les
médicaments
 Barrières sociales et culturelles
Solution proposée: Un programme de Bons pour améliorer la
consommation de services
 Cycle continu d’apprentissageet de réponse pour aider les
ménagesà surmonterles barrières d’utilisation et améliorer les
résultatsde santé.
22

23. Leçon 6: “Comprenez vos clients”
- Les problèmes du côté de la demande
sont peut-être moins compris
Recommandations
 Considérez les problèmes de demande si la couverture reste
faible malgré le FBP (même si le FBP a fait une grosse
différence).
 Comprenez les barrières à l’accès – barrières culturelles,
sociales et financières avec des enquêtes ménages; groupes
de discussions dirigés, entretiens avec informateur clé, etc.
 Les options pour répondre aux problèmes de demande
incluent: (i) travail de plus près avec les structures
communautaires; (ii) Transferts monétaires conditionnels; (iii)
bons; (iv) Campagne de Changement des Comportements avec
le personnel de la formation ou les ONG
23

24. Leçon #7
“Ca suffit les tracés plats”
- Identifiez les formations et les
régions à faible performance.
Faites quelque chose pour
elles!
• Une compréhension détaillée des prédicteurs
de succès et d’échec est nécessaire
24

25. Il y a clairement des formations qui ne
progressent pas – càd. celles aux “tracés plats”
Non-déterminants
• Nombre de personnel
• Eloignement
• Qualification du
responsable
• Planification des
activités
-
20
40
60
80
100
120
140 Déviants positifs
• Engagement
communautaire
• Capacité de
gestion du
responsable
Accouchementinstitutionnel dans les formations
de l’Adamawa, normalisé par 100 000 pop.
25

26. Leçon 7: Ca suffit les “tracés plats”
Recommandations
Utilisez vos données pour identifier les formations
qui ne se sont pas améliorées ou qui n’ont pas une
bonne performance
Menez des études quantitatives et qualitatives (ex.:
Nigeria et Zimbabwe)
Considérez le type d’assistance technique
nécessaire aux formations à faible performance et
ré-examinez ce qui est actuellement disponible.
26

27. Leçon #8
“Tu peux courir, mais tu ne peux pas
te cacher”
– Préoccupez-vous des menaces
politiques envers le FBP
• Même les programmes de FBR à succès font face à
des pressions politiques qui menacent leur durabilité
27

28. Pilote de FBR en Zambie
 Unité d’Implémentation du Programme (UIP) du
FBR pas généralisée au sein de la structure du
Ministère
 Changements institutionnels au Ministère de la
Santé
 Champions clé déplacés
28
Attention aux gagnants et aux perdants

29. Recommandations
L’expertise en économie politique devrait être
engagée pour étudier les facteurs importants dans
le passage à l’échelle et la durabilité du FBR, afin
de trouver ce qui peut être fait différemment.
Institutionnaliser les rôles tels que l’achat et la
mise en œuvre du projet au sein des structures
gouvernementales pourrait aider à améliorer
l’adhésion
29
Leçon 8: Préoccupez-vous des menaces
politiques envers le FBP

30. Leçon #9
“Même les plans les mieux prévus
peuvent aller de travers”
– Analysez le design de votre projet
pour vous assurez que les
hypothèses demeurent valides
• Comprenez les déterminants clé du programme de FBP et
leurs liens pour produire des résultats
30

31. Bénin
 La bureaucratie complique
les dépenses des
incitations du FBP par les
formations
 Peut réduire la motivation
des agents de santé d’être
performant
 Tickets modérateurs plus
faciles à dépenser
 Des frais élevés peuvent
réduire l’utilisation des soins
31
Des défis liés à l’autonomie des formations
sanitaires au Bénin et un FBP emboîté en
Afghanistan ont rendu la mise en œuvre différente
Afghanistan
 Environnement unique
d’accord sur la
performance avec ONG
 Préoccupations sur la
sécurité constantes
 FBP superposé sur PPA

32. Recommandations
Examinez périodiquementla progression des éléments
dans votre théorie du changement, pas seulement ce
que vous essayez d’accomplir,mais comment vous y
arrivez
Des analyses utiles pour tout projet incluent:
 Quel est le pourcentage additionnel du FBP à la paie des
agents de santé? Sont-ils motivés par ce montant?
 Equilibre entre supervision et autonomie au niveau de la
formation sanitaire
 Ressources disponibles en première ligne pour les
formations sanitaires
32
Leçon 9: “Même les plans les mieux prévus
peuvent aller de travers” – Analysez le design de
votre projet pour vous assurez que les
hypothèses demeurent valides

33. Leçon #10
“Gardez vos études d’impact droit
au but”
- Evitez les questions d’Evaluation
d’Impact qui sont TROP subtiles
• Il est très difficile d’évaluer les impacts
différentiels quand il n’existe qu’une variation
minimale entre groupes expérimentaux
33

34. 0
600
1200
1800
2400
1* 2 3 4 1 2
2012 2013
Enfants immunisés
Control
Treatment
Les groupes de l’intervention de FBR et
de financement additionnel se
ressemblent au Bénin
 Aucune claire
différence n’émerge
 Un autre groupe de
contrôle avec aucun
financement
additionnel a été inclus
comme contrefactuel
34
0
2000
4000
6000
8000
1* 2 3 4 1 2
2012 2013
Accouchement assisté
Control
Treatment

35. Groupes expérimental & de contrôle au
Nigéria – essayez dur d’être explicite sur
les différences !!!!
35
Eléments clé FBP DFF
Financement 2$ max par tête pour
performance
1$ max par tête pour
opérations
Bonus au personnel Oui Non
Comité FS Oui Non
Autonomie FS Oui Oui
Plan d’activités et autres outils FBP Oui Non
Usage du SIGS Oui Oui
Facture trimestrielle Oui Non
Vérificationmensuelle Oui Non
Vérificationtrimestrielle Oui Oui
Vérificationpar tiers Oui Non
Assistance technique FBR Oui Non

36. Recommandations
Evaluez à l’avance si les variations expérimentales
vont probablement faire une différence dans les
résultats
Travaillez avec l’équipe d’EI dès le début
Assurez-vous que les homologues comprennent
parfaitement les questions de recherche, et sont
convaincus de leur utilité.
36
Leçon 10: “Gardez vos études d’impact droit au but”
Evitez les questions d’Evaluation d’Impact qui sont
TROP subtiles

37. Un bateau au port est en
sécurité– mais ça n’est pas
pour ça qu’on construit des
bateaux.-John A Shedd (1928)
Mettez en oeuvre, apprenez et
partagez vos leçons!