Evaluation d’impact du FBP dans le
district du Haut-Katanga en RDC
Résultats, leçons et recommandations pour les
futurs pr...
Design du projet du PARSS
•  Objectif de développement du projet (ODP): sʼassurer que la population
cible dans les zones d...
District du Haut-Katanga
Questions de recherche de l’évaluation
d’impact
• Paiement fixe: "
– Basé sur le personnel (nombre dʼagents de santé
sur le...
Questions de recherche (2)
Les paiements à la performance:"
• Incitent-ils les agents de santé à accroître leur
efforts pl...
Stratégie empirique
• Nous souhaitons comparer les résultats des formations sanitaires qui
sont sous le régime de paiement...
Diagramme de flux de l’étude
Enquête	
  
de	
  base	
  	
  
Données	
  
administra3ves	
  	
  
Entre3ens	
  
qualita3fs	
  ...
Design contre
mise en œuvre
Design du pilote contre mise en œuvre
Design	
  prévu	
   Design	
  de	
  fait	
  
Groupe	
  Incita5ons	
  
financières	
  ...
Design du pilote contre mise en œuvre (2)
Design	
  prévu	
   Design	
  de	
  fait	
  
Groupe	
  Incita5ons	
  
financières...
Design du pilote contre mise en œuvre (3)
Design	
  prévu	
   Design	
  de	
  fait	
  
Groupe	
  Incita5ons	
  
financières...
Résultats de
l’évaluation
d’impact
Résultats: Impact sur l’effort du personnel et
l’offre de services
• Les formations sanitaires dans le groupe FBP ont four...
Résultats: Impact sur l’utilisation des services
Lʼutilisation des services sʼest révélée similaire quel que soit le
mécan...
Résultats: Impact sur les ressources des
formations sanitaires
• Le revenu total sʼest révélé 42% plus faible dans le
grou...
Résultats: Impact sur la motivation du
personnel
• La motivation du personnel a augmenté sous le régime de
FBP"
• Mais qua...
Liens potentiels
entre le design
du FBR et les
résultats
Effets potentiels des caractéristiques du design
Design et mise en
œuvre conseillée"
Pilote du Haut-Katanga, RDC" Effets p...
Effets potentiels des caractéristiques du
design (2)
Design et mise en œuvre
conseillée"
Pilote du Haut-Katanga, RDC"
Effe...
Recommandations pour un design du FBP
amélioré
1.  Augmenter les budgets pour les résultats pour des
opérations dans des c...
Merci"
Prochain SlideShare
Chargement dans…5
×

Annual Results and Impact Evaluation Workshop for RBF - Day Six - Evaluation d’impact du FBP dans le district du Haut-Katanga en RDC

393 vues

Publié le

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

Publié dans : Santé
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
393
Sur SlideShare
0
Issues des intégrations
0
Intégrations
6
Actions
Partages
0
Téléchargements
2
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Annual Results and Impact Evaluation Workshop for RBF - Day Six - Evaluation d’impact du FBP dans le district du Haut-Katanga en RDC

  1. 1. Evaluation d’impact du FBP dans le district du Haut-Katanga en RDC Résultats, leçons et recommandations pour les futurs programmes
  2. 2. Design du projet du PARSS •  Objectif de développement du projet (ODP): sʼassurer que la population cible dans les zones de santé du projet a accès à un paquet bien défini de services de santé essentiels de qualité et en fait usage" •  Population cible: 10 millions dʼindividus dans 5 provinces" •  Horizon temporel: 2007-2014" •  Paquet dʼintervention exhaustif:" –  Construction et réhabilitation de formations" –  Fourniture dʼéquipements et de médicaments" –  Formation des agents de santé et du district" –  Supervision renforcée" –  Renforcement du système dʼinformation et de gestion sanitaire (SIGS)" –  Politique de réduction du ticket modérateur" •  Lʼintervention est devenue opérationnelle en avril 2007" –  Bonus liés à la performance introduits en juin 2010" •  BUDGET PARSS TOTAL: $335 millions" –  Pilote de FBP en Haut-Katanga: $1.2 million"
  3. 3. District du Haut-Katanga
  4. 4. Questions de recherche de l’évaluation d’impact • Paiement fixe: " – Basé sur le personnel (nombre dʼagents de santé sur les registres du personnel du gouvernement)" – Pas dʼautonomie dans lʼallocation des paiements" • Paiement basé sur la performance: " – Basé sur la quantité de patients pour une liste donnée de services de santé" – Autonomie dans lʼallocation du paiement" – Vérification de la performance"
  5. 5. Questions de recherche (2) Les paiements à la performance:" • Incitent-ils les agents de santé à accroître leur efforts plus que ne le fait un paiement fixe? " – Plus dʼoffre de services de santé?" – Plus de présence du personnel?" – Des services de santé plus intéressants (prix, qualité)?" • Augmentent-ils lʼutilisation des services de santé? " • Ecartent-ils les services non ciblés? "
  6. 6. Stratégie empirique • Nous souhaitons comparer les résultats des formations sanitaires qui sont sous le régime de paiements à la performance à ce quʼils seraient advenus si les formations étaient sous un régime de paiement fixe. " • 96 zones de santé dans le Haut-Katanga ont été assignées à deux groupes: " – Paiements basés sur la performance (groupe FBP, 48 zones de santé)" – Paiements fixes (groupe de comparaison, 48 zones de santé)" – Assignation aléatoire => deux groupes identiques pour commencer " • Le groupe de comparaison fournit un bon contrefactuel: ce quʼil serait advenu du groupe FBP si les paiements avaient été fixes, plutôt que basés sur les performances"
  7. 7. Diagramme de flux de l’étude Enquête   de  base     Données   administra3ves     Entre3ens   qualita3fs   Inspec3on   surprise  de   la  présence   Enquête   finale   Paiements   Vérifica3ons  communautaires  
  8. 8. Design contre mise en œuvre
  9. 9. Design du pilote contre mise en œuvre Design  prévu   Design  de  fait   Groupe  Incita5ons   financières   Groupe  de   comparaison   Groupe  Incita5ons   financières   Groupe  de   comparaison   Volume  du   Paiement   Pareil   Pas  de  différence  dans  le  volume  des  paiements   au  total  –  bien  que  paiements  plus  élevés  dans  le   groupe  de  comparaison  pendant  les  six  premiers   mois,  neutralité  du  budget  respectée  pour  le   reste  du  pilote   Mécanisme   de   Paiement   Paiement  basé  sur  la   quan3té  de  services   de  santé  fournis  par  la   forma3on   =     Mécanisme  de   Paiement  à  l’acte   Paiement  basé  sur  la   taille  de  la  forma3on   (le  nombre  d’agents  de   santé  sur  le  registre  de   paiements   gouvernemental)   Paiement  basé  sur  la   quan3té  de  services  de   santé  fournis  par  la   forma3on   avec  un  budget  total   fixe     =     Système  de  Points   Comme  prévu   Vérifica5on   technique   Une  visite  chaque  mois  par  les  superviseurs   IRC/PARSS  et  l’administra3on  de  la  zone  de   santé  –  pour  vérifica3on  de  la  concordance   entre  les  registres  de  la  forma3on  et  les   données  déclaréees   Comme  prévu  (pas  de  visite  quand  il  n’y  avait   pas  de  paiement)  
  10. 10. Design du pilote contre mise en œuvre (2) Design  prévu   Design  de  fait   Groupe  Incita5ons   financières   Groupe  de   comparaison   Groupe  Incita5ons   financières   Groupe  de   comparaison   Vérifica5on   communau-­‐ taire   Une  vérifica3on  par   mois  de  30  pa3ents   par  zone  de  santé   dans  un  sous-­‐ échan3llon  de  zones   de  santé  –  pour   vérifier  la  véracité  des   registres  et  détecter   les  pa3ents  fantômes.   Sanc3ons  au  cas  par   cas.     Pas  de  vérifica3on   prévue     Bien  que  28   vérifica3ons  étaient   an3cipées,  seules  6   furent  menées.  Pas  de   sanc3on  excepté   l’ajustement  du   paiement   propor3onnel  aux   divergences.     2  vérifica3ons   communautaires  dans   un  objec3f  de   comparaison  (pas  de   conséquence  sur  les   paiements)   Autonomie   Le  manager  de  la   forma3on  pouvait   décider  de  l’alloca3on   du  paiement  dans  la   forma3on   Le  manager  de  la   forma3on  suivait  le   registre  de  paiements   gouvernemental  qui   indique  qui  doit   recevoir  quoi   Comme  prévu  
  11. 11. Design du pilote contre mise en œuvre (3) Design  prévu   Design  de  fait   Groupe  Incita5ons   financières   Groupe  de  comparaison   Groupe  Incita5ons   financières   Groupe  de  comparaison   Sou5en   d’inves5ssem ent  en   équipement     Certains  équipements  fournis  par  le  PARSS   Comme  prévu   Médicaments   Médicaments  pour  le  stock  de  la  pharmacie  fournis   par  le  PARSS   Comme  prévu   Forma5on   Forma3on  clinique  des  agents  de  santé  (par  IRC)   Comme  prévu   Ticket   modérateur   Toutes  les  forma3ons  sanitaires  du  pilote  engagées   à  réduire  la  réduc3on  du  3cket  modérateur   Plus  grande  réduc3on  du  3cket  modérateur  dans  le   groupe  Incita3ons  financières  que  dans  le  groupe  de   comparaison,  malgré  des  varia3ons  substan3elles   dans  le  niveau  de  réduc3on  entre  forma3ons   sanitaires   Enquête  de   base   Oui   Du  fait  de  délais  dans  le  lancement  du  projet  et  de   changements  des  forma3ons  sanitaires  inclues  dans   le  pilote,  l’échan3llon  de  l’enquête  de  base  n’était   pas  exactement  le  même  que  l’échan3llon  du  pilote.   L’enquête  de  base  a  été  u3lisée  pour  contrôler   l’équilibre,  mais  pas  pour  es3mer  l’impact   Enquête   finale   Oui   Comme  prévu  
  12. 12. Résultats de l’évaluation d’impact
  13. 13. Résultats: Impact sur l’effort du personnel et l’offre de services • Les formations sanitaires dans le groupe FBP ont fourni plus des services ciblés que les formations dans le groupe payé sur une base fixe:" – La présence du personnel sʼest révélée 14% supérieure" – Le nombre de sessions de prévention pour les services ciblés dans la formation sʼest révélé 43% supérieur" – Le nombre dʼactivités de sensibilisation liées aux services ciblés dans la communauté sʼest révélé de 30% à 50% supérieur" • Les formations ont aussi essayé de rendre les services ciblés plus intéressants" – de 20% à 60% de réduction du ticket modérateur pour les services ciblés et les médicaments" • Les services non ciblés nʼont pas été écartés: " – Pas de réduction dans lʼoffre de services non ciblés" – Pas de réduction dans la qualité des services (mais pas dʼaugmentation non plus)"
  14. 14. Résultats: Impact sur l’utilisation des services Lʼutilisation des services sʼest révélée similaire quel que soit le mécanisme de paiement" • Même nombre de patients lors du dernier mois (800 par formation sanitaire) " • Même utilisation des services lors des 12 derniers mois:" – Accouchement en institution (82%)" – Enfants immunisés contre la TB (60%)" – Visites prénatales par femme enceinte (3,4)" • Même résultats de santé lors des 12 derniers mois: " – Nouveau-né toujours vivant = 98% contre 99%" – Nombre de décès par ménage = 0.14" – Ratio poids-pour-taille des moins de cinq ans "
  15. 15. Résultats: Impact sur les ressources des formations sanitaires • Le revenu total sʼest révélé 42% plus faible dans le groupe de FBP lors du dernier mois" – Revenus du ticket modérateur plus faibles" – Revenus de la vente de médicaments plus faibles" • 28% de salaire en moins pour les agents de santé du groupe de FBP " • Indices dʼéquipement plus faibles (à la fois en matière de quantité et de qualité) (écart type -0.6)"
  16. 16. Résultats: Impact sur la motivation du personnel • La motivation du personnel a augmenté sous le régime de FBP" • Mais quatre mois après la fin du pilote:" – La présence du personnel sʼest révélée plus faible dans lʼancien groupe de FBP comparée à celle de lʼancien groupe de comparaison (-25%)" – La satisfaction vis-à-vis de lʼemploi était plus faible (-14%)" – Les directeurs de formation sanitaire étaient plus inquiets vis-à-vis de la volatilité du financement (+72%)" – Les agents de santé se sont révélés plus enclins à attacher de lʼimportance dans la rémunération de leur emploi (+34%)"
  17. 17. Liens potentiels entre le design du FBR et les résultats
  18. 18. Effets potentiels des caractéristiques du design Design et mise en œuvre conseillée" Pilote du Haut-Katanga, RDC" Effets potentiels dʼun design et dʼune mise en œuvre faibles" Paquet  de  bénéfices   équilibré  à  tous  les   niveaux   Seul  un  niveau  couvert  et  qui  plus  est   couvert  de  manière  incomplète   (seulement  7  services).  Trois  services   addi3onnels  au  centre  de  santé  de   référence.     Poten3el  pour  les  prestataires  de  se   focaliser  sur  certains  services  au  détriment   des  autres;  moins  de  lien  et  de  référence   entre  centre  de  santé  et  le  niveau   hospitalier   Vérifica5on  des   résultats  rigoureuse   Vérifica3on  ex-­‐ante  très  limitée;  au   lieu  de  28*  (une  par  mois);  seulement   6*.  Les  sanc3ons  pour  les  divergences   étaient  légères.  Pas  de  contre-­‐ vérifica3on.     Opportunités  pour  l’accroîssement  des   pa3ents  fantômes;  des  mécanismes  de   vérifica3on  incomplets  ou  faibles  peuvent   entraîner  un  manque  de  confiance  dans  les   résultats   Usage  de  la   vérifica5on   communautaire  et   d’enquêtes  de   sa5sfac5on  clients   Enquêtes  de  sa3sfac3on  auprès  de  la   communauté/des  clients  très  limitées;   résultats  peu  clairs  et  inconnus   Manque  de  confiance  dans  les  résultats;   augmenta3on  des  pa3ents  fantômes;  pas   de  retour  sur  la  percep3on  des  clients  sur   les  services  rendus   Usage  d’une  checklist   de  qualité  quan5fiée   dont  les  résultats  sont   liés  aux  paiements   Pas  d’usage  d’une  checklist  de  qualité   quan3fiée;  pas  de  mesure  de  la  qualité   liée  au  paiement   Pourrait  poten3ellement  entraîner  une   augmenta3on  de  la  quan3té  combinée  à   une  augmenta3on  plus  faible  de  la  qualité,   pas  d’augmenta3on  de  la  qualité,  ou  même   une  réduc3on  de  la  qualité  
  19. 19. Effets potentiels des caractéristiques du design (2) Design et mise en œuvre conseillée" Pilote du Haut-Katanga, RDC" Effets potentiels dʼun design et dʼune mise en œuvre faibles" Usage  d’un  mécanisme   de  paiement  à  l’acte   pour  le  paiement  des   prestataires   Pas  un  vrai  paiement  à  l’acte;  plutôt   une  pondéra3on  pour  la  valeur   rela3ve,  et  ensuite  une  répar33on   du  budget  disponible  sur  la  base  de   la  valeur  obtenue.     Récompense  pour  l’effort  pas  clair,   accroître  la  produc3vité  pourrait   conduire  à  une  déprécia3on  de  la   valeur  de  chaque  service  fourni.   Peut  être  interprété  par  les   prestataires  comme  être  pénalisé   pour  une  performance  élevée   Tarifs  individuels  et  gains   totaux  qui  sont   significa5fs  et  payés   régulièrement   Paiements  irréguliers;  les  gains   totaux  sont  restés  les  mêmes   pendant  l’interven3on  à  $550  par   mois  par  forma3on  sanitaire  en   moyenne   De  pe3ts  paiements  de  bonus   peuvent  se  révéler  insuffisants  pour   remédier  aux  mécanismes   d’adapta3on  du  personnel;  pour   acheter  des  médicaments,  de   l’équipement  et  faire  des  répara3ons   mineures.  Des  récompenses  plus   faibles  donnent  moins  d’opportunité   d’inves3r  dans  l’améliora3on  de  la   quan3té  et  la  qualité  des  services  
  20. 20. Recommandations pour un design du FBP amélioré 1.  Augmenter les budgets pour les résultats pour des opérations dans des contextes similaires à environ $3 par tête par an;" 2.  Utiliser un mécanisme de paiement des prestataires de paiement à lʼacte; " 3.  Introduire la checklist de qualité au niveau de la formation sanitaire et de lʼhôpital et rendre les paiements à la performance dépendants de la qualité;" 4.  Introduire des outils de gestion de la formation sanitaire (plan dʼactivité, outils dʼindice, évaluations de la performance individuelle);" 5.  Renforcer la vérification communautaire et la contre-vérification;" 6.  Renforcer la vérification ex-ante et le coaching;"
  21. 21. Merci"

×