De la note Conceptuelle aux
réalités sur le terrain?
Défis et leçons tirées de la mise
en œuvre des évaluations
d'impact d...
Étapes de l'évaluation de l'impact
Note
Concept
uelle
Finaliser
conception
du
programme
et EI
Enquête
de base
Mise en
œuvr...
Impact de la crise sur la Mise en
Œuvre de l’évaluation d’impact
en Centrafrique:
Phase: Enquête de base
Gervais Yama
Projet pilote de FBR prévu en
République Centrafricaine
• FBR dans les FOSAs publics, confessionnelles et ONG de 9 préfect...
Questions de recherche
de l’EI
• L'évaluation d'impact portera
essentiellement sur les questions de
recherche suivantes:
o...
Groupes d’intervention de
l’EI
T1: Paquet PBF complet C1: Paquet PBF complet mais
avec des niveaux de paiement
PBF à 50% d...
Mise en œuvre de l’EI
7
• L’enquête de base de l’évaluation d’impact est mise en œuvre
en deux tranches:
(i) L’Enquête aup...
Impact de crise sur la
mise en œuvre
8
• Trois événements sont à l’origine de modification
des indicateurs de l’enquête de...
Les données collectées sont-elles
encore valide pour l’analyse d’impact?
9
Au niveau des FOSA
• la fuite du personnel vers...
10
Au niveau de ménage
• La crise détérioration les conditions de vie des ménages :
problème d’axe aux nourritures, leur g...
Comment le PBF se comportera vis-à-
vis de la Crise?
11
• Avec l’état actuel des choses, comment le PBF vas se
comporter v...
Thank you for your kind attention
12
De la note conceptuelle à la réalité sur
le terrain : difficultés à surmonter et
leçons à tirer de l'exécution des
évaluat...
ZONE
D'INTERVENTI
ON
CAMEROUN CAMEROUN
Grandes étapes de l'évaluation d’impact
• Lancement public du projet
• Répartition aléatoirepubliquedes établissements san...
T1
FBP complet assorti
de primes liées aux
résultats pour le
personnel médical
C1
FBP doté de subventions
sans rapport ave...
Principaux enseignements
• Groupe d'interventionet groupe témoin différents
o Paiement de subventions (T1 ou C1)
o Autonom...
Grands défis à relever
• Autonomie de gestion vis-à-vis des groupes T1 et C1
• Détermination du nombre d’habitants desserv...
De l’élaboration à la mise en
oeuvre de l’intervention
“autonomie de gestion” au Bénin
Phase: Préparation et mise en oeuvr...
Contexte au Bénin avant
le pilote FBR
• Avant la mise en œuvre du FBR (Mars 2012):
o Autonomie limitée des FS pour dépense...
Design de l’Evaluation
d’Impact au Benin
• Une combinaison de deux interventionsest testée:
o FBR “financements conditionn...
Mise en œuvre de cette
intervention
• Avec le FBR:
o Un groupe de FS a une autonomie de gestion accrue: transmission pour
...
Pas de différence réelle entre les
deux groupes (centres de santé)
0
100
200
300
400
500
600
700
800
Nombre de CPN4
RBF+ma...
Explications
• 1. L’autonomie de gestion dans les centres de
santé contrôle et traitement demeure très limitée,
la différe...
Conclusion
• Il est difficile de mettre en œuvre une intervention telle que
« l’autonomie de gestion », même à un niveau l...
Étude de cas : Karnataka, Inde
Phase: Analyse et dissemination
Neeraj Sood
L'intervention :
Programme Vajpayee Aarogyashri (VAS)
• Les ménages pauvres sont automatiquement inscrits au VAS
o Ils bén...
Stratégie empirique applicable aux
données de l’enquête de Base
0 80 16040 Kilometers
VAS
Non-VAS
Bellary
HaveriUttara
Kan...
Le Régime VAS a réduit la mortalité
pour les conditions prises en charge
Pauvres Riches
Tauxdemortalité
Débat
• Question liées à l’exécution
o Calendrier
o Rétention
o Suivi
• Innovation
o Énumération de données
o Utilisations...
Perspectives des responsables
sur l'évaluation d'impact
• Principales difficultés inhérentes à la réalisation
d‘une évalua...
Étapes de l'évaluation de
l'impact
Note
Concep
tuelle
Finaliser
conception
du
programme
et EI
Enquêt
e de
base
Mise en
œuv...
Discussion
• Quels sont les principaux leçons tirés de ces études de
cas?
Prochain SlideShare
Chargement dans…5
×

Annual Results and Impact Evaluation Workshop for RBF - Day Two - De la note Conceptuelle aux réalités sur le terrain? Défis et leçons tirées de la mise en oeuvre des évaluations d'impact de RBF

272 vues

Publié le

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French version.

Publié dans : Santé
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
272
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
3
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Annual Results and Impact Evaluation Workshop for RBF - Day Two - De la note Conceptuelle aux réalités sur le terrain? Défis et leçons tirées de la mise en oeuvre des évaluations d'impact de RBF

  1. 1. De la note Conceptuelle aux réalités sur le terrain? Défis et leçons tirées de la mise en œuvre des évaluations d'impact de RBF
  2. 2. Étapes de l'évaluation de l'impact Note Concept uelle Finaliser conception du programme et EI Enquête de base Mise en œuvre de RBF Enquête final Analyse et la diffusion RCA Cameroun Benin India
  3. 3. Impact de la crise sur la Mise en Œuvre de l’évaluation d’impact en Centrafrique: Phase: Enquête de base Gervais Yama
  4. 4. Projet pilote de FBR prévu en République Centrafricaine • FBR dans les FOSAs publics, confessionnelles et ONG de 9 préfectures des régions 2, 3, 4 et 6 de la RCA • Une population d'environ 2,5 millions d’habitants 4
  5. 5. Questions de recherche de l’EI • L'évaluation d'impact portera essentiellement sur les questions de recherche suivantes: o Est-ce que la variationdu niveau des paiementspour les servicesde santé maternelle et infantile PBF livré entraînent des variationsdans la couverturedes servicesde SMI et de la qualité des résultats? o Ou peut-être des résultats similaires obtenusà moindre coût? o Quel est le barème optimal (niveaudes paiementsPBF) pour améliorerla santé maternelle et infantile de couverturedu service et de la qualité? 5
  6. 6. Groupes d’intervention de l’EI T1: Paquet PBF complet C1: Paquet PBF complet mais avec des niveaux de paiement PBF à 50% des niveaux de paiement Groupe T1 C2: Statut quo 6
  7. 7. Mise en œuvre de l’EI 7 • L’enquête de base de l’évaluation d’impact est mise en œuvre en deux tranches: (i) L’Enquête auprès de la formation sanitaires a été réalisée en mars 2012 et celle de ménage en novembre-décembre 2012; (ii) 351 Formations sanitaires ont été enquêtées et un échantillon de 5464 ménages a été visité au cours de cette enquête.
  8. 8. Impact de crise sur la mise en œuvre 8 • Trois événements sont à l’origine de modification des indicateurs de l’enquête de base de l’évaluation d’impact : (i) La première est due à l’offensif des groupes armés en décembre 2012, juste à la fin de la collecte de l’enquête de base; (ii) La deuxième est en mars 2013 avec le coup d’Etat qui a provoqué le départ de président BOZIZE du pouvoir par les groupes armés, (iii) La Troisième c’est celle de 5 décembre 2013 par un autre groupe armé« anti-Balaka ».
  9. 9. Les données collectées sont-elles encore valide pour l’analyse d’impact? 9 Au niveau des FOSA • la fuite du personnel vers le niveau central principalement à Bangui ; • le pillage des médicaments et de matériels dans la plus part des Fosa; • Très peu des formations sanitaires qui son fonctionnel, dans la majorité cas, ce sont celle qui ont bénéficié l’appui des ONG notamment les Médecin sans frontière. • Le niveau de la plupart des indicateurs obtenus lors de l'enquête de 2012 s'est détérioré dans toutes les pyramides sanitaires, surtout dans la zone du projet qui constitue principalement les zones des attaques des groupes armés.
  10. 10. 10 Au niveau de ménage • La crise détérioration les conditions de vie des ménages : problème d’axe aux nourritures, leur grenier pille ou brûler, et les leur champ sont devenus les lieux des pâturages ; • Leurs maisons sont saccagées ou brulées, leurs biens sont emportés par les groupes armés ; • Inexistence des certains villages à cause déplacement permanant dans tous les pays dû au attaque des groupes armés ; • Vulnérabilité aux maladies à cause de l’inaccessibilité au centre des soins d’une part et la mauvaise condition de vie d’autre part. Les données collectées sont-elles encore valide pour l’analyse d’impact?
  11. 11. Comment le PBF se comportera vis-à- vis de la Crise? 11 • Avec l’état actuel des choses, comment le PBF vas se comporter vis-à-vis de la crise? Etant donné que: (i) Au niveau de FOSA, la majorité ne sont pas opérationnelles, même quelques peu qui sont appuyées par les MSF ne dispose pas assez des personnels, des matériels et les médicaments ? (i) Au niveau de ménage on note un grand changement de niveau de vie de la population affectée par la crise ?
  12. 12. Thank you for your kind attention 12
  13. 13. De la note conceptuelle à la réalité sur le terrain : difficultés à surmonter et leçons à tirer de l'exécution des évaluations d'impact du FBR au Cameroun Joseph Shu Atanga M.D. MPH
  14. 14. ZONE D'INTERVENTI ON CAMEROUN CAMEROUN
  15. 15. Grandes étapes de l'évaluation d’impact • Lancement public du projet • Répartition aléatoirepubliquedes établissements sanitaires dans le groupe d'intervention et le groupe témoin avec des caractéristiques prédéfinies • Identification de l'ensemble des communautés et des établissements sanitaires légalisés dans les circonscriptions hospitalières • Cartographiedes communautés desservies par chaque établissement sanitaire • Collecte de données de référence (enquêtes auprès des formations sanitaires et des ménages) • Formation des différentes parties prenantes au financement basé sur la performance (FBP) • Élaboration de plans d'activité et signature de différents types de contrats • Production et déclaration des différentes formations sanitaires • Vérification et validation de l'organisme d'achat • Paiement aux établissements
  16. 16. T1 FBP complet assorti de primes liées aux résultats pour le personnel médical C1 FBP doté de subventions sans rapport avec la performance C2 Suivi renforcé seulement comme dans T1 et C1. C3 Statu quo: aucune forme d'intervention Evaluation d’impact et enquête de suivi Oui Oui Oui Oui Contrat Contrat classique pour le FBP Contrat stipulant les conditions du FBP en termes de contrôle/audit/ surveillance Contrat fournissant un appui technique en termes de surveillance renforcée Aucun contrat Plans d’activité Oui, à élaborer Oui, à élaborer Plan d'activité allégé, fondé sur la surveillance renforcée Aucun plan d'activité Évaluation de la qualité Évaluation de la qualité, appréciations et prise en compte dans le paiement. Évaluation de la qualité avec appréciations comme dans T1, mais sans effet sur le paiement. Évaluation de la qualité avec appréciations comme dans T1. Aucune évaluation de la qualité Déclaration/vérificatio n des quantités de services Déclaration et vérification des quantités de services produites Déclaration et vérification des quantités de services produites comme dans T1 Déclaration et vérification des quantités de services produites comme dans T1 Aucune enquête, aucun audit Paiement Lié à la performance Paiement sans rapport avec la performance Aucun paiement Aucun paiement Autonomie de gestion Autonomie de gestion avec rétention de tout le produit réalisé Autonomie de gestion avec rétention de tout le produit réalisé Aucune autonomie de gestion, maintien du système existant de quote- part (incitations) Aucune autonomie de gestion, maintien du système existant de quote-part (incitations) Rapport d'activité mensuel soumis au district sanitaire Oui Oui Oui Oui
  17. 17. Principaux enseignements • Groupe d'interventionet groupe témoin différents o Paiement de subventions (T1 ou C1) o Autonomie de gestion T1, C1 ou C2,C3 o Suivi renforcé T1,C1,C2 ou C3 • Caractéristiquesidentiquespour le groupe d'interventionet le groupe témoindurant la sélection aléatoire o Urbain ou rural o Public ou privé • Paiementsde même montant pour les groupesT1 et C1 o Établissements sanitaires T1 payés en fonction des résultats o Établissements sanitaires C1 payés en fonction de la contribution en % de la population à la population totale de tous les établissements C1 • Étroit suivi de l’exactitude des services déclarés et de la façon dont la communautéperçoit la qualité des soins • Collecte de données d’enquêtede base et finale et collecte régulière de donnéesvisant à informer le S&E • Suivi de l'utilisation des subventionspar les établissements sanitaires (bénéficiaires finals)
  18. 18. Grands défis à relever • Autonomie de gestion vis-à-vis des groupes T1 et C1 • Détermination du nombre d’habitants desservis par chaque établissement sanitaire, surtout en milieu urbain • Collaboration entre PPA et les établissements sanitaires C2 o Collaboration minime voire nulle pour élaborer les plans d'activité et signer les contrats (faute de motivation financière) o Pas toujours prêts à déclarer les résultats aux fins de leur validation en raison de l’absence d’incitations financières • Achat de services fournis aux clients en dehors de la circonscription hospitalière. Cas des hôpitaux de référence desservant d'autres régions et d'autres pays • Niveau initial de développement des établissements sanitaires
  19. 19. De l’élaboration à la mise en oeuvre de l’intervention “autonomie de gestion” au Bénin Phase: Préparation et mise en oeuvre Maud Juquois
  20. 20. Contexte au Bénin avant le pilote FBR • Avant la mise en œuvre du FBR (Mars 2012): o Autonomie limitée des FS pour dépenser leurs revenus (des recettes communautaires); o Le Médecin Coordonateur de Zone doit approuver les dépenses proposées avec les recettes communautaires (les fonds peuventrester quelques mois dans le compte en banque s’il n’y a pas de supervision du Médecin Coordonateur) • A partir des succès du FBR dans d’autres pays: o Le FBR peut avoir un plus grand impact si les responsables sont plus autonome; o Proposition pour l’EI au Bénin : tester cet aspect spéficique à travers une évaluation randomisée .
  21. 21. Design de l’Evaluation d’Impact au Benin • Une combinaison de deux interventionsest testée: o FBR “financements conditionnels” (crédits liés aux résultats atteints par les centres de santé) versus “financements inconditionnels” (crédits non liés aux résultats atteints). o Autonomie de gestion versus pas d’autonomie de gestion. • Par conséquent,il y a actuellement 5 groupes dans l’EI: FBR traitement (85 FS) FBR contrôle (financement additionnel) (87 FS) Pas intervention Autonomiede gestion traitement (84 FS) T1 40 FS T2 44 FS - Autonomiede gestion contrôle (88 FS) T3 45FS T4 43FS - Pas intervention - - C 46 FS
  22. 22. Mise en œuvre de cette intervention • Avec le FBR: o Un groupe de FS a une autonomie de gestion accrue: transmission pour information des business plans au Médecin Coordonateur de Zone Sanitaire; o Un groupe de FS sans autonomie de gestion accrue: le business plan et les dépenses doivent être approuvés. • Mais les fonds du FBR ne peuvent être utilisés pour le recrutement de personnels de santé ou pour réaliser des travaux; • Cette intervention était perçue comme une 1ère étape pour ensuite accroitre davantage l’autonomie des FS.
  23. 23. Pas de différence réelle entre les deux groupes (centres de santé) 0 100 200 300 400 500 600 700 800 Nombre de CPN4 RBF+managerial autonomy RBF only 0 100 200 300 400 500 600 700 800 900 1000 Suivi de la croissancedes moins de 5 ans RBF+managerial autonomy RBF only
  24. 24. Explications • 1. L’autonomie de gestion dans les centres de santé contrôle et traitement demeure très limitée, la différence entre les deux bras de l’intervention est faible; • 2. Analyse de l’utilisation des financements au niveau des centres de santé o Utiliser la partie des fonds FBR pour les dépenses de fonctionnement apparaît un processus lourd et nécessite davantage de documentation que pour utiliser les ressources générées par les recettes communautaires; o Les personnels craignent également les audits sur les fonds du FBR.
  25. 25. Conclusion • Il est difficile de mettre en œuvre une intervention telle que « l’autonomie de gestion », même à un niveau limité lorsqu’elle n’est pas pleinement portée par les autorités aux niveaux de la zone sanitaire et national; • Comment augmenter l’autonomie de gestion désormais au Bénin? o Développer et disséminer les meilleurs exemples des centres de santé les plus autonomes qui ont de meilleurs résultats FBR; o Coacher les formations sanitaires; o Former les coordinateurs de zone sur « la gestion axée sur les résultats » qui pourrait aider à leur démontrer les avantagesd’une plus grande autonomie de gestion des FS pour améliorer leur performance. o Mieux aligner les mécanismes de contrôle des ressources générées à la fois par le FBR et les recettes communautaires
  26. 26. Étude de cas : Karnataka, Inde Phase: Analyse et dissemination Neeraj Sood
  27. 27. L'intervention : Programme Vajpayee Aarogyashri (VAS) • Les ménages pauvres sont automatiquement inscrits au VAS o Ils bénéficient de soins gratuitsdans les hôpitaux publics et privés o L'objectif est de réduire les besoins non satisfaitsde soins coûteux et d'améliorer les résultats en termes de santé • Le VAS prend en charge les soins tertiaires pour les conditions suivantes o Soins cardiaques o Cancer o Maladies neurologiques o Maladie rénale o Problèmes néonatals/anomalies congénitales o Brûlures o Multiples traumatismes • Les hôpitaux reçoivent un remboursement fixe pour un ensemble prédéfini de services o 402 ensembles de services de soins tertiaires
  28. 28. Stratégie empirique applicable aux données de l’enquête de Base 0 80 16040 Kilometers VAS Non-VAS Bellary HaveriUttara Kannada Shimoga Davangere Chitradurga Discontinuité de la régression géographique • En 2010, le régime VAS a été arbitrairement mis en place dans seulement la moitié de l'État de Karnataka (partie nord) • Enquêtes réalisées auprès des ménages près de la frontière d'éligibilité nord-sud • Stratégie d’appariement utilisée pour garantir la comparabilité des données entre zone éligible et non éligible • Comparer les résultats entre zones éligible et non éligible Zone éligible Zone non éligible
  29. 29. Le Régime VAS a réduit la mortalité pour les conditions prises en charge Pauvres Riches Tauxdemortalité
  30. 30. Débat • Question liées à l’exécution o Calendrier o Rétention o Suivi • Innovation o Énumération de données o Utilisations potentielles des données de l’enquête de base o Tests indirects de la stratégie empirique • Difficultés liées à la diffusion
  31. 31. Perspectives des responsables sur l'évaluation d'impact • Principales difficultés inhérentes à la réalisation d‘une évaluation d'impact • Ambition d’utiliser l'évaluation d'impact pour améliorer la prise de décision
  32. 32. Étapes de l'évaluation de l'impact Note Concep tuelle Finaliser conception du programme et EI Enquêt e de base Mise en œuvre de RBF Enquête final Analyse et la diffusion RCA Cameroun Benin India
  33. 33. Discussion • Quels sont les principaux leçons tirés de ces études de cas?

×