numéro du projet: 108050
DÉCEMBRE 2015
Vincent Kamenyero
Francis Mandazou
Paula Mommers
Patrick Paluku
Peter Bob Peerenboo...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID
1
REMERCIEMENTS
Nos remerciements s’adressent à toutes...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID
2
TABLE DES MATIÈRES
REMERCIEMENTS.......................
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 3
3.4.2. contrat avec le bureau 2 de la dps .............
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 4
RÉSUMÉ
La contre évaluation du programme FBP au Sud ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 5
Ad 2.
a. La majorité des indicateurs est bien liée a...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 6
1. INTRODUCTION
1.1. le sud kivu et le financement b...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 7
Tableau 1 : Evolution des indicateurs de la Santé de...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 8
1.3. les parties prenantes et leurs rôles
Aux différ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 9
quant à la gestion des données et l’organisation ; p...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 10
2. MÉTHODOLOGIE
2.1. introduction
Cette contre-véri...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 11
Tableau 4 : Les CdS et Hôpitaux retenus dans les 3 ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 12
Tableau 5 : Les équipes formées par district
Zone d...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 13
 Rapport d’évaluation du projet 108050 au bureau d...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 14
Figure 1 Les six éléments du FBP
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 15
3.CONTRE-VÉRIFICATION
3.1. quantité des hopitaux et...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 16
Tableau 6 : Indicateurs PMA et PCA
INDICATEURS PMA ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 17
Tableau 7 : Les constats généraux sur les différent...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 18
Les resultats quantitatifs les plus importants
Les ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 19
Figure 4 Le pourcentage d’écart entre vérification ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 20
De fois les différences sont grandes mais les numér...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 21
responsable qui pouvait mettre à jour les données e...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 22
Au niveau des hôpitaux, la tenue de certains regist...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 23
 Pour les prochaines missions des contre-vérificat...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 24
3.2.2. écarts contre vérification de qualité
En gén...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 25
Figure 10 Résultats CdS de Miti-Murhesa de la vérif...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 26
3.2.3. points forts
Parmi les points forts révélés ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 27
de l’évaluation de la qualité, l’équipe de la contr...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 28
3.3. quantité et qualité bureaux central zones de s...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 29
Tableau 10 : Un résumé des groups d’indicateurs de ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 30
La mission de la contre évaluation a pu identifier ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 31
 Les BCZS doivent s’assurer du respect des élément...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 32
3.4.2. contrat avec le bureau 2 de la dps
Après la ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 33
 Le résultat ‘Intégration des données par tranche ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 34
Points positifs :
 Le FBP a aidé à développer une ...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 35
DPS. Les activités de la DPS sont en majorité finan...
RAPPORT CONTRE VERIFICATION – PROJET 108050
DECEMBRE 2015 © CORDAID 36
4.LES SIX ÉLÉMENTS DU FBP
La mesure dans laquelle l...
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Rapport contre vérification avril-mai 2015 projet 108050
Prochain SlideShare
Chargement dans…5
×

Rapport contre vérification avril-mai 2015 projet 108050

265 vues

Publié le

1 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
265
Sur SlideShare
0
Issues des intégrations
0
Intégrations
6
Actions
Partages
0
Téléchargements
4
Commentaires
1
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Rapport contre vérification avril-mai 2015 projet 108050

  1. 1. numéro du projet: 108050 DÉCEMBRE 2015 Vincent Kamenyero Francis Mandazou Paula Mommers Patrick Paluku Peter Bob Peerenboom Ernest Schoffelen Jean-Pierre Tsafack Jennie van de Weerd Jean-Claude Wema Michel Zabiti CONTRE VÉRIFICATION PROJET FBP CCT SANTÉ
  2. 2. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 1 REMERCIEMENTS Nos remerciements s’adressent à toutes les personnes qui ont participé au succès de la contre vérification du projet FBP CCT Santé, Numéro : 108050. Cette mission de contre-vérification de deux semaines a donné lieu à de nombreux échanges entre bénéficiaires, experts ainsi qu’avec les acteurs locaux et institutionnels lesquels poursuivent le même objectif : l’accès aux services de santé de base et de qualité pour les citoyens de la République Démocratique du Congo. Sans votre disponibilité, votre professionnalisme ainsi que votre diligence, nous n’aurions pu fournir ce présent rapport récapitulant les objectifs du programme et notre progression dans l’atteinte des objectifs fixés collectivement. La collaboration et contribution de chacun ont permis de fournir un travail de qualité. Nos remerciements s’adressent à vous tous : personnel et patients des centres de santé et hôpitaux visités lors de la contre vérification. Nous tenons également à remercier chaleureusement le personnel des BCZS et AAP et le Cabinet du Gouverneur de la Province lesquels ont été d’une précieuse aide. En l’occurrence: - aux BCZS Katana - spécialement Martin Birhange (AG), - aux BCZS Idjwi - spécialement Jules Ruhunemungu (superviseur), - aux BCZS Miti Murhesa - spécialement Bahati Lunanga (superviseur). - au personnel de l’AAP - spécialement Désire Mupenda (vérificateur), Blaise Ciza (vérificateur médical) ainsi que Jackson Byamungu (chargé du programme Santé). - M. Patrick Paluku, conseiller au secrétariat du Cabinet du Gouverneur de la Province Nous réitérons donc tous nos remerciements pour votre contribution.
  3. 3. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 2 TABLE DES MATIÈRES REMERCIEMENTS.........................................................................................................................................1 RÉSUMÉ ....................................................................................................................................................... 4 1. INTRODUCTION ........................................................................................................................... 6 1.1. le sud kivu et le financement basé sur la performance (fbp) .........................................................................6 1.2. le projet .......................................................................................................................................................................6 1.3. les parties prenantes et leurs rôles ................................................................................................................... 8 1.4. la mission de contre vérification et ses objectifs............................................................................................. 8 2. MÉTHODOLOGIE.........................................................................................................................10 2.1. introduction..............................................................................................................................................................10 2.2. contre verification..................................................................................................................................................10 2.3. evaluation des contrats de performance du regulateur.............................................................................. 12 2.4. cadre d’analyse des six éléments dans le fbp ................................................................................................... 13 3. CONTRE-VÉRIFICATION ............................................................................................................15 3.1. quantité des hopitaux et des centres de santé................................................................................................. 15 3.1.1. introduction.............................................................................................................................................................. 15 3.1.2. resultats et constats pma.....................................................................................................................................16 3.1.3. resultats et constats pca..................................................................................................................................... 20 3.1.4. points forts.............................................................................................................................................................. 20 3.1.5. points faibles ............................................................................................................................................................ 21 3.1.6. recommendations.....................................................................................................................................................22 3.2. qualité hopitaux et centres de santé..................................................................................................................23 3.2.1. introduction..............................................................................................................................................................23 3.2.2. écarts contre vérification de qualité ............................................................................................................... 24 3.2.3. points forts...............................................................................................................................................................26 3.2.4. points faibles qui nécessitent une attention particulière ............................................................................26 3.2.5. recommandations ....................................................................................................................................................27 3.3. quantité et qualité bureaux central zones de santé (bczs) ......................................................................... 28 3.3.1. introduction............................................................................................................................................................. 28 3.3.2. constats au niveau des bczs...................................................................................................................................29 3.3.3. points forts...............................................................................................................................................................30 3.3.4. points faibles ............................................................................................................................................................30 3.3.5. recommandations ....................................................................................................................................................30 3.4. évaluation du regulateur du niveau provincial.............................................................................................. 31 3.4.1. contrat avec le ministère provinciale de la santé.......................................................................................... 31
  4. 4. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 3 3.4.2. contrat avec le bureau 2 de la dps ......................................................................................................................32 3.4.3. contrat avec le bureau 3 de la dps ......................................................................................................................32 3.4.4. contrat avec le bureau 5 de la dps ......................................................................................................................32 3.4.5. contrat avec le bureau de l’inspecteur provincial .........................................................................................33 3.4.6. analyse des forces et faiblesses..........................................................................................................................33 3.4.7. analyse des constats ..............................................................................................................................................34 3.4.8. recommandations ....................................................................................................................................................35 4. LES SIX ÉLÉMENTS DU FBP...................................................................................................... 36 4.1. lien entre résultats (indicateurs de performance) et paiement..................................................................36 4.2. contactualisation....................................................................................................................................................36 4.3. autonomie de gestion ..............................................................................................................................................36 4.4. séparation des fonctions.......................................................................................................................................37 4.5. équité ..........................................................................................................................................................................37 4.6. voix de la population..............................................................................................................................................37 5. CONCLUSIONS ET RECOMMENDATIONS................................................................................ 38 ANNEXE 1: TERMES DE REFERENCE ........................................................................................................41 ANNEXE 2: ITINERAIRE DE MISSION...................................................................................................... 45 ANNEXE 3: SUBSIDE QUANTITATIF PAR CAPITA PAR AN ..................................................................46 ANNEXE 4: RÉSULTATS QUANTITATIFS PMA....................................................................................... 47 ANNEXE 5: RÉSULTATS QUANTITATIFS PCA ........................................................................................ 52 ANNEXE 6: RESULTATS QUALITATIFS ................................................................................................... 54 ANNEXE 7: RESULTATS QUALITÉ HÔPITAUX ....................................................................................... 57 ANNEXE 8: OUTILS DE VÉRIFICATION REGULATEURS ........................................................................ 58
  5. 5. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 4 RÉSUMÉ La contre évaluation du programme FBP au Sud Kivu a eu lieu de 19 avril au 4 mai 2015 et a été exécutée par une équipe mixte de Cordaid Pays-Bas, Burundi, CAR, Cameroun et RDCongo. Dans le programme FBP actuel, Cordaid intervient dans trois zones de santé (Idjwi, Katana, Miti-Murhesa) qui comptent en tout une population estimée à 686.500 (dénombrement 2014). Ce programme envisage d’améliorer la disponibilité et l’utilisation des services de santé de la reproduction de qualité dans trois zones de santé de la province du Sud Kivu et la régulation par le Ministère Provincial de la Santé et la Division Provinciale de la Santé à travers la stratégie de Financement Basé sur la Performance (FBP). L’objectif principal de la contre évaluation est ‘améliorer le programme FBP en Sud Kivu par l’identification des points forts et faibles’ en faisant 1. la vérification des résultats quantitatifs et qualitatifs des FOSA, des différents organes administratifs et de la vérification de la communauté concernant la satisfaction 2. l’analyse de l’application des six principes du FBP 3. l’évaluation de la pertinence des indicateurs et outils d’évaluation de qualité Il est pris un échantillon de 15 Centre de Santé (d’un total de 56 CdS) et 3 Hôpitaux (d’un total de 8 HGR/CH). Pour les organes administratifs, les 3 Bureaux Central de Zone de Santé, le Ministère Provincial de Santé, la Division Provincial de Santé et 3 de ses bureaux (B2, B3, B5) sont pris en compte. En ce qui concerne les objectifs du projet, les observations suivantes sont faites : Ad 1. a. Les écarts entre les vérifications quantitatives et qualitatives des HGR et des BCZS et la contre vérification sont minimaux ; les écarts entre les vérifications quantitatives et qualitatives des CdS et la contre vérification sont plus importants et parmi des raisons se trouvent :  des erreurs de remplissage, et d’incomplétude des registres  les indicateurs qui ne sont pas toujours SMART et/ou pertinents et/ou vérifiable au niveau de la vérification (p.ex. cas référé et arrivé à l’hôpital)  une gestion financière faible  négligence de prendre des simples mesures pour corriger des aspects de qualité qui sont identifiés par l’équipe de vérification qualitative et  le manque de suivi par l’equipe de vérification pour pousser la prise des mesures correctives  faible enregistrement de la rétro information  PMA/PCA incomplet : TBC, PF (Hôpital confessionel)  Faiblesse dans l’analyse, le suivi et l’évaluation des plans de management  Les vérificateurs ne travaillent pas de la même façon  Des erreurs dans la sommation des points b. Le personnel est disponible et motivé et a une compréhension suffisante du programme FBP c. Les CdS et HGR disposent d’un plateau technique suffisant pour réaliser des services de qualité d. Le programme et les indicateurs évoluent bien sur base des constats faits par les vérificateurs ce qui est visible dans leurs commentaires dans les registres. e. Les BCZS planifient des supervisions selon les problèmes, sauf à Miti Murhesa f. Pour les organes administratifs, le FBP aide à développer la planification rationnelle, à effectuer les réunions régulièrement et une mise en application effectives des taches des membres de l’équipe. g. Faible relation entre le résultat à atteindre et le travail des différents bureaux de régulateur.
  6. 6. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 5 Ad 2. a. La majorité des indicateurs est bien liée au paiement, mais certains ne sont pas SMART b. La programmation de travail est devenue une habitude ; les évaluations et les vérifications ont lieu régulièrement c. L’autonomie de gestion pour les prestataires des soins de santé est partiellement assurée (la gestion du personnel exclus d. La séparation des fonctions de régulation, prestation et consommation est plus ou moins assurée malgré le fait que Cordaid et AAP exercent à la fois des paiements et de la vérification e. L’égalité d’accès aux services reste un souci permanent ; comment bien identifier les indigents ? f. La voix de la communauté est renforcée, mais reste faible au niveau régional Ad 3. a. Certains indicateurs de qualité ne sont pas suffisamment SMART et pertinents b. Pour la quantité la définition d’un cas valide pose quelquefois un problème c. Certains indicateurs ne sont pas liés à la performance du contracté d. L'ajout et la suppression de certains indicateurs sans communication et le consentement ; le même compte pour les changements des prix unitaires Les recommandations les plus importantes seront de :  Réviser les indicateurs quantitatifs et qualitatifs pour les rendre plus clairs et sans ambiguïté  Réviser les outils de performance regulierement selon les changements des indicateurs et/ou d’autres changements du programme  Inclure une guide pratique simple pour définir précisément les cas à considérer par le FBP dans les différents registres  Adapter le manuel de procédure après la révision des indicateurs  Voir les modalités de séparation de différentes fonctions de l´AAP et de Cordaid  Réviser les contrats avec des organes de régulateurs selon la reforme politique qui a eu lieu récemment en Sud Kivu et considérer le DPS comme un ensemble des bureaux émanent du MPS  Envisager les missions de contre-vérification périodiquement
  7. 7. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 6 1. INTRODUCTION 1.1. le sud kivu et le financement basé sur la performance (fbp) Depuis actuellement dix ans, Cordaid et ses partenaires gouvernementaux et non gouvernementaux (Ministère de la Santé et l’AAP) mettent en œuvre un programme de Financement Basé sur la Performance dans le Sud Kivu. Cette approche a été étendue depuis 2008 dans le secteur de l’Education avant de gagner celui de la justice et de la police. Des résultats encourageant ont été enregistrés au courant de toutes ces années apportant des améliorations aussi bien dans l’accès de la population aux services sociaux de base mais aussi dans la qualité des services fournis par les prestataires. Cette qualité devant être garantie par des normes nationales, l’approche FBP a été étendue au niveau de la régulation provinciale depuis 2011 à travers les différents ministères provinciaux concernés (Santé, Education, Justice et Intérieur) ainsi que les Divisions Provinciales et les Inspections Provinciales y afférentes. Des contrats de performance avec le ministère Provinciale et la DPS sont signés avec Cordaid en conformité avec les différents cahiers des charges assignés par le Gouvernement à ces différentes institutions (voir tableau 3 ci-dessous). Une Agence d’Achat des Performances (AAP) contracte ainsi les prestataires des services (Centres de santé, Hôpitaux généraux de références, Ecoles, Administrations des territoires, Prisons, Tribunaux de paix et sous commissariats de la Police Nationale) ainsi qu’avec les régulateurs au niveau périphérique (BCZS, Inspections des pools). 1.2. le projet Ce projet dans le secteur de la Santé fait suite à deux autres précédents dans lesquels seules la quantité et la qualité de l’offre étaient recherchées à travers le FBP. Certains indicateurs liés à l’accès aux services ayant bien évolués pendant quelques années, ils ont ensuite connu une certaine stagnation quant à la demande. Il s’agit plus précisément de l’utilisation des méthodes contraceptives modernes et les services de CPN. Le nombre d’accouchements assistés a connu également une évolution stationnaire après quelques années d’amélioration. L’actuel projet s’est donné ainsi l’objectif de stimuler la demande sur l’utilisation des services de PF et de CPN tout en encourageant les accouchements assistés dans des formations sanitaires. Le projet a pour objectif principal d’améliorer la disponibilité et l’utilisation des services de santé de la reproduction de qualité dans trois zones de santé de la province du Sud Kivu et la régulation par le Ministère Provincial de la Santé et la Division Provinciale de la Santé à travers deux stratégies : le Financement Basé sur la performance et le Conditionnal Cash Transfer.
  8. 8. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 7 Tableau 1 : Evolution des indicateurs de la Santé de la Reproduction Le projet est mis en œuvre dans trois (3) Zones de Santé (ZS) d’un total de 34 ZS de la province de Sud Kivu : Katana, Miti Murhesa et Idjwi. De manière spécifique, le projet vise à : 1. Augmenter la qualité et l’accessibilité géographique et financière des services de santé de base (PMA et PCA) ; 2. Améliorer l’accès des femmes aux soins maternels de bonne qualité au cours de leur grossesse, à l’accouchement et en post-natal ; 3. Offrir plus de choix aux femmes (et hommes) en âge de procréation aux services de planning familial de bonne qualité ; 4. Améliorer l’accès des populations vulnérables aux services de santé à travers la stimulation de leur adhésion et le renforcement des Mutuelles de Santé ; 5. Renforcer les capacités humaines et techniques en augmentant le plateau technique à tous les niveaux dans les zones de santé concernées ; 6. Renforcer le rôle de régulation de l’Etat et la bonne gouvernance dans le système de santé ; 7. Maintenir le programme FBP au Sud Kivu afin de renforcer le plaidoyer en faveur de l’adoption et l’appui effectif au programme par le gouvernement de la RDC dans le processus de mise à l’échelle. Quelques résultats du projet sont présentés dans les tableaux 1 et 2. Tableau 2 : Evolution de la qualité des prestations des CdS Score qualité T4 2013 T1 2014 T2 2014 T3 2014 Score Moyen Idjwi 78% 76% 78% 76% 77% Katana 81% 81% 83% 81% 82% Miti Murhesa 72% 72% 70% 72% 72% Moyenne 3 ZS 77% 76% 77% 76% 76,5% Indicateurs par ZS Baseline 2011 Objectifs ZS Idjwi ZS Katana ZS Miti Murhesa Périodes 0ct 2012 - Sept 2013 0ct 2013 – Sept 2014 0ct 2012 - Sept 2013 0ct 2013 – Sept 2014 0ct 2012 - Sept 2013 0ct 2013 – Sept 2014 L’utilisation de la CPN 95 % 114 % 125 % 112 % 146 % 105 % 144 % Femmes ayant réalisés 3 CPN 25 % 90 % 66 % 41,4 % 52 % 29 % 46 % 36,5 % Tx d’accouchements eutociques dans CS 42 % 90 % 52 % 60,5 % 66 % 90 % 25 % 43 % Proportion des Nouvelles inscrites PF (Inj+Pillules) 62 % 80 % 110 % 65 % 140 % 43 % 92,2 % Proportion des Renouvellement PF (Inj + Pillules) 34 % 58,6 % 34 % 82,6 % 17 % 33,3 %
  9. 9. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 8 1.3. les parties prenantes et leurs rôles Aux différents niveaux du programme FBP, des relations contractuelles ont été établies entre les parties prenantes suivantes qui jouent chacun un rôle spécifique : Tableau 3 : Relations contractuelles entre Parties prenantes et leurs rôles BÉNÉFICIAIRES CONTRACTANTS MINISTERE PROVINCIAL DE LA SANTE DIVISION PROVINCIALE DE LA SANTE EQUIPE CADRE DES ZS FOSA (HGR, CH ET CDS) ASLO Cordaid  Contrat  Vérification  Paiement  Contrat  Vérification  Paiement AAP  Vérification  Vérification  Contrat  Vérification  Paiement  Contrat  Vérification  Paiement  Contrat  Vérification  Paiement Ministère Provincial de la Santé  Vérification Division Provincial de la Santé  Vérification  Vérification  Vérification La question de séparation des fonctions reste encore à clarifier sur les rôles que jouent aussi bien Cordaid avec les régulateurs provinciaux que ceux que jouent l’AAP avec les régulateurs périphériques et les prestataires des services. 1.4. la mission de contre vérification et ses objectifs L’objectif principal de la mission de contre vérification est d’améliorer le programme FBP au Sud Kivu par l’identification de points forts et des points faibles (voir Annexe 1, Termes de Références). Les objectifs spécifiques sont :  Vérifier à travers un échantillon la véracité des résultats : a. quantitatifs et qualitatifs dans les FOSA ; b. des différents organes administratifs (le régulateur) ; c. de la vérification de la communauté concernant la satisfaction.  Analyser jusqu'à quel niveau le projet applique les six principes du FBP : a. Lier le paiement à la performance (indicateurs) ; b. Approche contractuelle (cycle business plan et vérification) ; c. Autonomie de gestion pour les prestataires des soins de santé ; d. Séparation des fonctions ; e. Egalité d’accès aux services ; f. Renforcement de la communauté (autonomisation de l’utilisateur final) Sur base de ces objectifs, il est clair que la mission envisage aussi bien une contre-vérification qu’une revue de l’organisation du programme. Les résultats de la mission seront utilisés pour améliorer le programme au Sud Kivu
  10. 10. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 9 quant à la gestion des données et l’organisation ; pour vérifier s’il y a de fraude dans la mise en œuvre du programme ; pour réviser les différents outils d’évaluation de la quantité et de la qualité (si nécessaire) (voir Annexe 2, Programme de la Mission). Les interventions complémentaires (bracelets et CCT) ne font pas partie de cette évaluation. Ces interventions sont sur investigation de Swiss TPH dans une étude longitudinale et la partie quantitative dans cette étude ne fera pas partie de cette contre vérification. La satisfaction de ces interventions sera prise ensemble avec la partie communautaire.
  11. 11. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 10 2. MÉTHODOLOGIE 2.1. introduction Cette contre-vérification comporte 5 parties : 1. Une vérification des données quantitatives validées par l’AAP dans un échantillon des centres de Santé (CdS) et des hôpitaux/centres hospitaliers dans les trois zones de Santé couvertes par le projet pour la période de Septembre 2013 – Août 2014 (chapitre 3.1.). 2. Une vérification des données qualitatives vérifiées par le BCZS dans le même échantillon des centres de santé (CdS) et des hôpitaux dans les trois zones de Santé couvertes par le projet pour le premier trimestre 2015 (Janvier – Mars) (chapitre 3.2.). 3. Une vérification des données quantitatives et qualitatives validées par l’AAP dans les trois Bureaux Centraux des Zones de Santé (BCZS) pour la période de Septembre 2013 – Aout 2014 (chapitre 3.3.). 4. Une évaluation des contrats de performance avec le régulateur au niveau de la province du Sud-Kivu (chapitre 3.4). 5. Une analyse de l’application des 6 principes FBP dans le projet (chapitre 4). Le rapport est clôturé avec des conclusions et des recommandations (chapitre 5). 2.2. contre verification Sélection de l’échantillon De chaque Zone de Santé, l’Hôpital Général de Référence et 5 CdS étaient inclus dans l’échantillon. La sélection des 5 CdS étaient basé sur le montant de subside payé par capita. Sur base des données quantitatives validées par l’AAP et retrouvées dans le portail FBP Sud-Kivu http://health.pbfsudkivu.org/ et le coût par indicateur dans le contrat, le montant payé par capita pour la quantité pour la période de Septembre 2013 - Aout 2014 était calculé. Parce que le score de qualité sur la même période était environ le même pourcentage pour toutes les structures concernées, celui n’est pas pris en compte dans ce calcul. L’annexe 3 donne le nombre total des CdS par zone et le montant qui était payé pour l’année prise en compte. Les 3 centres les plus performantes et les trois les moins performante étaient sélectionnés et un extra. Après discussion sur l’accessibilité géographique des centres retenus, une sélection finale était faite. Pour chaque zone, 5 CdS et un hôpital/centre hospitalier étaient retenus. Pour la contre vérification tous les indicateurs quantité étaient retenues et trois mois étaient sélectionnés par hasard. Les mois sélectionnés pour la contre vérification de la quantité, étaient Octobre 2013, Mars 2014 et Juillet 2014. Pour la qualité dans les FOSA, le premier trimestre de 2015 était choisi (juste vérifié par les vérificateurs du régulateur (BCZS) parce que ce n’est pas possible de vérifier la qualité rétroactive).
  12. 12. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 11 Tableau 4 : Les CdS et Hôpitaux retenus dans les 3 districts (Idjwi, Katana, Miti-Murhesa) Zone de Santé Idjwi Katana Miti-Murhesa Total de CdS 21 17 18 CdS Retenues ($) CSR Mugote ($0,42) Mpene ($0,54) Bushongo ($0,66) Lumala ($0,76) Mafula ($0,93) Ibinja ($0,43) Birava ($0,46) CSR Ihimbi ($0,85) CSR Mugeri (0,93) Katana Nuru ($1,05) Kavuma ($0,39) Kahungu ($0,49) Bushumba ($0,67) Lwiro ($0,98) Mbayo ($0,38) Total HGR/CH 3 2 3 HGR ($) Monvu ($0,09) Katana ($0,08) Miti-Murhesa ($0,09) BCZS Quantité Quantité Quantité et Qualité Patient 3 - 3 Pre-test Pour des raisons d’harmonisation de l’approche des contre-vérificateurs externes, deux centres de santé proche de Bukavu étaient choisis pour faire un test. Les deux centres retenus étaient Murhésa (US$0,28 par capita) et Mulungu (US$1,96 par capita). L’équipe externe de Murhésa était composée d’Ernest Schoffelen, Jean Pierre Tsafack, Francis Mandazou et assistée par Désiré Mupenda (l’AAP) et Jean-Claude Wema (Cordaid Bukavu), et l’équipe de Mulungu était composée de Paula Mommers, Vincent Kamenyero, Jennie van de Weerd et assisté par Jackson Byamungu (AAP) et Michel Zabiti (Cordaid Bukavu). Après le test, les équipes ont décidé de ne pas inclure la contre vérification des patients au niveau de la communauté. L’équipe de Murhésa a pu seulement retrouver 1 patient sur 10 recherchés dans la communauté et à cause de ça il ne pouvait pas finaliser les deux outils (qualitative et quantitative). L’équipe de Mulungu n’a pas pu trouver le temps pour la vérification des patients après finalisation des deux outils. Les équipes étaient d’opinion que c’était plus important de vérifier tous les indicateurs quantitatifs achetés par l’AAP et tout le checklist qualitative. Pour la vérification de BCZS, les équipes ont décidé que tous les équipes feront la contre vérification quantitative, mais que seulement l’équipe de Miti Murhesa fait la vérification qualitative pour le BCZS de Miti Murhesa. Exécution Trois équipes étaient formées d’un contre vérificateur de Cordaid Siege, un de Cordaid pays (exclus Bukavu), un membre de l’équipe Cordaid Santé Bukavu et un membre de l’AAP. Un membre de l’équipe de BCZS était également associé pour faciliter l’accès aux FOSA et comme observateur.
  13. 13. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 12 Tableau 5 : Les équipes formées par district Zone de Santé Idjwi Katana Miti Murhesa Cordaid Siège Ernest Schoffelen Jennie van de Weerd Paula Mommers Cordaid Extérieur Jean Pierre Tsafack Francis Mandazou Vincent Kamenyero Cordaid Bukavu Jean Claude Wema Michel Zabiti Mamadou Sylla AAP Désiré Mupenda Jackson Byamungu Blaise Ciza BCZS Jules Ruhunemungu Martin Birhange Bahati Lunanga Pour 6 jours, les équipes étaient sur terrain en prenant une structure par jour. L’équipe de Miti Murhesa a fait la contre vérification du BCZS le dernier jour. Analyse Les outils utilisés étaient les outils utilisés par l’AAP, BCZS et DPS pour la vérification. Les résultats des contra vérifications étaient mis dans un logiciel Excel (séparément pour quantité et qualité). Les données contre vérifiées étaient comparées avec les données dans les rapports de vérification (Katana et Miti Murhesa) et les données du portail http://health.pbfsudkivu.org/ (Idjwi). Pendant deux jours, les équipes ont travaillé ensemble pour les mis en commun des points forts et faibles et ont formulé des recommandations. Le premier jour, cette mise en commun était ensemble avec les équipes de l’AAP et BCZS. Le deuxième jour uniquement par le groupe Cordaid. Après ce deuxième jour, une distillation des points les plus importants était faite pour la restitution de lundi 4 mai 2015. Le feedback de cette réunion est pris en compte dans ce rapport. 2.3. evaluation des contrats de performance du regulateur L’objectif de l’évaluation a été double : la vérification de la validité des résultats des différents organes administratifs et l’identification des points forts et faibles du programme. L’équipe d’évaluateurs était composée de deux personnes : Dr Peter Bob Peerenboom, spécialiste en santé publique, consultant indépendant du bureau d’étude Tangram, et M. Patrick Paluku, conseiller au secrétariat du Cabinet du Gouverneur de la Province. M Paluku a été impliqué dans le passé à la vérification trimestrielle de la performance du Ministère Provincial de la Santé. Les documents suivants étaient analysés :  Renforcement de l’Etat dans le Sud Kivu, basé sur la performance ; Manuel de procédures avec les organes de régulation. Cordaid, mars 2015.  Plan d’achat des indicateurs de performance, année 2015.  Comparaison des indicateurs 2012-2013 et 2013-2014.  Rapport d’évaluation des indicateurs Ministère de la Santé 2014-2015 projet 108050 an 3, mars 2015.  Rapport d’évaluation du projet 108050 au deuxième bureau de la Division Provinciale de la Santé du Sud Kivu, mars 2015.  Rapport d’évaluation du projet 108050 au cinquième bureau de la Division Provinciale de la Santé du Sud Kivu, juillet 2014.
  14. 14. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 13  Rapport d’évaluation du projet 108050 au bureau du Médecin Inspecteur Provincial du Sud Kivu, année 3, mars 2015.  Rapport d’évaluation du projet 108050 au troisième bureau de la Division Provinciale de la Santé du Sud Kivu, an 3, mars 2015. Cette analyse a servi de développer un guide pour les interviews avec des parties prenantes au niveau de la DPS. Les personnes rencontrées étaient : 28/4/15 :  MPS : Dr Justine Mamvura, conseiller santé et genre ; M. Mutambala Mokolokera Tit, conseiller chargé des questions administratives. 29/4/15 :  Bureau 2 de la DPS : Claude Wilondja, administrateur gestionnaire ; Liévain Bingana, administrateur gestionnaire.  Bureau 5 de la DPS : Dr Zolo Musafini, chef de bureau ; Robert Banywesize, datamanager ; Justin Bengeya, chef de cellule SNIS.  Bureau du Médecin Inspecteur Provincial : Dr Emmanuel Burhole Masumbuko, MIP.  Bureau 3 de la DPS : Patrick Cizungu, Pharmacien Inspecteur Provincial ; Clementine Nyota, pharmacien ; Warren Isababa, superviseur ; Emmaunuel Irenge, laborantin ; Leon Atimbiri, responsable de la cellule médicaments. 2.4. cadre d’analyse des six éléments dans le fbp Cordaid a développé un cadre d’analyse pour des projets FBP qui comporte six éléments clés. Chaque élément à ses questions détaillées et la grille d’évaluation pour les interviews est basée sur ces questions. La première session au début de la mission a rassemblé toutes les parties prenantes. Après une brève présentation des six éléments de FBP, l’ensemble de groupe a expliqué comment les principes sont appliqués dans le projet au Sud-Kivu. Ensuite, les membres étaient divisés en 3 petits groupes pour une discussion un peu plus approfondi sur les éléments dans l’approche qu’ils voulaient garder, changer et / ou perdre. A la fin de la mission, les participants internes (AAP, BCZS, DPS) à la contre vérification ont rediscuté les 6 éléments et ont donné un score pour chaque élément.
  15. 15. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 14 Figure 1 Les six éléments du FBP
  16. 16. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 15 3.CONTRE-VÉRIFICATION 3.1. quantité des hopitaux et des centres de santé 3.1.1. introduction Les outils pour la vérification quantitative (les canevas standards, la protocole de remplissage et les bordereaux) se trouvent dans le manuel de procédure dans le portail http://health.pbfsudkivu.org/. Pour la contre vérification quantité, les mois d’octobre 2013, mars 2014 et juillet 2014 sont vérifiés. Dans le courant du programme, il y avait des changements dans la grille les indicateurs sans que les outils ni les contrats entre l’AAP et Cordaid étaient adaptés. Les différences sont identifiées par les vérificateurs pendant la mission et sont les suivants : CdS :  La distribution de Vitamine A était remplacée par deux indicateurs : ‘Enregistrement en CPS2’ et ‘4 visites standards CPS2’.  Les journées d’hospitalisation étaient remplacées par ‘Nouveau cas en observation’.  L’indicateur ‘CPN total nouvelles + 3 visites standards’ est remplacé par deux indicateurs : ‘CPN au 4ième mois (début T2)’ et ‘CPN 3 visites standards accomplies’ HGR/CH :  Les indicateurs pour le TB dans la grille de PMA étaient aussi repris dans la grille des indicateurs PCA.  Les indicateurs Actes Majeures et Mineures Chirurgicaux et Jours d’Hospitalisation sont supprimés et remplacé par l’indicateur ’Score qualité de soins à HGR/CH évalué pas les pairs’. Les paquets des indicateurs achetés aux deux niveaux sont élargis à cause de projet SSR, ‘Next Generation’. Pour la contra vérification, seulement les indicateurs dans le tableau ci-dessous du projet 108050 sont retenues.
  17. 17. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 16 Tableau 6 : Indicateurs PMA et PCA INDICATEURS PMA INDICATEURS PCA Consultations externe (Nouveau cas) Nouveau cas suivi en observation Patients graves référés et arrivés à l’hôpital Enfants complètement vaccinés Enfant de 12 à 59 mois inscrit à la CPS 2 Enfant de 12 à 59 mois ayant réalisé 4 visites standards Nouveaux cas TBC et dépistés Nombre de cas TBC traites et BK après 6 mois Grossesses à haut risque référée et arrivée Pilule et Injectable (nouvelle acceptantes) Pilule et Injectable (ancienne acceptantes) PF : Insertion d’implants ou DIU CPN au 4ième mois (début T2) CPN 3 visites standards accomplies Accouchements assistés dans FOSA Nouveau cas vus par le médecin Retro-Informations arrivées Nouveaux cas TBC et dépistés Nombre de cas TBC traites et BK après 6 mois Transfusions sang – Don Bénévole Césariennes Autres accouchements dystociques PF : Ligature et Vasectomie 3.1.2. resultats et constats pma L’outil de remplissage de l’AAP propose certain tableaux et informations que doivent être rempli avant qu’un cas peut être vérifié. Malheureusement, ces exigences ne sont pas toujours suivi par les centres, ne sont pas contrôlées comme telle par les vérificateurs et de temps en temps ne sont pas en accordance avec les normes nationales. L’outil de remplissage ne donne pas une définition pour tous les indicateurs qui sont mis en compte et la définition donnée n’est pas SMART. L’absence de propres registres a comme résultat l’absence des entêtes sur les colonnes, une confusion des colonnes – ils ne sont pas toujours mis dans le même ordre alors le remplissage diffère entre les CdS. Mais il faut mentionner aussi que les vérificateurs de l’AAP évoluent sur base des constats faits ce qui est visible dans les commentaires de différents vérificateurs dans les registres.
  18. 18. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 17 Tableau 7 : Les constats généraux sur les différents indicateurs de PMA INDICATEURS COMMENTAIRES GÉNÉRAUX Consultations externe (Nouveaux cas)  Pas de nom ou le résultat des tests fourni par le labo  Numéro de dossier de patient n’est pas bien rempli, sauf pour quelques CdS et les hôpitaux  Absence de traitement proposé et même des signes cliniques (quelques cas avec seulement les noms étaient comptés).  En place de traitement, le numéro d’ordinogramme est donné Nouveau cas suivi en observation  Pas de relation entre le registre CE et observation  Pas de date de sortie  Pas de respecte des jours maximum pour l’observation Patients graves référés et arrivés à l’hôpital  Pas de relation entre le registre CE et le registre de référence  Pas de check au niveau de l’hôpital et pas de retro-information donnée au CdS  Pas mentionné le lieu de référence Enfants complètement vaccinés  Pas possible de contrôler si l’enfant a reçu tous les vaccinations sur les dates prévues à cause d’absence de jour de naissance  Difficile de contrôler à cause de façon d’enregistrer : pas dans un dossier d’enfant mais dans un registre de vaccination Enfant de 12 à 59 mois inscrit à la CPS2  Enregistrer trop tard ou pas de date de naissance Enfant de 12 à 59 mois ayant réalisé 4 visites standards  Visites antérieurs ne sont pas remplis  Le contenu de la visite n’est pas pris en compte dans la vérification  Dates des vaccinations ne sont pas mentionnées Nouveaux cas TBC et dépistés  La plupart des CdS ne donne pas ce service aux patients parce que le traitement des cas TBC se fait dans des centres spéciaux indiqués. Nombre de cas TBC traites et BK après 6 mois  La plupart des CdS ne donne pas ce service aux patients parce que le traitement des cas TBC se fait dans des centres spéciaux indiqués. Grossesses à haut risque référées et arrivées  Pas de check au niveau de l’hôpital et pas de retro-information donnée au CdS  Cas référés ne sont pas indiqué comme référé dans le registre CPN  L’HGR n’est pas toujours indiqué dans le registre et le point de référence n’est pas donné Pilule et Injectable (nouvelle acceptantes)  Le plu part du temps bien rempli Pilule et Injectable (ancienne acceptantes)  Pas possible de vérifier l’existence de l’utilisateur 3 mois avant PF : Insertion d’implants ou DIU  Le plu part du temps bien rempli CPN au 4ième mois (début T2)  Manque d’information de dernière menstruation. Difficile (impossible) de contrôler si c’est vraiment le 4ième mois.  Pas indiqué quels services (vaccinations, Fer, Mebendazole etc.) sont donné et souvent pas la date  Indications des effets pervers (première et troisième visite très élevée) CPN 3 visites standards accomplies  Pas indiqué quels services (vaccinations, Fer, Mebendazole etc.) sont donné et souvent pas la date  Indications des effets perverses (premier et troisième visite très élevée) Accouchements assistés dans FOSA  Date de sortie de CdS pas mentionnée  Pas d’information sur des accouchements antérieurs  Pas d’information sur accouchement à haut risque
  19. 19. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 18 Les resultats quantitatifs les plus importants Les figures suivantes montrent les plus importants résultats quantitatifs des CdS. Les résultats sont présentés par un pourcentage de différence entre le nombre des cas compté lors de la vérification faite par l’AAP et le nombre des cas compté lors de la contre-vérification faite par les experts pendant la mission. Si le pourcentage est positif, cela signifie que le numéro des cas compté pendant les vérifications normales était plus haut que pendant la contre-vérification. Si le pourcentage est négatif, cela signifie qu’il y avait compté plus des cas pendant la contre- vérification. Figure 2 Le pourcentage d’écart total entre vérification et contre-vérification des consultations externes Figure 3 Le pourcentage d’écart entre vérification et contre-vérification des nouveaux cas suivis en observation 0% 2% 4% 6% 8% 10% 12% Total Katana Total Idwji Total Miti Murhesa l'écart total de consultations externes (nvx cas) dans 3 districts
  20. 20. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 19 Figure 4 Le pourcentage d’écart entre vérification et contre-vérification des patients graves référés et arrivés à l’hôpital Figure 5 Le pourcentage d’écart entre vérification et contre-vérification des accouchements assistés dans les CdS Dans l’annexe 4 les détails des pourcentages d’écarts de la contre vérification quantité sont inclus. En général le constat peut être fait que les vérificateurs font leur travail raisonnablement mais ils ne travaillent pas tous dans la même façon : p.ex. Quelques uns acceptent des erreurs de remplissage et d’incomplétude des registres et autres pas et il y en a des erreurs dans la sommation des points. Il peut être constaté aussi que 1) de fois des différences majeures viennent à travers des outils qui ne sont pas bien harmonisé (registre de consultations externes, registre de CPN, registre de patients graves référés) ; 2) que les indicateurs ne sont pas écrit assez SMART et il n’y a pas un guide simple disponible pour les FOSA dans lequel il est bien expliqué comment de remplir les registres et quel donnée peut être compté ou pas (cas suivi en observation, patients graves référés, enfants de 12 à 59 mois ayant réalisé 4 visites standards) ; 3) il y en a aussi des différences entre les 3 équipes malgré le teste pour harmoniser leur façon de travailler.
  21. 21. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 20 De fois les différences sont grandes mais les numéros ne sont pas assez grands comme dans les indicateurs CPS 2 et les indicateurs des pilules et injectables (nouveaux et ancien acceptants). L’écart moyen de toutes les vérifications de tous les CdS et tous les districts est 14% (Katana : 21% ; Idwji : -3% ; Miti-Murhesa : 18%). 3.1.3. resultats et constats pca Les plus importants résultats des hôpitaux sont montrés dans les figures 6 et 7 et sont dirigés aux ‘nouveaux cas vus par le médecin’ et ‘autres accouchements dystociques’. Pour les hôpitaux, l’écart moyen est seulement 8% ce qui est un très bon résultat pour les vérificateurs. Les indicateurs de TB ne sont pas pris en compte à cause des fautes dans les formats et que les changements n’étaient pas bien partagé avec tous les équipes. Figure 6 Pourcentage écart entre vérification et contre-vérification nouveaux cas vus par le médecin 0% 20% 40% HGR Katana HGR Idwji HGR Miti Murhesa % ecart Nouveaux cas vus par le médecin Figure 7 Pourcentage écart entre vérification et contre-vérification autres accouchements dystociques 0% 10% 20% HGR Katana HGR Idwji HGR Miti Murhesa % ecart Autres accouchements dystociques Les résultats des autres indicateurs se trouvent dans Annexe 5. En général il peut être fait les mêmes observations que pour la vérification des indicateurs de la quantité PMA. 3.1.4. points forts La contre vérification des données a révélé des aspects positifs pouvant améliorer la qualité des données recueillies au niveau de l’hôpital ainsi qu’au niveau des centres de santé visités. Il ressort pendant cette contre vérification que toutes les formations sanitaires disposaient de registre des prestations de soins ce qui facilite la vérification des données payées au niveau de l’AAP. Ainsi, on trouve au niveau des services techniques de prestations de soins tels que la maternité, la pédiatrie, la gynéco-obstétrique, la chirurgie, la CPN et la consultation externe chaque
  22. 22. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 21 responsable qui pouvait mettre à jour les données et rendre disponibles les outils de collecte des données. Il est à noter que, pendant la contre vérification des données, le personnel a reconnu les erreurs dans le remplissage des registres ce qui constitue un point positif dans l’amélioration de l’utilisation des outils. Les erreurs reconnues par le personnel étaient à l’origine de la réduction des cas qui pouvaient être vérifiés à cause de manque de remplissage correct des registres. De fois ces erreurs constatées étaient déjà indiquées par les vérificateurs de l’AAP et les améliorations pouvaient être vu dans les mois après la vérification. Alors parmi les vérificateurs il y en a une bonne évolution sur base des faits constatés. L’hôpital Général de Référence de Katana est doté d’une banque de sang. La contre vérification des données produites au niveau de cette banque de sang a montré une bonne utilisation des registres avec une forte implication des donneurs bénévoles grâce aux effets multiplicateurs du FBP qui ont motivé le personnel en charge de cette banque de sang à développer des stratégies permettant d’avoir plus de donneurs de sang. En comparant la zone de santé de Katana aux zones de santé d’Idjwi et de Muti Murhesa, la contre vérification des données produites et vérifiées a montré quelques aspects positifs dans la mise en œuvre du programme FBP. Ainsi dans la zone de santé d’Idjwi, les données contre vérifiées étaient conformes à celles validées par l’AAP. Ce même constat a été fait dans la zone de santé Miti Murhesa où les prestataires ont été très sensibles aux conseils des évaluateurs afin d’améliorer la qualité de leurs prestations. 3.1.5. points faibles La contre vérification des données déclarées et vérifiées au niveau des centres de santé a mis en exergue quelques insuffisances dans la tenue des registres et la différence entre les données déclarées et vérifiées. Il a été remarqué dans les centres de santé les points suivants :  La mauvaise tenue des registres de prestations de soins où il n’y a pas d’en tête, ni rapport de clôture mensuelle, de rature dans les registres qui pourraient évoquer une tricherie des données déclarées par les prestataires ce qui peut causer un remplissage incorrect  La non-conformité des registres de prestation aux exigences des normes nationales et aussi bien au niveau de l’AAP et au niveau des prestataires : beaucoup de registres ont été achetés par les prestataires dont le tracé ne respecte pas les normes éditées par le ministère de la santé ;  Pour la quantité les indicateurs ne sont pas toujours assez SMART et la définition d’un cas valide pose quelquefois un problème.  La documentation et l’archivage laisse à désirer quelque fois.  Les écarts ont été constatés dans les données rapportées dans les SNIS et celles des registres des prestations. Ces écarts ont été évalués à plus de 10% et touchent notamment les nouveaux cas suivis mis en observation (Katana 61%) de différence entre les données vérifiées et celles contre vérifiées. Lors qu’il y en a plus des nouveaux cas suivis mis en observation comptés pendant la contre vérification en Idwji -13% et Miti-Murhesa -16%. Il en est de même pour les cas référés (Katana 33% ; Miti-Murhesa 91% ; Idwji - 20%)  Quant aux 2 indicateurs de CPS 2, un écart constaté entre les quantités produites et quantités vérifiées et la contre vérification a trouvé des chiffres très bas. La mauvaise tenue de registre de CPS qui montre que beaucoup d’enfants de CPS1 se trouvent dans le registre de CPS 2 et l’absence de précision sur le statut vaccinal des enfants en CPS2 donnent les causes des écarts ;  Ces écarts constatés dans les données de la contre vérification touchent également la CPN. Ainsi, 81% (Katana) d’écart ont été relevés entre les grossesses à haut risques référés et celles enregistrées dans le registre de CPN. Cette incohérence entre les effectifs des femmes ayant suivi successivement la CPN1, 2, 3 et 4 a entrainé des effets pervers liés à la CPN1 et 3 qui sont subventionnées. Cette situation explique l’intention des cas de fraude par les prestataires.  Pas tous les CdS donnent un PMA complet: pour les activités de TB quelques centres spécifiques sont indiqués par le gouvernement alors dans les CdS visités aucun donne ces activités et le CS Birava n’a pas de maternité. Dans ces cas il y en a un problème de considérer les points pour les activités ou pas.
  23. 23. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 22 Au niveau des hôpitaux, la tenue de certains registres et autres constats touchant les indicateurs ont fait ressortir les faits suivants :  En Katana, la séparation des groupes sanguins des donneurs et receveurs dans 2 registres différents (en octobre 2013, les groupes sanguins des donneurs et receveurs étaient ensemble et ils sont séparés à partir de Mars 2014) ; ce qui ne facilite pas le comptage des cas enregistrés.  Les erreurs de remplissage des registres de prestations de soins, dans la contre vérification des données produites au niveau des différents services de prestation des soins, il a été constaté que les cas prévues pour les items précis n’étaient pas correctement remplis et complétées. Cette situation constatée lors de la contre vérification des données ne permet pas la validation des données vérifiées. Et il est recommandé cependant aux formations sanitaires lors de cette visite de tenir les registres tels que le ministère de la santé et l’AAP exigent.  A l’autre côté, les vérificateurs de l’AAP n’ont pas suivi les guides pour le remplissage rigoureusement ce qui a augmenté les écarts aussi.  Les indicateurs de PCA tels que les actes de chirurgies majeures, mineures et les jours d’hospitalisations ne figurent pas sur le résumé mensuel alors qu’ils étaient enregistrés dans les registres de prestations. La révision de résumé par l’AAP en intégrant ces indicateurs cités;  Il y a constaté un manque de cohérence dans la numérotation des dossiers des patients et l’insuffisance de preuve de vérification de l’arrivée de retro information au niveau des Centres de Santé par l’AAP et il expliquera la proportion grande d’écart constatée pour les nouveaux cas vus par le médecins (Katana 35%), transfusion sanguine (Katana 58%), autres accouchements dystociques (Katana 13% ; Idwji 16%) et ligature et vasectomie (Katana 57% ; Miti-Murhesa 80%) au niveau des hôpitaux visitées. Plus général, il est aussi constaté que :  Les vérificateurs de l’AAP ne travaillent pas tous de la même façon et que les fautes sont commises dans les calculs.  Lorsque les équipes ont essayé d’harmoniser les outils et leur façon de travailler, il apparaît qu’il y en a une différence entre l’interprétation des outils et les équipes. C’est sûr que cela a causé aussi des écarts entre les constats de la contre-vérification.  L’exploitation des outils utilisés et des rapports SNIS ont montré quelques insuffisances et incohérences dans la contre vérification des données produites par les formations sanitaires et vérifiées par l’AAP dans tous les 3 zones de santé.  Il a été constaté qu'il y a des indicateurs qui ne sont plus vérifiées, bien qu'ils apparaissent toujours sur la liste des indicateurs ; il s’agit des indicateurs tels que mentionnés dans paragraphe 3.1.1. 3.1.6. recommendations Au regard des insuffisances constatées lors de cette contre vérification des données et dans le souci d’améliorer la qualité des données quantitative et de rendre le programme FBP plus performant, quelques recommandations ont été formulées. Il s’agit entre autres de:  Redéfinir les indicateurs qui doivent être pertinent et SMART pour faciliter la validation des cas enregistrés ;  Redéfinir les outils pour la vérification quantitative (les canevas standards, la protocole de remplissage et les bordereaux) et les rendre plus SMART ;  Élaborer un outil simple des exigences pour remplir ;  Analyser les données SNIS et les données produites avant la validation des données vérifiées pour éviter les effets pervers sur le budget du projet ;  Améliorer le remplissage des registres en respectant les normes nationales ;  Tenir à jour les registres de prestations de soins selon les normes nationales ;  Les hôpitaux doivent faire un feedback sur les cas de références reçus des Centre de Santé lors des réunions des soins de santé primaires (SSP) et remettre les fiches de contre référence aux CdS.
  24. 24. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 23  Pour les prochaines missions des contre-vérifications, tester bien les outils disponibles et harmoniser davantage le mode du travail de différentes équipes  Définir comment de traiter les points dans le cas que les CdS et/ou Hôpitaux ne donnent pas certains services. 3.2. qualité hopitaux et centres de santé 3.2.1. introduction Dans la mise en œuvre du FBP, la qualité des services est très importante et fait partie des aspects de la contre vérification. Deux aspects de la qualité était prévu à savoir la qualité technique et la perception de la communauté de la qualité des services offerts par son centre de santé ou son hôpital. Le trimestre sous investigation était le 1 ière trimestre de 2015 (janvier-mars). Par manque de temps, seulement un faible échantillon des malades ayant utilisé les services ont été interrogés et le nombre était tellement petit qu’on a décidé de ne pas utiliser ces résultats durant cette évaluation. La vérification de la qualité des CdS est réalisée une fois par trimestre par le BCZS de chaque district. La vérification de la qualité d’hôpitaux/centres hospitaliers est faite par les pairs. Le score qualité est un pourcentage composé et est basé sur la qualité communautaire (45%), les documents de base bien tenus (5%) et la qualité technique (50%). En suite le subside à obtenir pour la qualité est : 25% x montant obtenu par la quantité x score qualité La contre vérification a montré les avancées importantes sur le terrain, mais aussi les points à améliorer. Sur la base des points à améliorer, les recommandations sont formulées pour permettre de corriger ses faiblesses. Les outils qualitatifs utilisés se trouvent dans le manuel de procédure dans le portail http://health.pbfsudkivu.org/. Les éléments les plus importants dans les deux outils sont résumés dans le tableau ci-dessous. Tableau 8 : Une résumé des éléments les plus importants dans la qualité PMA et PCA QUALITE PMA QUALITE PCA Mise en place de l’équipe Réalisation des activités  Planification et coordination du CS  Rapports d’activités communautaires  Activités curatives  Activités de la maternité  Activités préventives Activités de supervision Activités de suivi-évaluation Audit de gestion des médicaments et autres intrants Gestion financière Fonctionnement de l’hygiène Fonctionnement de laboratoire Fonctionnement de l’hôpital - Mise en place de l’équipe - Activités de planification et coordination - Activités de suivi-évaluation - Gestion des médicaments et autres intrants - Gestion des équipements - Renforcement des capacités - Hygiène hospitalière Activités cliniques - Activités curatives - Appréciation de la qualité des soins - Activités para clinique Score de la Gestion Financière
  25. 25. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 24 3.2.2. écarts contre vérification de qualité En général le pourcentage de la qualité réalisé par le BCZS est entre 73% et 96% pour les CdS dans les trois districts. Néanmoins, l’écart en Miti-Murhesa est plus que dans les autres zones de santé parce que on suspect que la complexité des indicateurs conjointement avec la qualité des vérificateurs de BCZS est une des causes d’un plus grand écart. Le CS Mugote au Idjwi n’est pas pris en compte parce que pas toute la liste des indicateurs était vérifiée pendant la contre-vérification à cause d’un problème de sécurité. Figure 8 Résultats CdS de Katana de la vérification, de la contre-vérification et l’écart entre les deux 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Mugeri Ihimbi Katana Nuru Birava Ibinja % réalisé BCZS % réalisé contre-vérification % écart Figure 9 Résultats CdS d’Idwji de la vérification, de la contre-vérification et l’écart entre les deux 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Mafula Mpene Lumala Bushonga % réalisé BCZS % réalisé contre-vérification % écart
  26. 26. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 25 Figure 10 Résultats CdS de Miti-Murhesa de la vérification, de la contre-vérification et l’écart entre les deux 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% Kavumu Kahungu Bushumba Lwiro Mbayo % réalisé BCZS % réalisé contre-vérification % écart Figure 11 Résultats qualité d’hôpitaux de Katana, Idwji et Miti-Murhesa de la vérification, de la contre-vérification et l’écart entre les deux -20% 0% 20% 40% 60% 80% 100% HGR Katana HGR Idwji HGR Miti Murhesa % réalisé BCZS % réalisé contre-vérification % écart Pour HGR Idwji, la qualité réalisé pendant la contra vérification est plus que pendant la vérification des pairs. Les écarts ne sont pas très grands. Tous les résultats de la contra vérification qualitative se trouve dans annexe 6 (CdS) et 7 (Hôpitaux).
  27. 27. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 26 3.2.3. points forts Parmi les points forts révélés par la contre vérification en matière de la qualité des soins offerts par les hôpitaux et les centres de santé, nous pouvons relever les suivants : Il n’y a pas des grands écarts entre le score de qualité attribué par les vérificateurs des BCZS et les pairs (pour la vérification des hôpitaux) et celui issu de la contre vérification en Katana et Idwji. En Miti Murhesa l’écart est plus grand. Le plateau technique est suffisant pour offrir les services de qualité aux populations. Il s’agit en général du personnel en effectif et qualification requise. C’est un personnel motivé et consciencieux. Les équipements sont aussi présents et surtout dans les maternités permettant le suivi adéquat des femmes enceintes et les accouchements. Le personnel de santé et les populations comprennent et apprécient l’approche FBP. Le petit échantillon des patients tirés au hasard sont retrouvés dans la communauté et apprécient la qualité des soins reçus dans leur formation sanitaire. Ils jugent aussi raisonnable le coût des soins appliqué dans leur formation sanitaire. En général le personnel de santé applique les ordinogrammes pour assurer les diagnostics et les traitements corrects. Les indigents ont accès aux soins à travers un mécanisme de leur identification dans la communauté et l’offre gratuite de leurs soins de santé. Les outils de gestion sont bien tenus dans les formations sanitaires retraçant la gestion des structures en ressource humaine, matériel et financière et des activités. Les hôpitaux sont dans un bon état de salubrité garantissant la qualité des soins aux malades. A côté de cette amélioration de la qualité des soins, la contre vérification a identifié les points faibles qui nécessitent une attention particulière. 3.2.4. points faibles qui nécessitent une attention particulière Le personnel dans les centres de santé n’est pas assez entreprenant. Des initiatives et des innovations n’ont pas été vues durant la contre vérification. Il en est de même pour la faible capacité des gestionnaires à planifier, à faire le suivi et à évaluer les activités et les finances. Les (petits) écarts sont expliqués par la complexité des indicateurs de qualité. Les indicateurs de l’évaluation de qualité ne sont pas SMART et donnent souvent lieu à des interprétations diverses et même une approche différente parmi les vérificateurs. D’autres indicateurs sont répétés plusieurs fois. Une grande proportion des indicateurs de qualité concerne les activités administratives (32) au détriment des activités de soins (curatives, préventives et promotionnelles, en total 53) et des autres activités (pharmacie, laboratoire, finance, en total 24). Tandis qu’il est également possible de rendre compte les indicateurs administratifs dans le plan de management. Surtout en Miti Murhesa, cette complexité des indicateurs conjointement avec la qualité des vérificateurs de BCZS est la cause d’un plus grand écart. Certains centres de santé ne disposent pas de la chaine de froid pour la conservation des vaccins et de certains réactifs du laboratoire et de certains médicaments. Ceci constitue une grande menace quant à la qualité des vaccins administrés aux enfants et à la qualité des certains réactifs de laboratoire et de certains médicaments comme l ‘oxytocine. Il y a un manque de personnel à certains postes clés du centre de santé notamment les accoucheurs qualifiés dans les maternités et les laborantins qualifiés. La gestion des financières des centres de santé est confiée aux personnels non aptes à le faire. Certains centres de santé ne réalisent pas le PMA complet ainsi que certains hôpitaux qui mettent en œuvre partiellement le PCA. Par exemple les CdS et hôpitaux qui ne traitent pas les patients avec la tuberculose. Au niveau
  28. 28. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 27 de l’évaluation de la qualité, l’équipe de la contre vérification a constaté que cette faiblesse n’est pas sanctionnée par la note zéro, mais le régulateur considère ce manquement comme non applicable par la structure alors le pourcentage est supérieur à ce qu'il devrait être. Les structures de santé ont l’obligation de réaliser le paquet complet des soins (PMA, PCA). En plus il y avait plusieurs outils et/ou formats rotatives et les vérificateurs ont fait des erreurs survenues dans la notation. Certains indicateurs sont restés statiques et évalués trimestriellement alors qu’ils pouvaient être évalués une fois par l’an ou intégré dans le plan de management comme condition de signature de contrat (dossier du personnel, carte sanitaire, l’organigramme, l’horaire de travail, le job description, le règlement d’ordre intérieur). Il est noté que les CdS et Hôpitaux de fois ne prennent pas les mésures simple pour les défis (fermeture des toilettes ou douches). Le non respect des normes de gestion des médicaments dans les pharmacies a été constaté comme les différents seuils à l’occurrence le seuil d’alerte. Au vue de ces faiblesses, les recommandations ont été formulées. 3.2.5. recommandations Au regard des insuffisances constatées lors de cette contre vérification des données et dans le souci d’améliorer la qualité des données qualitative et de rendre le programme FBP plus performant, quelques recommandations ont été formulées. Il s’agit entre autres de:  L’équipe cadre de la zone devra faire un accompagnement de proximité des infirmiers titulaires et de leurs équipes sur la gestion des Centres de Santé afin de leurs rendre plus responsables, entreprenants et plus aptes à gérer certains sujets (par exemple les finances).  L’équipe technique du Ministère Provinciale de la Santé et le personnel de Cordaid et de l’AAP devraient réviser les grilles/indicateurs de qualité en mettant l’accent sur la qualité des services rendus aux malades et les rendre plus SMART.  Les équipes cadre des bureaux des zones de santé devraient rendre disponibles les chaines de froids dans tous les Centres de Santé pour la conservation des vaccins, des réactifs ainsi des médicaments.  Chaque zone de santé devrait élaborer une liste des médicaments traceurs permettant de traiter les maladies courantes de la zone de santé et assurer la disponibilité permanente des ses médicaments. Ceci à travers le respect du délai de commande des médicaments en tenant compte du seuil d’alerte et le stock défini.  L’équipe cadre de chaque zone de santé devrait attacher une importance particulière pour l’hygiène et assainissement dans les centres de santé de sa zone ainsi qu’à la compréhension et l’utilisation des ordinogrammes.  Le bureau Cordaid de Bukavu devrait revoir la proportion des primes de qualité des prestataires à la hausse quant à la distribution des numérations par indicateur et discuter si les coûts des subsides qualitatifs doivent atteindre plus de 25% des coûts des subsides quantitatifs actuels et si la proportion pour la satisfaction des patients doit être plus que actuelle. Dans le cas que la satisfaction des patients gagnera un plus haut pourcentage, les formats doivent être révisé et plus étendu.  Les vérificateurs de BCZS de Miti-Murhesa doivent être formés plus pour être capable de vérifier bien la qualité. En plus, tous les vérificateurs doivent être formés dans une approche unique.  Il doit être discuté si la vérification qualité peut être faite par les pairs (ensemble ou pas avec le BCZS) pour que les pairs apprennent des autre CdS.  Dès que tous les indicateurs sont révisés, les équipes devront vérifier les CdS bien pour déterminer qu’ils ont un score de qualité de plus de 60% qui est nécessaire pour obtenir un contrat de FBP.  Le BCZS doit controler bien que les CdS prennent les petits mésures faciles pour améliorer la qualité.
  29. 29. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 28 3.3. quantité et qualité bureaux central zones de santé (bczs) 3.3.1. introduction Les équipes mixtes des experts externes, des membres du BCZS et de l’AAP comme observateur de chaque district, ont vérifiés les données quantitatives du BCZS pour les mêmes mois que les FOSA, notamment le mois d’octobre 2013, de mars 2014 et de juillet 2014. La vérification qualité des données de BCZS était effectuée seulement pour le BCZS de Miti-Murhesa. Les outils qui ont été utilisés étaient ceux en cours d’utilisation au premier trimestre 2015 (http://health.pbfsudkivu.org) . L’équipe de la contre vérification de BCZS Miti-Murhesa était divisé en deux sous équipes, une s’occupant de la contre vérification quantitative, l’autre de la contre vérification qualitative avec la participation dans chaque équipe des membres des BCZS. Tableau 9 : Les éléments dans la grille d’indicateurs de la quantité de BCZS N° PRESTATION CIBLE MAXIMUM PAR MOIS 1 Supervisions du Médecin Chef de Zone 8 2 Supervisions de l’administrateur 8 3 Supervisions des infirmiers superviseurs 16 4 Supervisions du TDR 4 5 Supervision Nutritionniste 4 6 Autres Supervisions 5 7 Visites de validation des données dans les FOSA par l'équipe de BCZ 1 fx par trimestre (1 point pour chaque FOSA) 8 Visite de suivi et évaluation conjointe ECZ-AAP des plans Management 1 fx par trimestre 9 Réunion validation des données (le paiement si GESIS corrigé cfr SNIS corrigés envoyés par les CS) 1 10 Evaluation Trimestrielle de la qualité Technique dans les FOSA 1 point pour chaque FOSA 11 Qualité des activités de l'ECZ évaluée par la DPS (le montant est multiplié par le score qualité réalisé à l’évaluation qualité du trim passé si score inf. à 80%) 1 fx par trimestre 12 Promptitude et complétude des rapports SNIS et du GESIS à la DPS 1 Normalement, les vérifications quantitatives sont faites par des vérificateurs de l’AAP. Un paquet de 12 indicateurs est contracté au niveau de BCZS. Pour tous les indicateurs, une cible maximum est définie par mois. Par exemple, si l’équipe BCZS faisait plus des supervisions, ces extras ne sont pas payants. La vérification est faite une fois par trimestre.
  30. 30. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 29 Tableau 10 : Un résumé des groups d’indicateurs de la qualité de BCZS QUALITÉ BCZS SCORE MAX A. Score de la mise en place de l’ECZS 25 B. Score des activités de planification et de coordination de l’ECZS 55 C. Score des activités de suivi et évaluation de l’ECZS 29 D. Score des activités de l’encadrement et de l’assurance de la qualité par l’ECZS 46 E. Score de Gestion des équipements 12 F. Score de gestion financière 25 G. Score de fonctionnalité de l’approvisionnement en MEG et autres intrants 40 H. Score des activités de la gestion administrative 19 Total 251 La vérification de qualité pour le BCZS est faite par la DPS à la fin de chaque trimestre. Les indicateurs sont groupés dans huit catégories, comme indique en haut. 3.3.2. constats au niveau des bczs Hors du fait que sur le bordereau de la quantité le mois est indiqué, il ne parait pas possible de vérifier les données par mois, seulement par trimestre. À cause de ce fait, les données quantitatives ne sont pas prises en compte. La contre-vérification des données qualitatives est seulement faite chez le BCZS de Miti-Murhesa. L’écart entre la vérification faite par le DPS et la contre vérification était seulement 2% lors que dans les indicateurs séparés la différence est plus comme indiqué dans le tableau ci-dessous (p.ex. Score de la mise en place de l’ECZS et Score des activités de la gestion administrative). Tableau 11 : Les résultats de la (contre) vérification de la qualité de BCZS Miti-Murhesa Indicateur Score max Valeur acquise par DPS Valeur contre- vérification Pourcentage DPS Pourcentage contre- vérification LEADERSHIP DE L’ECZS A. Score de la mise en place de l’ECZS 25 22 13 88% 52% B. Score des activités de planification et de coordination de l’ECZS 55 39 42 71% 76% C. Score des activités de suivi et évaluation de l’ECZS 29 26 21 90% 72% D. Score des activités de l’encadrement et de l’assurance de la qualité par l’ECZS 46 41 40 89% 87% E. Score de Gestion des équipements 12 10 10 83% 83% F. Score de gestion financière 25 23 25 92% 100% G. Score de fonctionnalité de l’approvisionnement en MEG et autres intrants 40 33 30 83% 75% H. Score des activités de la gestion administrative 19 8 14 42% 74% Total 251 202 195 80% 78%
  31. 31. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 30 La mission de la contre évaluation a pu identifier des points forts dans la mise en œuvre du programme FBR et des points faibles qui restent à améliorer au niveau des BCZS. Lors qu’on ne peut rien dire des données quantitatives, l’impression que les équipes ont des BCZS sont pris en compte. 3.3.3. points forts La disponibilité de toutes les équipes des BCZS; la disponibilité des plans de management annuels, semestriels et trimestriels; la disponibilité de moyen roulant pour atteindre les centres de santés ; la planification des supervisions des structures de soins selon les problèmes identifiées; le respect de la planification des supervisions et la production des rapports de supervision; la disponibilité des outils de la gestion financière et des rapports financiers; la disponibilité des ressources humaines et matérielles (cadres des BCZS, chaîne froid, source d’énergie solaire) leur permettant d’atteindre les objectifs. 3.3.4. points faibles La mission de la contre évaluation mets en exergue que certains indicateurs dans la grille d’évaluation ne peuvent pas être évalués au niveau de BCZS, comme la visite de validation des données dans FOSA, la visite de suivi des plans de managements avec AAP étant donné qu’il n’y a aucun document qui atteste que ces activités ont été réalisées par les BCZS. La promptitude et la complétude des rapports SNIS et GESIS ne peuvent pas être vérifiées au niveau du BCZS suite manque d’accusé de réception émanant de la DPS. Les indicateurs contractés au niveau du BCZS ne représentent pas les priorités et les activités pertinentes du programme FBP et nécessitent une révision. Les modalités de prise en charge des indigents ne sont pas conformes aux réalités locales et certaines structures ne sont pas supervisées malgré les faiblesses identifiées dans ces dernières notamment au niveau du BCZS de Miti Murhésa. Toutes les supervisions faites par le BCZS ne causent pas une amélioration de la qualité des CdS, notamment au niveau de Miti Murhesa. Avec la nouvelle méthodologie d’évaluation de la qualité des FOSA par les tablettes, certains BCZS ne restent pas avec une copie du rapport d’évaluation de la qualité des FOSA. Ensuite, la mission de la contre vérification a constaté une faiblesse de l’analyse, le suivi et l’évaluation des plans de management du BCZS et par conséquent il y a une faiblesse de l’encadrement de l’analyse, le suivi et l’évaluation des plans de management semestriel et trimestriel des FOSA de leurs ressorts. Il y a également un faible archivage des documents techniques et administratifs et du suivi de la gestion de la pharmacie en particulier au BCZS de Miti Murhésa. 3.3.5. recommandations De tous ces constats au niveau des BCZS, la mission de la contre vérification recommande ce qui suit :  S’assurer que les indicateurs contractés au niveau du BCZS peuvent être vérifiés à leur niveau;  Procéder à la révision des indicateurs pour ressortir les priorités ainsi que les activités pertinentes en rapport avec les attributions de la zone de santé conformément aux normes nationales et de les rendre plus SMART;  Faire une supervision intégrée dans les structures en vue d’améliorer la qualité des soins.  La prise en charge des indigents doit être diversifiée par aire de santé et conformément aux réalités locales ;
  32. 32. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 31  Les BCZS doivent s’assurer du respect des éléments constitutifs de la validité d’un indicateur pour sa prise en compte  Les BCZS doivent rester avec une copie de l’évaluation de la qualité des FOSA (Miti Murhesa)  Assurer l’évaluation et le suivi du plan de management en précisant le niveau d’atteinte des résultats, en précisant les contraintes rencontrées dans la mise en œuvre du plan de management, en dégageant les voies de solutions pour atteindre les résultats fixés et en précisant les personnes responsables et les délais d’exécution ;  Développer la culture de suivi et évaluation des activités planifiées à divers niveaux  Assurer le bon archivage des documents administratifs et techniques (Miti Murhesa)  Assurer le suivi de la gestion de la pharmacie (remplissage de fiches de stock, la sortie des médicaments par date de péremption) (Miti Murhesa) 3.4. évaluation du regulateur du niveau provincial Ce chapitre concerne l’évaluation du régulateur et plus précisément la contractualisation du Ministère Provincial de la Santé, de l’Inspection Provinciale de la Santé et trois bureaux de la Division Provinciale de la Santé (B2 appui aux établissements de soins, B3 Inspection Pharmaceutique et le B5 appui aux zones de santé). Ces contrats ne passent pas par l’AAP, mais ils sont signés directement entre le bureau de Cordaid Bukavu et le bureau du régulateur concerné, c'est-à-dire qu’il y a 5 contrats séparés. L’équipe a eu une rencontre avec les responsables des différents bureaux (pour les personnes rencontrées voir les détails chapitre 2); durant la rencontre nous avons suivi les étapes suivantes : i. La contre vérification des résultats vérifiés dans le dernier rapport trimestriel de vérification disponible au bureau de Cordaid ; en cas de besoin les responsables ont répondu aux questions d’éclaircissement; ii. Une discussion sur les points forts et faibles tels qu’ils sont appréciés par les équipes contractés; iii. Une analyse des 6 principes FBP telles qu’applicable au contrat spécifique avec le régulateur; iv. Des suggestions pour améliorer le programme. Dans ce chapitre nous décrivons les résultats de la contre vérification par bureau contracté. Une analyse des points forts et faibles et le respect des principes FBP sont décrits pour l’ensemble des bureaux visités. Un dernier paragraphe contient quelques recommandations. Les grilles d’indicateurs utilisées se trouvent en Annexe 8. 3.4.1. contrat avec le ministère provinciale de la santé Le dernier rapport de vérification date de mars 2015. La contre vérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a quelques observations à faire :  Il existe un canevas de suivi et d’évaluation du plan opérationnel; cependant nous constatons que l’existence de ce canevas depuis plusieurs années n’a pas motivé l’équipe à l’utiliser comme outil de travail. Il est conseillé de remplir périodiquement le tableau pour qu’on soit en mesure de suivre l’atteinte des résultats formulés.  Le MPS programme son travail trimestriellement par un plan de management, et il existe des réunions internes de suivi de l’exécution de ces plans avec des comptes rendu. Ces procès-verbaux sont globales sans qu’il ait des détails sur les indicateurs du plan annuel, ni une analyse des problèmes rencontrés.  Le résultat ‘Amélioration de l’offre des soins’ avec comme indicateur ‘80% des structures sanitaires privées de la ville de Bukavu et Uvira sont assainies’ est bien important, mais il manque un indicateur sur le répertoire des ITM’s dans la province qui relèvent également de l’autorité provinciale.  Dans le rapport définitif signé par Cordaid il y a des erreurs dans la colonne ‘score attribué’ par rapport à l’original rempli durant la vérification et il y a des cellules vides dans cette colonne. Par ailleurs, le total de la colonne ‘score attribué’ n’a pas été calculé, bien que le rapport a été signé.
  33. 33. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 32 3.4.2. contrat avec le bureau 2 de la dps Après la fin du contrat en septembre 2014 il y a eu un vide. Le nouveau contrat a été signé en février avec un effet rétroactif jusqu’en octobre 2014. Jusqu’à nos jours aucune avance n’a été financée ni le paiement du deuxième trimestre dont le rapport de vérification date de 18 mars 2015. La contre vérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a quelques observations à faire :  Il y a quelques erreurs administratives dans le tableau de vérification, tel que le remplissage de la colonne T1, bien que cette trimestre n’a pas été vérifié.  Un bon nombre des résultats n’ont pas été réalisé à cause d’un manque de moyens financiers.  L’équipe de vérification a fait la remarque qu’il faut ‘éviter de faire plusieurs missions de terrain avec un seul ordre de mission’. L’équipe du B2 a expliqué qu’ils s’organisent en missions conjointes pour éviter les dépenses. Etant donné que le FBP finance un résultat et que la tarification n’est pas liée aux coûts d’une activité, nous avons jugé qu’il ne faut pas défavoriser les missions conjointes. Mais l’ordre de mission, si elle est unique, doit contenir toutes les activités à mener pour qu’il soit clair que c’est une mission conjointe.  Dans les rapports d’évaluation de la qualité des services des ECZ en utilisant le canevas national, nous avons constaté que régulièrement l’équipe du B2 ne donne qu’un score total, sans qu’elle coche les détails du tableau. De cette manière on ne peut pas bien voir quels sont les éléments qui posent problèmes. Il est conseillé de cocher désormais tous les détails pour pouvoir calculer le score total d’une manière plus objective. 3.4.3. contrat avec le bureau 3 de la dps Le dernier trimestre (T4) de l’ancien contrat n’a pas été évaluée raison pour laquelle ce trimestre n’a pas été payé. Le nouveau contrat a été signé en février avec un effet rétroactif jusqu’en décembre 2014. Jusqu’à nos jours aucune avance n’a été financée. Le dernier rapport de vérification date du 30 mars 2015. La contrevérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a quelques observations à faire :  Le tableau ‘Plan d’achat de performance’ et le canevas de la vérification ne sont pas cohérent à 100%.  Le canevas de vérification contient encore le résultat sur le MINILAB, tant que ce résultat a été supprimé.  L’équipe du B3 discute sur la cotation obtenue par rapport à certains indicateurs. L’équipe d’évaluation n’a pas eu l’habitude de laisser un tableau de vérification remplie et signé par les deux parties à la fin de chaque séance de vérification.  Le résultat ‘Sanction des FOSA utilisant les subsides Cordaid pour acheter les médicaments sur le marché illicite’ et l’indicateur ‘Sanctions des récalcitrants’ ne nous semble pas bien formulé. Il s’agit naturellement de tous les médicaments achetés dans les FOSA concernées. Et l’indicateur ‘sanctions’ ne relève pas de la compétence unique du B3. Ceci demande une intervention de la hiérarchie qui n’est pas cosignataire du contrat.  Plusieurs activités ne sont pas menées manque de préfinancement.  Le résultat sur la présence d’un agent du B3 à chaque poste frontalière a été réalisé dans l’ancien contrat et le B3 suggère qu’il doit être supprimé. 3.4.4. contrat avec le bureau 5 de la dps Le dernier rapport de vérification date de juillet 2014. Le paiement de ce troisième trimestre du contrat (T3) n’a jamais été effectué, malgré l’existence d’un rapport de vérification. Depuis lors aucune vérification n’a été menée étant donné que le contrat entre ce bureau et Cordaid a été suspendu. La contrevérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a deux observations à faire :
  34. 34. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 33  Le résultat ‘Intégration des données par tranche d’âge’ n’a pas été réalisée à cause du fait qu’il y a eu un blocage au niveau national qui imposait le canevas national comme seule et unique canevas pour informatiser les données. C'est-à-dire que la non atteinte de ce résultat n’était pas la faute du B5. Par la suite il y a eu des échanges par écrites qui ont mené au responsable du B5 de demander la suspension du contrat en cours. Au moment où des projets demandent des données hors du canevas national, le B5 est en mesure de développer un logiciel spécifique, mais c’est un travail supplémentaire qui doit être budgétisé.  Sur le résultat ‘audit des données dans les ZS’ un des indicateurs étaient ‘le suivi des recommandations précédentes’. Nous nous posons la question sur la pertinence de cet indicateur étant donné qu’il s’agissait en pratique souvent des zones qui ont été visitées pour la première fois. 3.4.5. contrat avec le bureau de l’inspecteur provincial Le dernier trimestre (T4) de l’ancien contrat n’a pas été évaluée raison pour laquelle ce trimestre n’a pas été payé. Le nouveau contrat a été signé en février avec un effet rétroactif jusqu’en décembre 2014. Jusqu’à nos jours aucune avance n’a été financée. Le dernier rapport de vérification date du 30 mars 2015. La contrevérification a constaté que cette vérification a été exécutée en bonne et due forme. Cependant il y a quelques observations à faire :  Le rapport ne contient pas les détails de la cotation des indicateurs, mais uniquement les résultats à atteindre.  Le résultat ‘au moins 2 mutuelles de santé sont créées dans la province’ pourrait être valable dans l’ancienne structure de la DPS. Dans l’avenir la cellule qui s’occupe des mutuelles sera hiérarchiquement liée au Ministère et elle ne fait plus partie de la DPS.  L’indicateur ‘Un taux d’accroissement de 4% de nouveau adhérent aux MUSA’ n’est qu’indirectement lié à la performance de l’Inspecteur. Il y a beaucoup d’autres acteurs impliqués.  La province pilote l’approche SQI et le suivi des plans d’amélioration issu de SQI est parmi les résultats acheté. Il se pose la question à mi-terme comment cette approche se marie avec les indicateurs de qualité développé dans le cadre du FBP.  Le résultat ‘Supervision interne des bureaux et coordination de la DPS’ ne tient pas compte de la restructuration de la DPS ; le nouveau DPS est déjà nommé et il a commencé son travail. 3.4.6. analyse des forces et faiblesses L’entretien libre avec les membres du personnel des bureaux contractés ont permis aux uns et les autres de s’exprimer sur la façon dont l’approche FBP a été exécutée. En général tous les acteurs sont convaincus que le FBP est une bonne approche, mais que depuis début 2014 il s’est instauré une certaine lourdeur dans l’exécution du projet avec certaines irrégularités et non-respects des clauses du contrat. Ce rapport n’est pas le lieu d’entrer en détails mais nous citons le constat majeur dans le dernier rapport d’évaluation du bureau du MIP « De tous les constats faits, il a été retenu que la majeure partie des irrégularités concernent les deux parties et dont les chances d’améliorer sont à privilégier en se focalisant sur le respect du Manuel de procédures en vigueur ». Ce dit, le constat peut être fait qu’actuellement les parties font un effort pour régulariser la situation, mais qu’on n’y est pas encore. Cordaid vient de virer l’argent lié à la dernière vérification en incluant une avance pour le trimestre en cours tel que prévu par le manuel. Cependant, cet argent n’est pas encore perçu par les intéressés vu la lenteur dans les procédures bancaires. Les équipes d’évaluation dans les zones de santé sont également demandé aux ECZ leur appréciation par rapport au régulateur. Nous énumérons ici les points positifs et négatifs tels que cité par les équipes visités (les 5 bureaux et les ECZ).
  35. 35. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 34 Points positifs :  Le FBP a aidé à développer une planification rationnelle et une mise en application effective des tâches des membres de l’équipe. Les plans de travail trimestriels sont généralement établis, même si cette activité ne fait plus partie des indicateurs à acheter. C’est déjà devenu une habitude pour les trois bureaux de la DPS.  Le FBP aide à travailler en équipe et de bien gérer les relations entre le personnel. L’utilisation de l’argent obtenu est discutée en équipe.  Les réunions de travail s’effectuent régulièrement et on vise les résultats.  Les indicateurs sont revus annuellement par une équipe mixte des deux parties contractantes ; dans la majorité des canevas de cotation on a détaillé les résultats à atteindre ce qui permet à juger partiellement aussi la qualité du travail. De cette manière le FBP incite à un travail de qualité.  Les zones constatent avec satisfaction que la hiérarchie est de plus en plus présente. Points faibles:  L’absence d’une relation entre les coûts d’un résultat à atteindre et la tarification FBP. Quelquefois il est difficile à obtenir un résultat satisfaisant à l’absence d’un budget de fonctionnement régulier.  Lors d’une évaluation l’équipe d’évaluation n’a pas l’habitude de laisser une copie de la cotation à la structure évalué, avec signature des deux parties, pour qu’elle puisse contrôler si le rapport final et la facturation par la suite sont conformes.  Le résultat à atteindre pour certains résultats ou indicateurs n’a aucune relation avec le travail ou la performance du bureau concerné. La non-atteinte de ces résultats est un facteur de démotivation des équipes. Elle va à l’encontre des principes du FBP.  Les résultats à atteindre ne concerne qu’une partie du travail à réaliser par les différents bureaux. Le danger est qu’on favorise les résultats contractés par rapport aux activités non-contractés.  Depuis 2014 on constate un retard assez régulier dans la signature des contrats et le paiement ; les partenaires contractés ne sont pas suffisamment informés sur ces retards. D’ailleurs les avances de 30% du budget telles que prévues dans le manuel de procédures ne sont pas versés depuis plus d’un an, ce qui les freine dans l’exécution des plans de travail.  La méthodologie de vérification n’implique pas encore une vérification sur le terrain des actes posés et la satisfaction des structures par rapport à l’encadrement de la hiérarchie.  La contractualisation séparée des différents bureaux d’une même structure ne favorise pas le travail en équipe ni la transparence dans la gestion.  L’approche de financement et les canevas de rapportage des différents partenaires qui appuient les zones de santé ne sont que peu harmonisés. A la fin de chaque trimestre il y a une surcharge de travail. 3.4.7. analyse des constats Après avoir discuté avec les membres des différents bureaux au sujet des principes FBP l’équipe d’évaluation constate que :  La grande majorité des résultats à atteindre sont pertinents et en rapport avec la politique dans la matière. Pour beaucoup d’activités des canevas nationaux sont utilisés. Les indicateurs de qualité sont bien liés à la performance. Dans quelques contrats il y a des résultats/indicateurs faiblement liés à la performance du bureau contracté (voir pour les détails les paragraphes précédents).  Les contrats ne contiennent pas tous les résultats à atteindre par les structures contractées, ce qui emmène le risque de prioriser les activités contractées.  Sur les 5 structures contractées, quatre ont l’habitude d’établir des plans de travail trimestriel et l’exécution de ces plans sont évalués. Cependant, ces évaluations sont quelquefois très globales et ne suivent pas les résultats à atteindre des plans d’action annuels.  Les structures contractées gèrent leur propre budget FBP. En plus du FBP, le MPS a un budget de fonctionnement financé par la Province. Le décaissement de ce budget est encore faible. Le budget provincial ne contient pas encore des lignes FBP ni des lignes budgétaires pour le fonctionnement de la
  36. 36. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 35 DPS. Les activités de la DPS sont en majorité financées d’une manière ad-hoc par les programmes nationaux ou des partenaires au niveau de la province.  Pour le moment il n’y a qu’un seul bailleur (Cordaid) qui s’est engagé dans la contractualisation du régulateur. Cela pose le risque d’un certain clientélisme. Il est souhaitable que les différents partenaires qui interviennent dans la province, harmonisent leur façon de financer les activités du régulateur et que le financement de la contractualisation se fasse désormais par un panier commun. Ceci permettra de diversifier les équipes de vérification et de séparer les activités de vérification et de paiement.  Par rapport à la séparation des fonctions nous constatons qu’il y a toujours une forte liaison entre le régulateur qui est au même moment prestataires de services. Les HGR n’ont pas encore un statut d’établissement public et les FOSA et le régulateur sont encore fortement liés par rapport à la gestion du personnel.  Au niveau de l’IPS on est en train d’introduire le cadre organique qui a été développé au niveau national ; il prévoit une séparation nette entre l’Inspection Provinciale et la Division Provinciale de la Santé. La situation actuelle dans laquelle plusieurs bureaux sont contractés d’une façon séparée et pour laquelle le nouveau directeur du DPS n’est pas impliqué, risque de freiner la réorganisation de la DPS.  Nous constatons que le CPP-SS est fonctionnel et que la société civile y est représentée. Cependant l’organisation des clients en association reste faible, ce qui veut dire que la voix du client reste également faible dans les organes provinciaux. Les expériences en cours pour renforcer la voix de la communauté dans plusieurs zones est encourageante. 3.4.8. recommandations  Payer immédiatement les avances préconisées dans les contrats et respecter les différents périodes d’échanges du contrat.  Renforcer la capacité du personnel clé en connaissance FBP (MPS, Cordaid) et promouvoir les mécanismes d’entente mutuelle entre les parties contractantes (réunions périodiques, visite de terrain ensemble, e.a.).  Renforcer la communication entre le bureau de Cordaid et les partenaires pour mettre fin au climat de méfiance entre eux.  Revoir à partir de juillet 2015 les indicateurs en tenant compte de la réorganisation du DPS avec la séparation de l’Inspection Provinciale et de la Division Provinciale de la Santé et le remaniement des différents bureaux au niveau de la nouvelle DPS. Considérer la DPS comme un ensemble des bureaux émanent du MPS.  Renforcer l’implication de l’Assemblée Provinciale dans l’approche FBP afin de la vulgariser d’avantage et d’introduire une ligne de financement de l’approche dans le budget provincial.  Introduire dans le budget provincial 2016 une ligne budgétaire de fonctionnement des nouvelles structures (IPS et DPS).  Rechercher d’autres sources de financement pour que la contractualisation du régulateur soit plus générale et que les différentes structures soient en mesure de mieux programmer l’ensemble de leur travail. Séparer l’activité de vérification par des équipes mixtes, et celle de paiement.  Instaurer un système de vérification sur le terrain avec des visites conjointes.
  37. 37. RAPPORT CONTRE VERIFICATION – PROJET 108050 DECEMBRE 2015 © CORDAID 36 4.LES SIX ÉLÉMENTS DU FBP La mesure dans laquelle le programme FBP Sud Kivu remplit les six principes du FBP était autoévaluée de manière suivante: 1. Session plénière d’identification des éléments clés des 6 principes ; 2. Travail de groupes pour identifier les aspects à atteindre, maintenir, éviter, et éliminer. 3. Sur base des résultats du travail de groupe, une discussion plénière avec la DPS pour compléter. 4.1. lien entre résultats (indicateurs de performance) et paiement Le principe de connecté le paiement sur base de performance est bien établi pour les différents niveaux du système de santé (provincial, zone de santé, Formations Sanitaires (FOSA)). Le barème des indicateurs de quantité et qualité est définis dans les contrats, et leur paiement se réalise après vérification trimestriel. On constate qu’il y a des indicateurs qui manquent de clarté (ne sont pas formulés de manière SMART). Les différentes rubriques du questionnaire de qualité ne sont pas équilibrées. Un accent disproportionnel est mis sur des éléments administratifs (planification, documents) et moins sur la prestation des services. 4.2. contactualisation Il existe des contrats pour chaque niveau qui définissent les indicateurs, le prix unitaire, le système de vérification, l’engagement des deux parties (AAP et structure), la résolution des conflits, les modalités de paiement, les conditions de signature des contrats. Aussi il y a des contrats avec les Associations Locales (ASLO) pour la vérification communautaire. L’existence d’un Business Plan pour une période de 6 mois est une condition de signature des contrats. Les BPs sont évalués à plus de 70% mais le suivi manque souvent. 4.3. autonomie de gestion Ce principe est partiellement atteint. Les discussions issues des travaux de groupe donnent une cotation de 7 à 8 sur 10. L’allocation des revenues de la FOSA (recouvrements (tarifs) et subsides FBP) n’est pas complètement à la discrétion du personnel de la FOSA (boîte noire). Cette allocation est régie par certaines règles imposées par le niveau régulateur qui a fixé des normes de gestion financière d’une FOSA Par exemple, l’allocation pour les primes du personnel ne peut pas passer 60% des recettes. Les FOSA définissent l’utilisation de leur fonds pour leur développement dans un plan qui doit être validé par le BCZS. Néanmoins, l’autonomie des FOSA est respectée car les normes peuvent être dépassées dans le cas où la FOSA donne des raisons fondées. Chaque FOSA peut négocier son tarif avec la population (Comité de Développement de Santé, CODESA). Le tarif doit être approuvé par le BCZS qui recommande de réviser en baisse les tarifs pour augmenter l’accessibilité. La FOSA

×