Vérification des Résultats
Résultats et recommandations
d’une analyse de cas multiple
Petra Vergeer, Tawab Hashemi, Martin...
• Une fonction relativementnouvelle
• La vérification est la justification de premier ordre des résultats payés par le FBR...
• Processus pour assurer la cohérence du reporting de
routine sur le volume (càd. quantité) des services
achetés fournis (...
Objectifs de l’analyse de cas multiple
• Etendre les connaissancessur les processuset les pratiquesde
vérification afin d’...
Aperçu des structures de
vérification et quiz interactif
Aperçu des structures de vérification
Afghanistan, Argentine, Burundi, Rwanda (FBR communautaire), Royaume Uni
Afghanistan: structure de la vérification
Il y a quatre types d’activités de vérification:
• Quantité de services vérifiée...
Il y a trois types d’activités de vérification:
• Vérification de l’inscription des bénéficiaires,conduite
mensuellement,e...
Burundi – structure de la vérification
Il y a quatre types d’activités de vérification au Burundi:
• Vérification de la qu...
Rwanda: Structure de la vérification
pour le FBR communautaire
Il y a quatre types d’activités de vérification:
• Vérifica...
Rwanda: Structure de la vérification
(suite)
• Tous les rapports des coopératives sont évalués chaque
trimestre concernant...
Quiz interactif
Combien de temps cela prend-il d’observer des
améliorations dans les données du FBR du fait de
la vérification de la quant...
Résultats: Le niveau de concordance entre données du
système d’information et de gestion sanitaire (SIGS) et
données des f...
Résultats: Les taux d’erreur dans les
inscriptions de bénéficiaires diminuent au
cours du temps en Argentine
• Structure
I...
Résultats: La contre-vérification montre
<10% erreurs au Burundi après 2 ans
• Structure:
o Vérification de la quantité, c...
Résultats: Diminution de la taille du “sur-
rapportage” des indicateurs au Rwanda
• Structure
o La vérification par la for...
Après deux ans de mise en oeuvre, quel était le
pourcentage moyen de patients tracés qui ne pouvaient
être trouvés?
1. 20%...
Résultats: Pourcentage de patients
manquants réduit au cours du temps en
Afghanistan
• Structure
o Le traçage des patients...
Résultats: La plupart des patients tracés à
partir des formations sanitaires, mais plus
difficiles à partir des hôpitaux a...
Résultats: Une étude nationale au Rwanda identifie la
plupart des patients dans la communauté
• Structure:
• Une étude nat...
Quels sont les liens entre la confidentialité
du patient et la vérification?
1. Il n’y a aucun souci concernant la confide...
Résultats: Indicateurs exclus par souci de
confidentialité au Burundi
• Résultats – Burundi
o Seulement 9 des 22 indicateu...
Quels types d’indicateurs ont des taux
d’erreur élevés?
1. Indicateurs avec un fort volume de patients
2. Indicateurs avec...
Résultats: Les indicateurs avec un fort taux de
réalisation et avec des définitions complexes ont
des taux d’erreur plus é...
Résultats: Les indicateurs avec un taux élevé de
réalisation ont des taux d’erreur plus élevés au
Rwanda
• Résultats
o Le ...
Résultats: Les taux d’erreur plus élevés sont
associés à des difficultés d’inscription en
Argentine
• Structure
o La vérif...
Pourquoi y a-t-il une grande différence entre
vérification et contre-vérification de la qualité?
1. Délai temporel entre v...
Résultats: vérification de la qualité en
Afghanistan
• La Checklist de Suivi Nationale (CSN) est utilisée pour la vérifica...
Résultats: la vérification de la qualité
au Burundi
• Différence systématiqueentre la vérification et la contre-vérificati...
Recommandations clé
1. Considérer le contexte pour déterminer si fusionner des
fonctions est approprié (être attentif au c...
Facteurs influençant la vérification: un
cadre conceptuel
Contexte
Caractéristiquesde la vérification Impactsur
exactitude...
Quand et comment changer votre
stratégie de vérification…examinez les
taux d’erreur de la vérification de quantité
1
Tenda...
Echantillonnage basé sur les risques
pour la vérification
• Utiliser une approche d’échantillonnage basée sur les risques
...
-15
-10
-5
0
5
10
15
HF1 HF2 HF3 HF4 HF5 HF6
Différence entre Totaux sur 6 mois Déclarés et Vérifiés
Dans 5% de différence...
Exemple au niveau du district
Formation
sanitaire
Total
Déclaré
Total
Vérifié
%
Différence
Hoyuyu
1
1011 1016 0%
Matedza 3...
Total des formations par catégorie
de risque
85
63
244
0
50
100
150
200
250
300
Red Amber Green
Nombredeformations
Catégor...
Sujets de recherche additionnelle
dans la vérification
• Coûts, économies, et coût-efficacité de la
vérification et de la ...
Conclusions
• Le cadre conceptuel vise à aider ceux qui mettent en
oeuvre le FBR et les décideurs politiques dans leurs
dé...
References
• Cashin,Cheryl and Lisa Fleisher. Verification of performance in results-based financing:
the case of Afghanis...
Merci
Prochain SlideShare
Chargement dans…5
×

Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

283 vues

Publié le

A presentation from the 2014 Annual Results and Impact Evaluation Workshop for RBF, held in Buenos Aires, Argentina. French Version.

Publié dans : Santé
0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
283
Sur SlideShare
0
Issues des intégrations
0
Intégrations
2
Actions
Partages
0
Téléchargements
3
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Annual Results and Impact Evaluation Workshop for RBF - Day One - Vérification des Résultats: Résultats et recommandations d’une analyse de cas multiple

  1. 1. Vérification des Résultats Résultats et recommandations d’une analyse de cas multiple Petra Vergeer, Tawab Hashemi, Martin Sabignoso, Olivier Basenya, Catherine Mugeni, Eubert Vushoma, Chenjerai Sisimayi
  2. 2. • Une fonction relativementnouvelle • La vérification est la justification de premier ordre des résultats payés par le FBR, y compris taux de couverture ou quantités de patients vus, qualité des services fournis, et satisfaction des patients. • La contre-vérification est la justification de deuxième ordre des éléments ci- dessus, càd. qu’elle nécessite qu’une vérification de premier ordre ait été menée et qu’elle vérifie l’exactitude de cette dernière. • Bailleurs de fonds et gouvernementsextrêmement sensibles à de potentiels“sur-paiements”dus à un gonflementdes services rapportés • Eviter un conflit d’intérêt en apparence ou bien réel: le prestataire est incité à “sur-rapporter“;un acteurséparé doit vérifier ce qui est rapporté. La vérification: Un élément essentiel de la mise en œuvre A ne pas confondre avec le Suivi & Evaluation!!
  3. 3. • Processus pour assurer la cohérence du reporting de routine sur le volume (càd. quantité) des services achetés fournis (recomptage des données) • Processus pour confirmer avec les patients que les services achetés ont été fournis (traçage des patients) • Observation directe des conditions de la prestation de services et des soins en eux-mêmes pour évaluer la qualité • Evaluation de la satisfaction des patients • Les mécanismes de FBR incluent souvent de multiples approches Différentes méthodes utilisées
  4. 4. Objectifs de l’analyse de cas multiple • Etendre les connaissancessur les processuset les pratiquesde vérification afin d’adresserles besoin relatifs au design et à la mise en œuvre des projetsde FBR. • Accroître les connaissancesdisponibles en comparant les caractéristiquesdes stratégiesde vérification ainsi que les donnéesdisponibles sur les coûts (en utilisant le niveau d’effort comme proxy),les économies,et les résultats de la vérification dans six pays: Afghanistan,Argentine,Burundi, Panama,Rwanda, et le Royaume Uni. • Les cas pays ont été écrits avec un plan communafin de décrire les caractéristiquesmajeuresde la méthode de vérification,les résultatsde la vérification, l’usage des résultatsde la vérification, les coûts, et les leçons et recommandationsclé.
  5. 5. Aperçu des structures de vérification et quiz interactif
  6. 6. Aperçu des structures de vérification Afghanistan, Argentine, Burundi, Rwanda (FBR communautaire), Royaume Uni
  7. 7. Afghanistan: structure de la vérification Il y a quatre types d’activités de vérification: • Quantité de services vérifiée en formations, conduite trimestriellement, ex ante, par un tiers, sur 25% des prestataires; • Traçage des patients, conduit trimestriellement, ex ante, par un tiers, sur 25% des prestataires; • Qualité des services évaluée par le Bureau de la Santé Provincial (BSP) conjointement avec l’ONG • Contre-vérification de la qualité à travers l’évaluation de la formation sanitaire par un tiers, sur la base d’un échantillon.
  8. 8. Il y a trois types d’activités de vérification: • Vérification de l’inscription des bénéficiaires,conduite mensuellement,ex ante,en interne au niveau national,avec validationdes donnéesélectroniquespour toutesles entrées,pas de visite de terrain; • Contre-vérificationde l’inscription des bénéficiaires, conduite tous les deux mois, ex post, par un tiers, avec validationdes données électroniquespour toutesles entrées,et un échantillonest vérifié pour s’assurer de l’existencedu formulaire d’inscription; • Vérification de l’indicateur dit “traceur”, conduite tous les quatre mois, ex post, par un tiers, avec validationdes données électroniquespour toutesles entrées,échantillonbasé sur les risques des formations sanitaires(formations primaires avec nombre plus élevé de patients). Argentine: Structure de la vérification
  9. 9. Burundi – structure de la vérification Il y a quatre types d’activités de vérification au Burundi: • Vérification de la quantité,conduite mensuellement,ex ante, conjointement par les agents de vérification du Ministère de la Santé et des organisations de la société civile (partenariat public-privé),sur tous les sites; • Vérification de la qualité technique,conduite trimestriellement,ex ante, en interne avec l’engagement de la société civile, sur tous les sites; • Traçage de patient (y compris satisfactiondu patient) en tant que partie intégrantedu score de qualité, conduit bi annuellement,ex ante, par un tiers, chaque formation,sur la base d’un échantillon;(n.b. pour les trimestres sans traçage des patients, le score du trimestre précédent est utilisé dans les calculs) • Contre-vérificationde la quantité,qualité, et du traçage de patient, conduite trimestriellement,ex post,par un tiers, sur la base d’un échantillon.
  10. 10. Rwanda: Structure de la vérification pour le FBR communautaire Il y a quatre types d’activités de vérification: • Vérification par la formation sanitaire de la quantité de références sur la base des informations des rapports soumis, mensuellement, ex ante, en interne, tous les indicateurs, tous les agents de santé communautaires (ASC). Le nombre de références est revérifié vis-à-vis des données de la formation sanitaire. • Contre-vérification trimestrielle, par un comité de pilotage sectoriel (compris essentiellement de personnel de formation sanitaire – mais avec quelques membres de la communauté, considérés indépendants).
  11. 11. Rwanda: Structure de la vérification (suite) • Tous les rapports des coopératives sont évalués chaque trimestre concernant l’exhaustivité des données et la soumission du rapport à temps, en interne. L’évaluation de la gestion de la coopérative est menée par l’hôpital de district. Chaque trimestre, 100% des coopératives sont évaluées. • La vérification du programme du côté de la demande n’est pas systématique et est intégrée dans le suivi de la formation sanitaire par l’hôpital de district.
  12. 12. Quiz interactif
  13. 13. Combien de temps cela prend-il d’observer des améliorations dans les données du FBR du fait de la vérification de la quantité? 1. Un (1) an 2. Deux (2) ans 3. Cinq (5) ans
  14. 14. Résultats: Le niveau de concordance entre données du système d’information et de gestion sanitaire (SIGS) et données des formations augmente au cours du temps en Afghanistan • Structure o La vérification de la quantité des services dans les formations est conduite trimestriellement, ex ante, par un tiers. 25% des prestataires sont échantillonnés chaque trimestre. • Résultats o Les taux d’erreur dans la vérification de la quantité ont diminué de 17% à 8% entre 2010 and 2013 %Concordance 83 83 83 83 86 87 89 93 89 95 94 91 92 75 80 85 90 95 100 Tendances dans le niveau de concordance entre données SIGS et données de la vérification au niveau de la formation pour la quantité de services fournis
  15. 15. Résultats: Les taux d’erreur dans les inscriptions de bénéficiaires diminuent au cours du temps en Argentine • Structure Inscription des bénéficiaires: o Vérification à travers la validation des données électroniques pour toutes les entrées (pas de visite de terrain) mensuellement, ex ante, en interne au niveau national. o Contre-vérification, tous les deux mois, ex post, par un tiers, validation des données électroniques pour toutes les entrées, échantillon vérifié pour s’assurer de l’existence du formulaired’inscription; • Résultats o Les taux d’erreur dans l’inscription des bénéficiaires ont diminué de 20% à moins de 1% en 2 ans 0.00% 5.00% 10.00% 15.00% 20.00% 25.00% 2004 2005 2006 2007 2008 2009 2010 2011 2012 %RecordsRejected Phase 1 Provinces Phase 2 Provinces Figure: Contre-vérification de l’inscription des bénéficiaires comparéeaux entrées de données soumises par les provinces en Argentine, 2004-2012 %Entréesdedonnées rejetées
  16. 16. Résultats: La contre-vérification montre <10% erreurs au Burundi après 2 ans • Structure: o Vérification de la quantité, conduite mensuellement, ex ante, conjointement par les agents de vérification du Ministère de la Santé et des organisationsde la société civile (partenariatpublic-privé),sur tous les sites; o Contre-vérification de la quantité, conduite trimestriellement, ex post, par un tiers, sur la base d’un échantillon. • Résultats: o La vérification interne a trouvé que 31% des déclarations pour les formations sanitaires étaient rapportées avec des erreurs, contre 38% de celles pour les hôpitaux. La taille moyenne de l’erreur était de 5% pour les formations sanitaires et de 4% pour les hôpitaux. o Les différences entre la vérification et la contre-vérification par un tiers de la quantité après 2 ans de mise en œuvre du FBP à l’échelle nationale étaient petites (<1%) pour les formations sanitaires. Les différences pour les hôpitaux étaient bien plus grandes (9%) mais peuvent être expliquées en partie par un manque de registres standardisésparmi les hôpitaux.
  17. 17. Résultats: Diminution de la taille du “sur- rapportage” des indicateurs au Rwanda • Structure o La vérification par la formation sanitaire de la quantité de référencessur la base des informations des rapports soumis est faite mensuellement, ex ante, par un agent de vérification en interne. Tous les indicateurs et tous les agents de santé communautaires (ASC) sont vérifiés. Le nombre de référencesest revérifié vis-à-vis des données de la formation sanitaire. • Résultats o Le pourcentage d’indicateurs de service qui contenaient des erreurs n’a pas beaucoup changé, avec 49% des rapports sur les indicateurs inexacts au T4 2012 (23% sur-rapportés et 26% sous-rapportés).Cependant, la taille de l’erreur liée au “sur-rapportage” a fortement diminué (de plus de 140% à environ 7%) en deux ans. o Ceci renvoie aux incohérences entre la performance telle qu’auto-évaluée par les ASC au niveau de la cellule, et la performance après que le processusde vérification soit complété.
  18. 18. Après deux ans de mise en oeuvre, quel était le pourcentage moyen de patients tracés qui ne pouvaient être trouvés? 1. 20%-30% de tous les patients tracés ne pouvaient être trouvés 2. 10% des patients tracés à partir des formations sanitaires et 15% des patients tracés à partir des hôpitaux ne pouvaient être trouvés 3. <10% des patients tracés à partir des formations sanitaires et 15% des patients tracés à partir des hôpitaux ne pouvaient être trouvés
  19. 19. Résultats: Pourcentage de patients manquants réduit au cours du temps en Afghanistan • Structure o Le traçage des patients est conduit trimestriellement, ex ante, par un tiers, et 25% des prestataires sont échantillonnés. • Résultats o Les “patients manquants” réduits de 33% à 7% entre 2010 et 2013 %Concordance 67 77 83 86 89 89 91 92 94 95 96 93 93 0 20 40 60 80 100 120 Tendances dans le niveau de concordance entre données SIGS et données de la vérification au niveau communautairepour la quantité de services fournis
  20. 20. Résultats: La plupart des patients tracés à partir des formations sanitaires, mais plus difficiles à partir des hôpitaux au Burundi • Résultats o Au T1 2012, 7.4% des patients tracés à partir des formations sanitaires (cf. graph ci-dessous) et 15.4% des patients tracés à partir des hôpitaux ne furent pas retrouvés. o Plus de 98% de ceux qui furent trouvés (pour formations et hôpitaux) ont confirmé avoir reçu les services enregistrés. o La contre-vérification du traçage des patients est faite mais avec un échantillon nouvellement tiré et de ce fait aucune comparaison ne peut être faite entre vérification et contre-vérification. • Structure o Traçage de patient (y compris satisfaction du patient) conduit bi annuellement, ex ante, par un tiers, chaque formation, sur la base d’un échantillon; o Contre-vérification du traçage de patient, conduite trimestriellement, ex post, par un tiers, sur la base d’un échantillon. Figure: Résultats du traçage de patients de la formation sanitaire 2011-2012
  21. 21. Résultats: Une étude nationale au Rwanda identifie la plupart des patients dans la communauté • Structure: • Une étude nationale, qui doit être distinguée du traçage des patients régulier comme celui du Burundi ou de l’Afghanistan, a été menée par le Ministère de la Santé en 2012 et a inclus, entre autres, le traçage des patients dans la communauté • Résultats: • 97% des patients pouvaient être identifiés dans la communauté. • De ceux qui ont été trouvés, 97% ont confirmé avoir été traité à la formation pour les services pour lesquels l’ASC les avait référés. • De plus, 98% des femmes éligibles ont confirmé avoir reçu des incitations en nature.
  22. 22. Quels sont les liens entre la confidentialité du patient et la vérification? 1. Il n’y a aucun souci concernant la confidentialité des patients dans la vérification 2. Les inquiétudes vis-à-vis de la protection de la confidentialité des patients résultent dans l’exclusion de certains indicateurs de la vérification (ex.: planing familial) 3. Des vérifications électroniques des entrées de données aident à protéger la confidentialité des patients car les données du patient sont dé-identifiées 4. 2 et 3 sont correctes
  23. 23. Résultats: Indicateurs exclus par souci de confidentialité au Burundi • Résultats – Burundi o Seulement 9 des 22 indicateurs en formation sanitaire et 8 des 24 indicateurs en hôpital sont vérifiés dans le cadre du traçage des patients pour des raisons de confidentialité. Les indicateurs sur le VIH, la tuberculose, et le planning familial sont exclus. o De ce fait, l’existence de “patients fantômes” pour près de la moitié des indicateurs des formations sanitaires, et pour un tiers des indicateurs des hôpitaux, n’est jamais évaluée.
  24. 24. Quels types d’indicateurs ont des taux d’erreur élevés? 1. Indicateurs avec un fort volume de patients 2. Indicateurs avec des définitions complexes 3. Indicateurs avec des difficultés d’inscription 4. Indicateurs ayant des incitations à forte valeur 5. 1 et 2 sont corrects 6. 1, 2 et 3 sont corrects
  25. 25. Résultats: Les indicateurs avec un fort taux de réalisation et avec des définitions complexes ont des taux d’erreur plus élevés au Burundi • Résultats o Les indicateurs avec un fort taux de réalisation ont le niveau d’erreur le plus élevé. Ce sont des indicateurs où le risque d’erreur lors du comptage peut être plus élevé. o Les indicateurs avec des définitions compliquées ont aussi des erreurs plus élevées. Les formations ont plus de chance de compter un service qui ne correspond pas à la définition et qui ne sera pas validé par l’équipe de vérification. o Les indicateurs avec des incitations élevées n’ont pas de taux d’erreur élevés 10 Indicateurs avec le plus haut taux d’erreur identifié durant la vérification en formation sanitaire (Janvier-août 2012) Indicateur % exactitude des données déclarées n Consultation (enfant) 22% 4,085 Consultation (adulte) 30% 4,085 Jour d’observation (enfant) 44% 3,802 Consultation (femme enceinte) 44% 4,062 Petite chirurgie 53% 3,987 Planning familial 58% 3,458 Enfant complètement vacciné 67% 4,065 Vaccination anti-tétanos (TT2-TT5) 68% 4,055 Jour d’observation (adulte) 69% 2,896 Consultation prénatale 67% 4,074
  26. 26. Résultats: Les indicateurs avec un taux élevé de réalisation ont des taux d’erreur plus élevés au Rwanda • Résultats o Le suivi de la malnutrition a eu le taux d’erreur le plus élevé au Rwanda, ce qui pourrait être dû au large nombre d’enfants impliqués. Table: Pourcentage de rapports inexacts détectés par les formations sanitaires et par les comités de pilotage sectoriels dans les 4 secteurs visités pour 8 indicateurs rémunérés, durant T4 2010, T4 2011 et T4 2012 Indicateur Erreurs détectées par la formation sanitaire (comparaison entre rapports cellule et secteur) Erreurs détectées par le comité de pilotage du secteur (comparaison entre rapports sectoriels et base de données nationale) % indicateurs inexacts Nb. de rapports % indicateurs inexacts Nb. de rapports Femme accompagnée pour accouchement 51% 35 14% 35 Femme accompagnée pour soins anténataux 43% 35 14% 35 Patients accompagnés pour CTV 49% 35 20% 35 Enfants suivis pour état nutritionnel 59% 34 29% 34 Utilisateurs de planning familial référés 23% 35 23% 35 Cas de TB suivis par mois 23% 35 37% 35 Cas suspecté de TB référé 37% 35 41% 34 Femme référée pour PTME 52% 33 36% 33 Total 42% 277 27% 276
  27. 27. Résultats: Les taux d’erreur plus élevés sont associés à des difficultés d’inscription en Argentine • Structure o La vérification de l’indicateur dit “traceur” est conduite tous les quatre mois, ex post, par un tiers. La validation des données est faite pour toutes les entrées, et un échantillon basé sur les risques des formations sanitaires est sélectionné (formations primaires avec nombre plus élevé de patients). • Résultat o Des taux d’erreur plus élevés sont associés avec: • Manque d’outils d’inscription (traceur VII) • Faible adhérence aux normes d’inscription (traceur IX) • Plus d’une source de données doit être utilisée (traceur IV) Traceur % résultats avec taux d’erreur >20% de déclaration % résultats avec taux d’erreur >40% de déclaration I Détection précoce des femmes enceintes 23% 3% II Efficacité de la naissance et des soins néonataux 6% 1% III Efficacité des soins anténataux et prévention de la prématurité 7% 1% IV Efficacité des soins anténataux et des soins lors de l’accouchement 19% 5% V Evaluation des cas de décès maternels et infantiles sur tous les cas de décès maternels et infantil 5% 3% VI Couverture de l’immunisation 10% 1% VII Soins sexuels et reproductifs 18% 6% VIII Suivi enfant en bonne santé jusqu’à 1 an 11% 3% IX Suivi enfant en bonne santé entre 1 et 6 ans 24% 7% X Inclusion de la population indigène 6% 2% Table: Taux d’erreur >20% et >40% par indicateur2008- 2012 identifiés par la contre-vérification
  28. 28. Pourquoi y a-t-il une grande différence entre vérification et contre-vérification de la qualité? 1. Délai temporel entre vérification et contre-vérification 2. Conflit d’intérêt potentiel entre ceux qui évaluent la qualité et ceux contractualisés pour fournir les services 3. L’objectivité de l’outil de mesure est compromise 4. Les sanctions pour des incohérences entre la vérification et la contre-vérification ne sont pas appliquées 5. Toutes les réponses ci-dessus sont correctes
  29. 29. Résultats: vérification de la qualité en Afghanistan • La Checklist de Suivi Nationale (CSN) est utilisée pour la vérification de la qualité. o Les personnes entretenues comprennent que le paiement est lié à la qualité. o Cependant, elles ne savent pas forcément très clairement quels indicateursspécifiques sont liés au paiement de la qualité (ex.: infrastructurede la clinique, données du système d’information de la santé SIGS de la formation et médicaments essentiels issus de la CSN font tous partie des indicateurs qui constituent le paiement pour la qualité). • ONG et Ministère de la Santé Publique – Superviseurs SM remplissent la CSN lors de leur visite de supervision routinière aux formations sanitaires. o Cependant, souvent les PPHOs ne se joignent pas aux visites de formations sanitaires, ce qui peut conduire à des conflits d’intérêt. • La carte de score équilibrée (CSE, ou BSC) est utilisée pour la vérification aux hôpitaux du niveau provincial. o Du fait de délais de mise en œuvre de la CSE, les paiements des bonus aux hôpitaux ont aussi été retardés • La CSE devait aussi servir de moyen de trianguler les résultats de la CSN au niveau provincial o Du fait de délais dans la mise en œuvre de la CSE, ceci n’a pas été mis en œuvre.
  30. 30. Résultats: la vérification de la qualité au Burundi • Différence systématiqueentre la vérification et la contre-vérification de la qualité (79% des formations sanitaires et 84% des hôpitaux) • La qualité techniquea été surestimée (de 11% dans les formations sanitaires et de 17% dans les hôpitaux). • La surestimation peut être expliquéepar trois facteurs: o Labs de temps entre vérification et contre-vérification o L’équipe de contre-vérificationest plus rigoureuse o Possible conflit d’intérêt car les hôpitaux pairs examinent les autres hôpitaux et les équipes de santé provinciales examinent leurs propres formations sanitaires. Les sanctions n’ont pas été appliquées pour les incohérences trouvées durant la contre-vérification. Différence moyenne % avec surestimation Surestimation moyenne % avec sous- estimation Sous- estimation moyenne n Formations sanitaires -11% 79% -20% 21% 24% 101 Hôpitaux -17% 84% -24% 16% 20% 32 Table.Différenceentre l’évaluation de la qualitétechnique faite par le BPS, BDS ou les pairs et la contre-vérification faite par HDP dans tous les hôpitaux et formations sanitaires contre-vérifiées durant les 8 tournées de contre-vérifications, 2010-2012
  31. 31. Recommandations clé 1. Considérer le contexte pour déterminer si fusionner des fonctions est approprié (être attentif au conflit d’intérêt) 2. Analyser et utiliser les données disponibles de la vérification et la contre-vérification 3. Les stratégies de vérification devraient être dynamiques, pas statiques, et utiliser une approche basée sur les risques
  32. 32. Facteurs influençant la vérification: un cadre conceptuel Contexte Caractéristiquesde la vérification Impactsur exactitude, coût, durabilité Caractéristiques du FBR LOGIQUE DERRIÈRE FBR TYPE DE CONTRAT USAGE DES RESULTATS DU FBR Améliorerrésultatsde santé/RSS Relationnel Paiementaméliorantla performance Resp.té financière/contrôle descoûts Classique Transparence, Nommer& faire honte Mensuelle Oui Large Tout l’univers Interne Résultats de la vérification et leur usage FREQUENCE MARGE D’ERREUR AUTORISABLE TAILLE DE L’ECHANTILLON ARRANGEMENT INSTITUTIONNEL PREMIER AVERTISSEMENT Non Petite Tiers Apprentissage,Correctiondeserreurs Recouvrementdes coûts, sanction FREQUENCE DES PAIEMENTS Mensuellement Annuelle ENVIRONNEMENT POLITIQUE GOUVERNANCE CULTURE Approche basée sur le risque Annuelle
  33. 33. Quand et comment changer votre stratégie de vérification…examinez les taux d’erreur de la vérification de quantité 1 Tendances au niveau des formations Tendances au niveau des indicateurs Généralisées parmi toutes les parties contractualisées Localisées dans certaines formations (par zone géographique) Localisées dans certains types de formations Indicateurs avec des critères de conformité complexes Indicateurs qui sont récompensés plus fréquemment et/ou qui ont un volume de patients plus élevé Indicateurs récompensés à un niveau plus élevé Examinez les taux d’erreur de la vérification de quantité Activités à explorer Activités à explorer
  34. 34. Echantillonnage basé sur les risques pour la vérification • Utiliser une approche d’échantillonnage basée sur les risques probablement plus coût-efficace • Echantillonner les parties contractualisées (ex.: formations) avec des critères de sélection, tels que: o Plus grand volume (comme en Argentine) o Cas singuliers dans leur performance par rapportaux moyennes de la province ou nationales (comme au Royaume Uni) • Echantillonner les indicateurs avec critères de sélection tels que: o Plus grand volume (potentiellement plus enclin à l’erreur comme au Burundi et au Rwanda par exemple) o Plus complexe (potentiellement plus enclin à l’erreur comme en Argentine par exemple) o Plus grande valeur monétaire • Toujours s’assurer qu’une menace crédible de vérification demeure pour toutes les parties contractualisées
  35. 35. -15 -10 -5 0 5 10 15 HF1 HF2 HF3 HF4 HF5 HF6 Différence entre Totaux sur 6 mois Déclarés et Vérifiés Dans 5% de différence Vérification basée sur les risques – le modèle du Zimbabwe Catégorie verte: • Vérifiée sur base trimestrielle Catégorie ambre • Vérifiée bimensuellement – 2 mois sélectionnés aléatoirement Catégorie rouge • Vérifiée sur base mensuelle • Intègre aussi nouvelles formations Différence supérieure à 5% mais inférieure ou égale à 10% Différence supérieure à 10% •Modèle basé sur trois niveaux de risque •Comparaisonentre valeurs déclarées et vérifiées pour des totaux de 6 mois
  36. 36. Exemple au niveau du district Formation sanitaire Total Déclaré Total Vérifié % Différence Hoyuyu 1 1011 1016 0% Matedza 344 325 6% Kawazva 327 417 -28% Formations échantillonnées (Districtde Mutoko) • Les districts ont un mélange de formations à des niveaux de risques différents
  37. 37. Total des formations par catégorie de risque 85 63 244 0 50 100 150 200 250 300 Red Amber Green Nombredeformations Catégorie
  38. 38. Sujets de recherche additionnelle dans la vérification • Coûts, économies, et coût-efficacité de la vérification et de la contre-vérification • Application de la technologie à la vérification et potentielles économies de coûts • S’assurer que la confidentialité des patients est protégée • Traçage des patients • Mesurer la qualité
  39. 39. Conclusions • Le cadre conceptuel vise à aider ceux qui mettent en oeuvre le FBR et les décideurs politiques dans leurs délibérations quant aux conséquences de diverses caractéristiques de la vérification sur l’exactitude, le coût, et la durabilité d’une approche choisie. • Les stratégies de vérification ne sont pas statiques mais devraient être un processus dynamique. L’outil “chemin” peut guider l’adaptation des stratégies de vérification. • S’il n’existe pas de méthode optimale de vérification qui soit appropriée dans tous les contextes, les recommandations fournies peuvent être utiles pour considération dans divers contextes.
  40. 40. References • Cashin,Cheryl and Lisa Fleisher. Verification of performance in results-based financing: the case of Afghanistan.World Bank: Washington, DC. Forthcoming. • Cashin,Cheryl and Petra Vergeer. (2013). Verification in results-based financing: the case of the United Kingdom. World Bank: Washington, DC. https://openknowledge.worldbank.org/handle/10986/13567 • Perazzo, Alfredo. Verification of performance in results-based financing: the case of Panama. World Bank: Washington, DC. Forthcoming. • Perazzo, Alfredo and Erik Josephson. Verification of performance in results-based financing:the case of Argentina.World Bank: Washington, DC. Forthcoming. • Renaud, Adrien. Verification of performance in results- based financing:the case of Burundi.World Bank: Washington, DC. Forthcoming. • Renaud, Adrien and Jean-Paul Semasaka. Verification of performance in results-based financing:the case of the Rwanda community RBF interventions: community PBF and demand side scheme. World Bank: Washington, DC. Forthcoming. • Vergeer, Petra, Anna Heard, Erik Josephson, and Lisa Fleisher. Verification in results- based financing for health: findingsand recommendations from a cross-case analysis. World Bank: Washington, DC. Forthcoming.
  41. 41. Merci

×