Les contraintes des pratiques évaluatives         en Afrique de lOuest : analyse a posteriori dune évaluation àlaide de la...
Plan de la présentation   Contexte du projet et de son évaluation   Objectif de la présentation et cadre d’analyse   An...
CONTEXTE
Contexte (le projet)   Un pays de l’Afrique de l’Ouest   Un projet d’une ONG Européenne qui    soutient le ministère de ...
Contexte (l’évaluation)   31 déc. : fin du projet de 3 ans   1 déc. : demande informelle de soutien à la    rédaction de...
OBJECTIF ET CADRE D’ANALYSE   Objectif de la présentation :       Analyse de la qualité du processus évaluatif   Cadre ...
Source :Bamberger, Rugh, Mabry, 2006
ANALYSE DU PROCESSUS     EN 7 ETAPES
Étape 1 : Planifier et centrer l’évaluation    Cerner les besoins :      Client : pas de planification de l’évaluation: ...
Étape 1 : Planifier et centrer l’évaluation    Identification des contraintes        Budget : 3 millions F CFA non négoc...
Étape 2 : Prendre en compte les           contraintes budgétaires   Client/ONG : modestie sur l’évaluation de l’efficacit...
Étape 3 : Prendre en compte les        contraintes temporelles   Centrer les questions d’évaluation   Planifier les tâch...
Étape 4 : Prendre en compte les         contraintes liées aux données   Reconstitution pré-post avec groupe de comparaiso...
Étape 4 : Prendre en compte les      contraintes liées aux données   Post-test uniquement pour tous les autres    indicat...
Étape 5 : Prendre en compte les             influences politiques   Peu d’influence directe sur les aspects    méthodolog...
Étape 6 : Renforcer le modèle del’évaluation et la validité des conclusions    Obstacles à la validité :        Pas de s...
Étape 7 : Aider les clients à tirer partie            de l’évaluation   Discussion/réunion sur les TdR + soumission    d’...
Étape 7 : Aider les clients à tirer parti           de l’évaluation                       En résumé…    Rendre accessible...
Conclusions   Importance d’adapter les processus évaluatifs au    contexte de l’évaluation   Malgré les contraintes, il ...
Prochain SlideShare
Chargement dans…5
×

Les contraintes des pratiques évaluatives en Afrique de l'Ouest

471 vues

Publié le

Les contraintes des pratiques évaluatives en Afrique de l'Ouest : analyse a posteriori d'une évaluation à l'aide de l'approche dite « Shoestring »

0 commentaire
1 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

Aucun téléchargement
Vues
Nombre de vues
471
Sur SlideShare
0
Issues des intégrations
0
Intégrations
1
Actions
Partages
0
Téléchargements
0
Commentaires
0
J’aime
1
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Les contraintes des pratiques évaluatives en Afrique de l'Ouest

  1. 1. Les contraintes des pratiques évaluatives en Afrique de lOuest : analyse a posteriori dune évaluation àlaide de lapproche dite « Shoestring » Ridde Valéry, Ph.D. valery.ridde@umontreal.ca
  2. 2. Plan de la présentation Contexte du projet et de son évaluation Objectif de la présentation et cadre d’analyse Analyse du processus selon 7 étapes Conclusions
  3. 3. CONTEXTE
  4. 4. Contexte (le projet) Un pays de l’Afrique de l’Ouest Un projet d’une ONG Européenne qui soutient le ministère de la santé (DRS, ECD) Objectif du projet : améliorer l’accès des populations aux médicaments essentiels génériques (MEG) dans 3 districts sanitaires Trois ans d’intervention : construction et fourniture de dépôts de MEG, réhabilitation, formation du personnel et comités de gestion, supervisions et contrôles, etc
  5. 5. Contexte (l’évaluation) 31 déc. : fin du projet de 3 ans 1 déc. : demande informelle de soutien à la rédaction des TdR 8 déc : réunion 3 consultants/ONG 11 jours de collecte et analyse des données 20 déc. : restitution des résultats de l’évaluation
  6. 6. OBJECTIF ET CADRE D’ANALYSE Objectif de la présentation :  Analyse de la qualité du processus évaluatif Cadre d’analyse  Shoestring Evaluation => RealWorld Evaluation  Évaluation d’impacts sous contraintes, évaluation en situation réelle  Approche évaluative intégrée fondée sur 7 étapes  Analyse a posteriori => contrôle qualité
  7. 7. Source :Bamberger, Rugh, Mabry, 2006
  8. 8. ANALYSE DU PROCESSUS EN 7 ETAPES
  9. 9. Étape 1 : Planifier et centrer l’évaluation  Cerner les besoins :  Client : pas de planification de l’évaluation: peu d’intérêt => décisions déjà prises; évaluation de l’efficacité  Eval. => améliorer les processus/leçons  Logique de l’intervention :  Client : pas de cadre logique ni de théorie de l’intervention  Eval. : reconstitution rapide de la logique par l’intermédiaire de l’écriture du plan d’évaluation
  10. 10. Étape 1 : Planifier et centrer l’évaluation  Identification des contraintes  Budget : 3 millions F CFA non négociable, soit 0,6% du projet  Temps : durée (11 jours), moment (décisions déjà prises, départ ONG, JNV, renouvellement comité de gestion, etc)  Données : base de données de suivi de certaines activités mais pas des effets; pré/post tests formation non exploitables,  Politiques : fin de projet; enjeux de pouvoir avec le MS p/r à la poursuite du programme; responsables et personnels sur le départ  Sélection de l’approche pertinente  Approche différente selon les 6 questions d’évaluation  Processus, quasi-expérimentale pour l’efficacité
  11. 11. Étape 2 : Prendre en compte les contraintes budgétaires Client/ONG : modestie sur l’évaluation de l’efficacité Consultants : plus d’analyse que de collecte Approche méthodologique mixte Analyse des données secondaires (QUANT)  Données du suivi du projet (contrôle qualité)  Données de routine des 3 districts => délégation collecte Collecte et analyses des données qualitatives (QUAL)  10 Focus group (3 par DS + 1 Région)  3 entrevues individuelles (2 DS + 1 Région)
  12. 12. Étape 3 : Prendre en compte les contraintes temporelles Centrer les questions d’évaluation Planifier les tâches en fonction des disponibilités des consultants nationaux Partage des tâches entre les 3 consultants Déléguer une partie de la collecte des données Utiliser des données de routines/suivi
  13. 13. Étape 4 : Prendre en compte les contraintes liées aux données Reconstitution pré-post avec groupe de comparaison cas Observation Observation 40 FS avant après janvier 2001 92 formations 1999-2000 2001-2003 Projet PSF sanitaires Observation Observation témoins 52 FS avant après INDICATEURS 2 indicateurs Nombre de nouvelles consultations curatives Taux d’utilisation des services 8 indicateurs Données financières
  14. 14. Étape 4 : Prendre en compte les contraintes liées aux données Post-test uniquement pour tous les autres indicateurs quantitatifs, par ex :  Rupture de stocks en MEG => comparaison seulement entre les 3 districts du projet  Indicateurs de prescription rationnelle => comparaison avec les normes de l’OMS, une enquête nationale et une enquête dans une autre région Analyse rapide des données qualitatives
  15. 15. Étape 5 : Prendre en compte les influences politiques Peu d’influence directe sur les aspects méthodologiques de l’évaluation Influence indirecte sur les résultats et leur utilisation :  Évaluation : non prévue, peu de budget et de temps  Restitution : retard, faible présence et participation  « Perdiemite aiguë »
  16. 16. Étape 6 : Renforcer le modèle del’évaluation et la validité des conclusions  Obstacles à la validité :  Pas de sélection aléatoire, pas d’analyse poussée des facteurs contribuant aux effets autres que le projet  Qualité des données secondaires et de routine/suivi  Stratégies :  Analyse des tendances, a priori contexte socio-économique comparables (cas vs témoin)  Complémentarité QUAL/QUANT  Comparaison avec des données externes  Présentation dans le rapport des limites méthodologiques  Discussion et présentation des résultats
  17. 17. Étape 7 : Aider les clients à tirer partie de l’évaluation Discussion/réunion sur les TdR + soumission d’un plan d’évaluation Stratégie de communication/restitution des résultats de l’évaluation :  Proposition d’une approche participative lors de la restitution (atelier « plans d’actions) => refus du client  Restitution intégrée dans la cérémonie de clôture du projet et d’annonce du suivant  Tentative de palier ces contraintes =>
  18. 18. Étape 7 : Aider les clients à tirer parti de l’évaluation En résumé… Rendre accessible les résultats aux parties prenantes Rendre accessible les résultats à la communauté internationale => un article scientifique pour partager les connaissances
  19. 19. Conclusions Importance d’adapter les processus évaluatifs au contexte de l’évaluation Malgré les contraintes, il est toujours possible de réaliser une évaluation rigoureuse, mais pas toujours utile… Dilemme éthique et standard de qualité des évaluateurs Intérêt de l’approche RWE pour l’analyse des processus évaluatifs :  Revoir l’ordre de certaines étapes (plutôt concomitantes que linéaires)  Présentée pour l’évaluation d’impact mais certainement utile pour d’autres types d’évaluation (processus, efficience, etc.)

×