La gestion du cycle de projet. La surveillance des progrès et l’évaluation des résultats et de l’impact - Conférence de la 2e édition du Cours international « Atelier Paludisme » - TUSEO Luciano - World Health Organization / Roll Back Malaria - maloms@iris.mg
La gestion du cycle de projet. La surveillance des progrès et l’évaluation des résultats et de l’impact
1. LA GESTION DU CYCLE DE PROJET
SURVEILLANCE DES PROGRES ET L’ EVALUATION DES
RESULTATS ET DE L’ IMPACT
(Project Cycle Management - Monitoring and Evaluation )
Dr. Luciano TUSEO
OMS
Atelier International sur le Paludisme - Institut Pasteur de Madagascar
Antananarivo Madagascar
15.03 - 24.04 2004
2. GESTION DU CYCLE DU PROJET - DEFINITION ET OBJECTIFS
La Gestion du Cycle du Projet (GCP) est un méthode
qui permet d’améliorer la qualité de la conception et
de la gestion, afin d’augmenter l’efficacité des
projets.
L’objectif de la GCP est l’amélioration de la gestion
des actions, projets et programmes en tenant mieux
compte des questions essentielles et des conditions
- cadres dans la conception et la mise en oeuvre des
projets et programmes.
3. GESTION DU CYCLE DU PROJET - DEFINITION ET OBJECTIFS (suite)
3 ÉLÉMENTS FONDAMENTAUX :
La détermination d’objectifs clairs et réalistes pour
les projets et programmes
L’identification des facteurs de « qualité » qui
assurent les bénéfices du projet à long terme
La cohérence avec et la contribution aux « objectifs
politiques cadres plus larges » des projets et
programmes.
4. GCP - L' APPROCHE INTEGREE
La GCP est donc une approche intégrée de gestion des projets :
Elle suit les phases du cycle de projet afin d’assurer un processus de
prise de décision structuré et argumenté
Elle utilise l’approche du cadre logique comme outil central pour la
conception et la gestion des projets afin de garantir une analyse
complète et cohérente
Elle met l’accent sur l’implication des bénéficiaires dans la prise de
décisions
Elle insère les facteurs clés de la viabilité dans la conception des
projets
Elle utilise un format standard pour planifier les activités et les
ressources ainsi que pour présenter des documents sous une forme
transparente et complète, et ce aux différentes phases du cycle de
projet
5. LE CYCLE DU PROJET
Le Cycle du Projet fixe les séquences des actions nécessaires et
préétablies, réalisées pour chaque Projet
ÉVALUATION PROGAMMATION
MISE EN OEUVRE IDENTIFICATION
FINANCEMENT INSTRUCTION
6. LA GESTION DU CYCLE DU PROJET
Analyse de la Situation
Priority Setting Process
Analyse de Résultas
Analyse Multisectoriel
Analyse de l'Impact
Analyse des "Stakeholders"
Évaluation Final
(Ré-analyse de la Situation) ÉVALUATION PROGRAMMATION
MISE EN OEUVRE IDENTIFICATION
Etude de Pré - Faisabilité
Objectives
Résultats
Exécution
Activités
Plan Opérationnel
Rapport de Suivi
FINANCEMENT INSTRUCTION
Etude de Faisabilité
Proposition Viabilité
Approbation Finalisation
Convention
7. PROGRAMMATION
ÉVALUATIO N PROGAMMATION
MISE EN OEUVRE IDENTIFICATION
Informations
- Documents de Stratégie par Pays
- Conteste territorial FINANCEMENT INSTRUCTION
- Contexte sectoriel
- Contexte Socio anthropologique (survey, focus group)
- Etc.
Analyse de la Situation
Identification des principaux Problèmes
(objectifs) et les priorités sectorielles
Orientation Stratégique
8. IDENTIFICATION
ÉVALUATION PROGAMMATION
MISE EN OEUVRE IDENTIFICATION
Analyse des Problèmes, des Besoins et Intérêts
des parties prenantes FINANCEMENT INSTRUCTION
Orientations et Priorités définies dans le cadre de
la phase de Programmation.
Études sectorielles, thématiques
Préfaisabilité)
Objectives
Première élaboration des idées du Projet Résultats
Activités
Étude De Faisabilité
9. INSTRUCTION
ÉVALUATION PROGAMMATION
Tous les aspects importants de l’idée de projet sont examinés, MISE EN OEUVRE IDENTIFICATION
en tenant compte des résultats de l’étude de préfaisabilité, des
facteurs de qualité clés et des points de vue des principales FINANCEMENT INSTRUCTION
parties prenantes.
Résultats
Activités
ELABORATION D’UN CADRE
LOGIQUE DU PROJET
Indicateurs
Hypothèses
MISE EN OEUVRE DU PROJET
ET STRUCTURE DE GESTION
BUDGET GLOBAL PAR GRAND POSTE
CALENDRIER PRÉVISIONNEL DE TRAVAIL
10. FINANCEMENT
ÉVALUATION PROGAMMATION
MISE EN OEUVRE IDENTIFICATION
FINANCEMENT INSTRUCTION
EVALUATION EX ANTE
PROPOSITION DE FINANCEMENT
CONVENTION DE FINACEMENT
11. MISE EN OEUVRE
ÉVALUATION PROGAMMATION
MISE EN OEUVRE IDENTIFICATION
PLAN OPERATIONEL
FINANCEMENT INSTRUCTION
PASSATION DE CONTRATS
DE SERVICES DE FOURNITURES
OU DE TRAVAUX.
RAPORTS SUR L’ ÉTAT
D’ AVANCEMENT DU PROJET
PERTINENCE,
PERTINENCE,
MONITORING
(Surveillance) VIABILITÉ
VIABILITÉ EFFICIENCE,
EFFICIENCE,
PROGRAMMES.
PROGRAMMES.
SUIVI RÉGULIER PERMETTANT
L’ AJUSTEMENT À L’ ÉVOLUTION
DE LA SITUATION. IMPACT
IMPACT EFFICACITÉ,
EFFICACITÉ,
12. ÉVALUATION
ÉVALUATION PROGAMMATION
L’évaluation est l’action qui consiste à porter une appréciation, MISE EN OEUVRE IDENTIFICATION
aussi systématique et objective que possible, sur un projet en
cours ou achevé, un programme ou un ensemble de lignes FINANCEMENT INSTRUCTION
d’action, sa conception, sa mise en oeuvre et ses résultats.
PLANIFICATION ET LA MISE EN OEUVRE DE
PERTINENCE PROJETS COMPARABLES À L’AVENIR.
PERTINENCE
des
des
Objectives
Objectives
ÉLABORATION DES DÉCISIONS
VIABILITÉ
VIABILITÉ EFFICIENCE
EFFICIENCE
PROJET
PROJET ENSEIGNEMENTS TIRÉS
INFORMATIONS CRÉDIBLES ET UTILES
IMPACT
IMPACT EFFICACITÉ
EFFICACITÉ
13. LOGIQUE DE L' INTERVENTION
Elaboration du cadre de travail d'un Projet définissant l'Objectif, les Résultats et les
Activités
L' effet auquel
OBJECTIFS le programme
GENERAUX cherche à contribuer
OBJECTIVS Le principal objectif du
ÉVALUATION STRATÉGIE
SPECIFIQUES Programme, que ce dernier
est en mesure d'atteindre
Les produits directs du
RESULTATS Programme qui conduisent
á la réalisation de l'objectif
Les interventions du
ACTIVITES Programme, qui conduisent
RESSOURCES
á l'obtention des résultats
14. LOGIQUE TEMPOREL DU PROJET
PREPARATION REALISATION RESULTAT
IMPACT
PROBLEMES RESSOURCES
(Effets a long terme)
ACIVITES
STRATEGIE:
- Objectifs
RESULTATS EFFETS
- Résultats
- Activités
INDICATORS INDICATORS
15. LE CADRE LOGIQUE
Toutes les informations décisives sont ainsi
utilement récapitulées dans un seul document:
le Cadre Logique
Le cadre logique est utile pour la mise en oeuvre
du projet. Il sert de base pour la préparation des
plans d’action, l’élaboration d’un système de suivi
et constitue le cadre de l’évaluation.
16. LE CADRE LOGIQUE (suite)
L’approche du cadre logique est constituée de 2 phases :
Phase d’analyse constituée de 4 étapes :
Analyse des parties prenantes
Analyse des problèmes (perception de la réalité)
Analyse des objectifs (perception d’une situation améliorée dans le
futur)
Analyse d’une stratégie (comparaison de différentes options pour
changer une situation donnée)
17. LE CADRE LOGIQUE (suite)
Phase de planification qui va développer le cadre logique en un plan opérationnel pour
la mise en oeuvre du programme. Il s’agit de détailler le cadre logique et de planifier
les activités et les ressources humaines et financières. Étapes:
1. Analyse des parties prenantes
2. Identifier le ou les problème(s) existant(s) à aborder
3. Déterminer les objectifs (du projet) à partir du (ou des) problème(s) identifié(s)
4. Identifier une stratégie pour résoudre ce ou ces problème(s)
5. Sur base de la stratégie identifiée, définir des résultats attendus du projet et les activités à
entreprendre pour atteindre les résultats
6. Identifier les Indicateurs Objectivement Vérifiables (I.O.V.) et les sources de vérification,
qui permettront d’évaluer la façon dont le projet atteint ses objectifs
7. Définir les moyens physiques et non physiques nécessaires à la réalisation des activités
du projet et à sa gestion et identifier les sources de financement
8. Définir les hypothèses, c’est-à-dire les facteurs externes qui échappent à l’influence
directe de l’intervention mais qui sont très importants pour atteindre les objectifs du projet
9. Apprécier la pertinence, la faisabilité et la viabilité du projet et donc, prouver que le projet
est susceptible de résoudre le (ou les) problème(s) et d’atteindre le (ou les) objectif(s)
définis.
18. LA MATRICE DU CADRE LOGIQUE
LOGIQUE DE L' STRATEGIE INDICATEURS SOURCES DE CONDITIONS
INTERVENTION (IOV) VERIFICATION
OBJECTIVES
GENERAUX
(ou Ob. Globaux)
OBJECTIVES
SPECIFIQUES
(ou But du Projet)
RESULTATS
(ou Produits)
ACTIVITES RESOURCES COUTS
PRE-
CONDITIONS
19. EXEMPLE D' UN CADRE LOGIQUE POUR UNE STRATEGIE DE DISTRIBUTION DES MII
STRUCTURE DU PROJECT INDICATEUR DE REALISATION COMMENT LES QUANTIFIER HYPOTHESE
(IOV) ET LES EVALUER
(Source de Vérification)
BUT
Réduire l'incidence de
paludisme et de ses séquelles
en terme de maladie ou du
décès
OBJECTIF 1. Stratégie testées dans le 1. Propositions, rapports et Toute une série de stratégie
Elaborer des stratégies projet, adoptées avec succès publications d'autres projets. appropriées et instructives
réalisables durables et testées ailleurs dans des interventions 2. Enquêtes de couverture; sont testées. Le processus de
pour augmenter la à plus grand échelle. registres de la consommation surveillance est satisfaisant.
disponibilité, l'accès, à la 2. Amélioration dans l'accès 3. Rapports de surveillance et Certaines stratégies s'avèrent
propriété et l'utilisation des aux moustiquaires et aux d'évaluation, ateliers réalisables, et les plus
moustiquaires pour une insecticides et leur utilisation. publications scientifiques. susceptibles d'être maintenues
application à grande échelles. 3. La preuve du bien fonde des à moyen terme continuent
stratégique documentée d'être suivies pendant des
périodes plus longues
RESULTATS 1.1 Augmentation de ventes et 1. Enquête CAP groupe de 1. Le déclin économique
1. Augmentation de la de l'utilisation des MII du projet discussion, enquête sur la général pourrit inverser la
connaissance et demande 1.2 Augmentation de ventes et disponibilité des moustiquaires tendance actuelle à
accrue des moustiquaires. de l'utilisation des MII trouvées chez les détaillants. l'accroissement de la demande.
Leur utilisation devient la dans le commerce
norme et non l'exception 1.3 Augmentation du 2. Entretiens informels, 2. La demande ne diminue pas
2. Mise en place de un pourcentage des ménages discussion de groupes, du fait de crainte et de rumeurs
systèmes efficaces de disposant d'au moins une MII enquêtes des stock, ventes. liées à la toxicité de
distribution et amélioration de l'insecticide.
l'accès aux moustiquaires 2.1Nombre de point de vente 3. Rapports de projets,
disponibles dans le commerce dans le commerce rapports d'évaluation sociale et 3. Les méthodes visant à
3. Meilleur accès aux économique empêcher le coulage des MII
moustiquaires des groupes subventionnes peuvent
vulnérables (enfants femmes 3. Enquête sur le devenir des
moustiquaires fournies à des échouer
enceintes familles pauvres)
grâces à une utilisation prix subventionnes.
efficaces des subventions
ACTIVITES RESOURCES COUTS
-
20. LOGFRAME FOR HOME BASED MANAGEMENT
Objective 1: To increase to 60% the proportion children under five years suffering from fever/malaria who have
access to pre-packaged antimalarials at household level, by the end of 2003.
STRATEGIES ACTIVITIES INDICATORS MEANS OF ASSUMPTIO BUDGET
VERIFICAT. NS (Ug. Shs.)
Distribution -Drug quantification -Amount of pre-packaged -Delivery Production of 1,782,800,000
of pre-packs -Procure pre-packaged drugs that are drugs procured and notes pre-packaged 500,000,0000
through both appropriately labeled distributed -NDA reports C/Q & SP at a
the public -Identify community distribution drug -No of communities with -Activity reasonable
and private distributors through the IMCI tailored drug distributors reports cost
sectors PRA approach -Distribution system -Community Public &
-Establish distribution system for established reports private
pre-packs through the private sector -Proportion of drug -Supervisory sectors will
-Establish drug stock units for shops/vendors recruited for reports work
communities distribution of pre-packs together
-Identify drug shops/vendors in
communities to be used for
distribution
Commercial -Develop guidelines for working with -No of drug shops/vendors -Activity Private 400,000,000
marketing of the private sector selling pre-packs reports sector will
pre-packs -Publicise the pre-packs to drug -Amount of drugs sold -Supervision take up sale
shops and vendors through the private sector reports of pre-packs
-Discuss with the private sector to -survey at low profit
determine the right mark-up on drugs margins
-Publicising pre-packs to the
communities
-Monitor regulate prices of pre-packs
in the private sector
Rewarding -Work with VHCs and communities to - No. of villages with -Supervisory 470,000,000
and retaining determine how to motivate defined health volunteers reports and
of community distributors and right mark-up on drugs community
drug -Train and give certificates to - Turn over rate of reports
distributors community distributors distributors
-Follow up and supervise trained - Number of quarterly
distributors meetings held with
distributors
21. LE PLAN DE TRAVAILLE – GANTT CHART
Le Project ne peut pas être considère complet sans la définition des
temps d’exécution. Le Diagramme de GANTT permit d’individuér
visiblement et avec facilite la séquence dans le quelles les différentes
activités seront réalisés
2004 2005 2006
STRATEGIE 1 2 3 4 1 2 3 4 1 2 3 4
1.1 Objectif Specifique
1.1.1 Resultat
1.1.1.1 Activite
1.1.1.2 Activite
1.1.2 Resultat
1.1.2.1 Activite
1.1.2.2 Activite
Plan
1.1.2.2 Activite de
Travail
RBM
1.2 Objectif Specifique
22. COMPOSITION DU BUDGET (GFATM)
CATÉGORIE EXEMPLES DE DÉPENSES
Ressources Salaires, traitements et coûts associés (retraites, incitants et autres avantages
sociaux) relatifs au personnel (y compris celui sur le terrain), consultants
humaines
(hors consultants à court terme inclus dans les catégories ci-dessous) et frais
de recrutement
Infrastructure et Technologie de l'information (TIC) et infrastructure immobilière, équipement
de bureau, équipement audiovisuel, véhicules et frais d'entretien et de
équipement
réparation, etc.
Formation Ateliers, réunions, manuels de formation, déplacements en vue d'une formation, etc.
(non compris le coût des ressources humaines relatives à la formation qui doivent
être comprises dans la catégorie Ressources Humaines)
Matières premières Moustiquaires, préservatifs, diagnostics, microscopes, seringues, etc.
et produits
Médicaments Thérapie antirétrovirale, médicaments contre les infections opportunistes,
médicaments contre le paludisme, médicaments anti-paludisme, etc.
Planification et • Frais de consultance technique à court terme, déplacements, visites sur le terrain et
autres frais de planification du programme, supervision et administration (y compris
Administration ceux de gestion des relations avec les sous-bénéficiaires, monitoring et évaluation, et
gestion
des achats et des stocks)
• Frais généraux tels que loyers de bureaux, eau, électricité, téléphone, frais de
communication internes, assurances, frais légaux, comptables et de contrôle, etc.
• Imprimés et frais de communication liés aux campagnes en relation avec le
programme, etc. (non compris les ressources humaines qui doivent être incluses dans
la catégorie Ressources humaines ci-dessus)
23. COMPOSITION DU BUDGET (GFATM) suite
Les propositions doivent aussi inclure et préciser tous les coûts
relatifs:
• au monitoring et à l'évaluation (dont le renforcement de toute
capacité associé à la consolidation des systèmes nationaux et au
renforcement de capacité parmi les partenaires de la mise en oeuvre);
• à la gestion des achats et des stocks (dont le renforcement de
capacité et/ou l'assistance technique aux Bénéficiaires principaux ou
aux sousbénéficiaires);
• à l'assistance technique (depuis l'assistance initiale dans le
préparation des plans jusqu'à l'expertise technique permanente
pendant la mise en oeuvre.
24. Grants by expenditure (GFATM)
Other (5%)
Administration (4%)
Monitoring &
Evaluation (5%)
Infrastructure Drugs &
& Equipment Commodities
(15%) (46%)
Human resources
and training (25%)
Projet SE GFATM
Budget Budget
24
25. LE PROJET
CONTEXTE
- Objectifs politiques cadres du bailleurs de fonds et du gouvernement
partenaire, et liens avec le programme ou stratégie pays établi par le bailleur de
fonds, engagement du gouvernement partenaire vis-à-vis des objectifs
politiques cadres du bailleur de fonds
- Analyse sectorielle et analyse des problèmes, y compris l’analyse des parties
prenantes
DESCRIPTION DU PROJET / PROGRAMME, OBJECTIFS, ET STRATÉGIE POUR
LES ATTEINDRE
- Prise en compte des leçons du passé, et lien avec les activités mises en
oeuvre par les autres bailleurs de fonds
- Description de l’intervention (objectifs, et stratégie pour les atteindre, y
compris l’objectif spécifique, les résultats et les activités, et les indicateurs
principaux) (Diagramme des Problèmes - Diagramme des Objectifs)
HYPOTHÈSES, RISQUES ET FLEXIBILITÉ
26. LE PROJET (suite)
• MODALITÉS DE MISE EN OEUVRE
- Moyens physiques et non physiques
- Procédures organisationnelles et de mise en oeuvre
- Calendrier de mise en œuvre (GANTT Chart)
- Estimation des coûts et plan de financement
- Conditions spéciales et mesures d’accompagnement Budget
du gouvernement / des partenaires 01
- Suivi et évaluation
FACTEURS DE QUALITÉ
- Participation et appropriation par les bénéficiaires Project
Time
- Politique(s) de soutien
Table
- Technologie appropriée
- Aspects socioculturels
- Egalité hommes / femmes
- Protection de l’environnement Project
- Capacités institutionnelles et de gestion Proposal
- Viabilité économique et financière
MONOTORING ET EVALUATION
Situation
ANNEXE Analysis
- Cadre logique.
- GANTT Chart.
- Budget.
- Diagramme des Problèmes et des Objectifs.
Project
- Etc. Pattern
27. L’ ANALYSE DES STAKEHOLDERS
Stakeholdes sont celles, individus ou institutions, que ont des relations
direct ou indirect avec les activités du Projet
Un Project que ne prend pas en considération les Stakeholders n’a aucun
possibilité de succès
Les Alliés appuient les changements
proposés et sont objet de l’effet du
projet.
Haute HOSTILES ALLIES
Les Ajutants appuient les Impact
changements proposés mais ne sont
Moyenne
pas l’objet de l’effet du projet. Impact BLOQUANT AJUTANTS
S
Les Bloquants s’opposent aux Bas
changements mais ne font pas partie Impact
du projet.
Opposition Support Support
Les Hostiles s’opposent aux Active Passive Active
changements proposés et sont objet
de l’effet du projet.
28. PROGRAMME - PROJET - COMPOSANTE DU PROJET
En prenant un projet de dimensions considérables, et en
décomposant la stratégie en levant les niveaux des membres
différents:
- Les Objectifs Spécifiques deviendront Objectifs
Généraux
- Les Résultats seront Objectifs Spécifiques
- Les Activités monteront de degré en devenant Résultats
De cette manière chaque Objectif Spécifique du premier projet,
en devenant Objectif Général, il donnera origine à un Projet avec
son individualité
Si la décomposition continuât et les mêmes Résultats fussent
levés tellement de niveau à devenir Objectifs Généraux, on
obtiendra un Projet pour chaque Résultat
29. NIVEAU D' INTERVENTION
PROGRAMME
PROJET
COMPOSANTE
Objectif PROJET
Général
Objectif Objectif
Spécifique Général
Objectif Objectif
Résultat
Spécifique Général
Objectif
Activité Résultat
Spécifique
Activités Résultats
Activités
30. WORK PACKAGE
CHACUN DES RÉSULTATS PRÉVUS PAR UN
PROJET OU PROGRAMME COMPLEXE EST
ARTICULÉ AVEC SES ACTIVITÉS
CORRESPONDANTES, IL POURRAIT ÊTRE DÉCRIT
DANS LE DOCUMENT RELATIF AU PROJET,
COMME PAQUETS DE TRAVAIL CONSOLIDÉS (work
package)
31. ÉVALUATION
ÉVALUATION PROGAMMATION
L’évaluation est l’action qui consiste à porter une appréciation, MISE EN OEUVRE IDENTIFICATION
aussi systématique et objective que possible, sur un projet en
cours ou achevé, un programme ou un ensemble de lignes FINANCEMENT INSTRUCTION
d’action, sa conception, sa mise en oeuvre et ses résultats.
PLANIFICATION ET LA MISE EN OEUVRE DE
PERTINENCE PROJETS COMPARABLES À L’AVENIR.
PERTINENCE
des
des
Objectives
Objectives
ÉLABORATION DES DÉCISIONS
SOUTENABILITÉ
SOUTENABILITÉ EFFICIENCE
EFFICIENCE
PROJET
PROJET ENSEIGNEMENTS TIRÉS
INFORMATIONS CRÉDIBLES ET UTILES
IMPACT
IMPACT EFFICACITÉ
EFFICACITÉ
32. SURVEILLANCE et ÉVALUATION
SURVEILLANCE (Monitoring)
Est un processus continu qui permet d'estimer dans quelle mesure les
activités du programme sont conformes à la planification et si des
changements s'opèrent effectivement. La Surveillance peut être permanente
ou périodique.
L'aspect le plus important de la surveillance est l'analyse des
données recueillies et l'utilisation des résultats pour modifier les activités en
fonction du besoin.
La surveillance permet de suivre pas à pas les progrès enregistrés par les
Programmes. Cela permet aussi de détecter tout problèmes ou tout obstacle
éventuel afin de les signaler aux autorités concernées et de les aider à
perfectionner la planification des actions ultérieures possibles
Il importe des choisir les indicateurs de fonctionnement
33. SURVEILLANCE (Monitoring)
L’action du monitoring commence
simultanément avec la phase de réalisation
(début des activités), perdure pendant toute
la durée du projet et se termine avec la fin
des activités.
Le monitoring est constitué de deux
actions principales:
1. Collecte et analyse des informations (indicateurs en
corrélation avec les objectifs et les résultats des projets)
2. Réalisation des rapports périodiques du monitoring
34. SURVEILLANCE et ÉVALUATION
ÉVALUATION
Est une vue d'ensemble d'un programme à un moment donné. Son but est de
déterminer dans quelles mesures les activités permettent, ou ont permis, d'obtenir les
résultats escomptés et ces dernier vont effectivement permettre ou ont permis,
d'atteindre l'objectif vise.
Les évaluations sont normalement effectuées pendant et à la fin d'un programme,
donc de manière discontinue Des évaluations au milieu du programme peuvent
permettre l'identification
de problèmes qui pourraient l'empêcher d'atteindre son objectif et ainsi apporter les
changements nécessaires aux niveaux des activités et des résultats.
Les évaluations en fin de programme permettent d'évaluer son succès général et de
résumer les enseignements tirés
L’Evaluation des résultats et de l’impact permet de rendre compte périodiquement de
la mesure dans la quelle certaines stratégies et activités mise en œuvre ont atteint les
objectifs fixés en examinant:
- Leurs Résultats (par ex. Les changements interevenus dans les
connaissances, les attitudes et le comportement de la population )
- Leur Impact ( par ex. mesurer la réduction de la morbidité, de la mortalité ou
des pertes économiques
35. ÉVALUATION
- Une évaluation peut avoir lieu dans la phase précédente à la décision de
financement: ÉVALUATION EX ANTE
- Au cours de la mise en oeuvre d’un projet: ÉVALUATION À MI PARCOURS
- A la fin d’un projet: ÉVALUATION FINALE
- Après son achèvement : ÉVALUATION EX POST, soit pour réorienter le projet
ou pour tirer les leçons pour les futurs projets et la programmation suivante.
ÉVALUATION EX ANTE
ÉVALUATION À MI PARCOURS
ÉVALUATION FINALE
ÉVALUATION EX POST
36. LES TEMPS DU MONITORING ET DE L'ÉVALUATION
ÉVALUATION CYCLE DU PROJET MONITORING
PROGAMMATION
IDENTIFICATION
EVALUATION EX ANTE INSTRUCTION
MONOTORING
FINANCEMENT
ÉVALUATION À MI-PARCOURS
MISE EN OEUVRE
ÉVALUATION FINALE
ÉVALUATION EX POST ÉVALUATION
37. CRITERES D’ ÉVALUATION
Le caractère approprié des objectifs du projet par rapport aux
problèmes réels, aux besoins et priorités des groupes cibles et
Pertinence bénéficiaires envisagés auxquels le projet est supposé répondre,
ainsi que par rapport à l’environnement physique et politique dans
lequel le projet est mis en oeuvre
Le fait que les résultats aient été atteints à des coûts
Efficience raisonnables. Mesure dans laquelle les moyens et les activités ont
été convertis en résultats, et la qualité des résultats atteints.
Mesure dans laquelle les résultats ont contribué à la réalisation
Efficacité de l’objectif spécifique. L’efficacité prend en compte la mesure
dans laquelle les hypothèses ont affecté les accomplissements
du projet.
Effet du projet sur son environnement plus large, et sa
Impact contribution aux objectifs sectoriels plus larges résumés dans les
objectifs globaux du projet, et sur la réalisation des objectifs
politiques cadres.
Flux des avantages pour les bénéficiaires, et pour la société dans
Viabilité son ensemble, susceptible de durer après la fin du financement
38. LES CRITERES DE L' EVALUATION:
RELATION ENTRE LES ELEMENTS DE LA STRUCTURE LOGIQUE DU PROJET
PERTINENCE
PROBLEMS
OBJECTIFS
PREPARATION GENERAUX
OBJECTIFS
SPECIFIQUES
RESSOURCES
EFFICIENCE
EFFICACITE
VIABILITE
IMPACT
REALISATION ACTIVITES
RESULTATS
EFFETS
RESULTAT
IMPACT
(Effets a long terme
39. LES CRITERES DE L' EVALUATION:
L’ETAT D’AVANCEMENT
L’état d’avancement est détermine par la comparaison entre les
activités effectives et les activités escomptées.
C’est ici que faut identifier les raisons des succès ou des échecs et
suggérés des mesures correctives pour les secondes
40. PRINCIPALES CARACTERISTIQUES DES INDICATEURS
LES INDICATEURS D’ INTRANTS (INPUT)
Permettent de mesurer les ressources financières,administratives et réglementaires fournies par le Gouvernement
et les bailleurs de fonds. Il est nécessaire de faire le lien entre les ressources utilisées et les résultats obtenus afin
d’évaluer l’efficience des actions menées.
Ex : Part du budget consacrée aux dépenses sanitaires.
LES INDICATEURS DE RÉALISATIONS DIRECTES (OUTPUT)
Permettent de mesurer les conséquences immédiates et concrètes des mesures prises et des ressources fournies
(inputs).
Ex : Nombre des formations sanitaires construites, nombre de techniciens sanitaires formés
LES INDICATEURS DE RÉSULTAT (OUTCOME OU RESULTS)
Permettent de mesurer les résultats au niveau des bénéficiaires.
Ex : Taux d' utilisation de FS., Pourcentage de femmes accouchants dans les FS
LES INDICATEURS D’ IMPACT
Permettent de mesurer les conséquences de l’évolution des résultats. Ils mesurent les objectifs
généraux en terme de développement du pays et de réduction de la pauvreté.
Ex : Taux morbidité, taux de mortalité
INDICATEURS INDICATEURS
INDICATEURS
DE RÉALISATIONS DE RÉSULTAT INDICATEURS
D’ INTRANTS
DIRECTES (OUTCOME D’ IMPACT
(INPUT)
(OUTPUT) OU RESULTS)
41. PRINCIPALES INDICATEURS DANS UN PROGRAMME NATIONAL DE
LUTTE CONTRE LE PALUDISME
INDICATEURS D' IMPACT
1. Taux de mortalité et morbidité pour toutes maladies, paludisme, anémie sévère dans les
hôpitaux par tranche d’âge (moins de 5 ans, plus de 5 ans, total). Voir tableau.
2. Nombre de cas de paludisme simple et sévère (présumé et confirmé) notifié dans les
Formations Sanitaires, par tranche d’âge (moins de 5 ans, plus de 5 ans, total)
3. Prévalence de l' infestation placentaire chez les femmes enceintes dans la maternité des
structures sanitaires en étude
INDICATEURS DE RÉSULTATS
1. % des enfants de moins de 5 ans (0-59 mois) fébriles qui ont reçu à domicile un traitement
approprie antipaludique dans le 24 heures
2. % des cas de paludisme parasitologiquement confirmé chez les enfants de moins de 5 ans
3. % des malades des moins de 5 ans avec paludisme simple et % des malades moins de 5
ans avec paludisme sévère qui ont reçu le traitement correct dans les 24 heures depuis
l’admission dans la Formation Sanitaire
4. % des structures sanitaires ayant des ruptures de stock en médicaments antipaludéens
conformes à la politique nationale, pas plus d' une semaine dans le dernier trimestre
5. % de malades hospitalisés pour paludisme qui utilisent des moustiquaires imprégnées
d’insecticides et celle qui utilisent la moustiquaire non imprégnée
6. % des femmes ayant accouché qui utilisent les moustiquaires imprégnées d’insecticides et
celle qui utilisent la moustiquaire non imprégnée.
7. % des femmes ayant accouché qui ont reçu la chimioprophylaxie antipalustre conforme à
la politique nationale
42. INDICATEURS
Exemple d' Indicateurs pour un Programme de mise en œuvre des MII
INDICATEURS D' IMPACT
Réduction de la mortalité - Taux brut de mortalité chez les enfants de moins de 5
ans
(Instruments de recueil: - Taux de mortalité par paludisme chez les enfants de
- Système Surv. Sanit moins de 5 ans
- Taux de létalité chez les enfants de moins de 5 ans
- Enquêtes spécifique
atteints de paludisme grave et admis dans les hôpitaux
- Système Surv. Demogr.) et les centres de santé correctement équipés pour
hospitaliser les malades
Réduction de la morbidité -Morbiditéattribuée au paludisme (grave ou non
compliquée) chez les moins de 5 ans
- Anémie chez les femmes enceintes.
-Bébés avec un petit poids à la naissance
43. INDICATEURS
Exemple d' Indicateurs pour un Programme de mise en œuvre des
Moustiquaires Imprégnées d’Insecticides
INDICATEURS D' OBJECTIF (Dépendant de la Stratégie choisie)
STRATEGIE INDICATEURS D' OBJECTIF
Création d'une demande - % de ménages ayant des MII
- % de ménages utilisant correctement les MII
- % de Femmes enceintes utilisant une MII
Subventions durables pour - % de couverture dans les ménages comportant des groupes cibles ou
maintenir l'équité vulnérables
- % de couverture dans les ménages comportant des groupes cibles ou
vulnérables utilisant correctement des MII
Autogestion - % des ménages possédant des MII
- % des ménages utilisant correctement des MII
Marketing social - % des ménages possédant des MII
- % des ménages utilisant correctement des MII
Ventes promotionnelles - % des ventes de MII au niveau commercial
Secours d'urgence -% des ménages de la population cible possèdent des MII
- % des ménages utilisant correctement des MII
44. INDICATEURS
Exemple d' Indicateurs pour un Programme de mise en œuvre des MII
INDICATEURS de Résultats (Dépendant de la Stratégie choisie)
STRATEGIE INDICATEURS DE RESULTATS MOYENS DE
VERIFICATION
Création d'un - Volume de ventes commerciales (en %) - Enregistrement des prix au détail
demande
Subventions - Efficacité du ciblage (pour éviter le coulage vers de - Enquête familial dans les
groupes non cible) groupes cibles
durables pour
- Coût par MII fournies au groupe cible - Enregistrement des ventes
maintenir l'équité
- Comptabilité générale
Autogestion -Volume de ventes du programme - Enregistrement des ventes
-- Viabilité financière (indépendance vis a vis des - Comptabilité générale
subventions) - Chiffre d'affaires des ventes
- Coût par MII fournie dans le recouvrement des coûts
Marketing social -Volume de ventes du programme -Surveillance des ventes du
-Volume de ventes commerciales programme
- Coût par MII fournie -Enregistrement des prix de
- "Attractivité" (augmentation des ventes MII hors
ventes au détail
Programme au niveau du secteur commercial) et - Comptabilité générale
"Répulsivité" (diminution des ventes de MII hors du
Programme au niveau du Secteur Commercial)
Ventes - Nombre de MII vendus Enregistrement des ventes au
détail
promotionnelles
Secours d'urgence - Nombre de MII distribuées Registres du Programme
45. Les niveaux stratégiques sont liés aux niveaux des indicateurs:
NIVEAU STRATÉGIQUE NIVEAU INDICATEUR
But Impact
Objectifs (Services à fournir) Couverture
Activités Processus
Global Fund, pour exemple, définit les différents niveaux d'indicateurs comme suit:
IMPACT :les changements sur un période longue des comportements à risque et/ou
des comportements sanitaires qui débouchent sur des changements des taux
d'infection, de morbidité et/ou de mortalité indiquant des progrès sur la voie des
buts fondamentaux des interventions (programmes)
COUVERTURE : les changements à moyen terme dans les variables essentielles qui
démontrent que de plus en plus d'individus sont informés et profitent de
l'amélioration des services ou des interventions;
PROCESSUS : les activités, systèmes et autres résultats qui doivent être réalisés à
brève échéance pour atteindre les améliorations ou l'extension des services
offerts.
46. Les niveaux stratégiques sont liés aux niveaux des indicateurs (suite)
Tous les indicateurs doivent spécifier la quantité, la qualité et les délais.
A titre d'exemple, ils doivent mentionner quels services seront fournis,
à combien de personnes (par ex., le nombre de bénéficiaires touchés)
et à quel niveau de qualité (par ex., “selon des normes et directives
convenues au niveau local”).
Les indicateurs doivent également être réalistes car ils doivent éviter de
formuler des objectifs trop ambitieux dans les délais fixés.
Il conviendra de choisir les indicateurs pour leur utilité, qu'il s'agisse de
fournir des données en vue de la prise de décision ou d'évaluer les
résultats et l'impact.
Si possible, des chiffres de référence devront être inclus pour tous les
indicateurs (ou des données historiques qui permettent de les estimer).
47. STRATEGIE
Calcul des
Indicateurs
Collation
Interprétation
des Donnes
Calcul
- Ministère de la
Santé / SLPP
Validation
Erreur des Validité Rapport - Partenaires RBM
Communication
Données
Inconsi
Utilisation
stance
Collecte
de Données
Définitions Analyse
du Système Evaluation de la
d' Information Situation
Détermination Méthode
Collecte de Données Mise en Oeuvre Encadrement
& des
Monitoring
STRATEGIES Priorités
Choix des Sites Sentinelle
Evaluation
Définition des Objectifs Programmation des
Target et Indicateurs Options
49. CONCEPT DE LA PLANIFICATION ET DE L’ÉVALUATION
CHAÎNE DE NIVEAU ELÉMENTS CONCERNÉS OBJECTIFS ET CIBLES
CAUSALITÉ
Impact Epidémiologique Objectifs d’impact =
Socio - Economique Objectifs épidémiologiques =
Objectifs
Résultats Stratégies ou approches Cibles de Cibles
Interventions résultats opérationnelles
Services
Personnels
Population visée
Fonctionne Activités du programme : Cibles de
ment Outputs : (Sorties) fonctionn
-de production
ement
-De personnes formées
-De fournitures distribuées
Inputs : (Entrées)
-de personnes
-de ressources
50. PRINCIPES
Tous les programmes de lutte antipaludiques doivent comporter une
composante d’évaluation comme caractéristique permanente pour faire
face à des changements de situation
la planification, la mise en œuvre, l’évaluation et la re planification
doivent représenter un processus continu et une caractéristique
intégrante à tout programme antipaludique
Les méthodes d’évaluation et les données pertinentes à récolter doivent
être strictement liées aux objectifs, aux activités et aux résultats
attendus du programme
L’évaluation d’un programme de lutte antipaludique devrait tenir compte
de la situation du paludisme avant le début du plan et après sa mise en
œuvre
51. PRINCIPES (Suite)
Au point de vue de l’aspect quantitatif de l’évaluation, les outils d’une
évaluation appropriée devraient être sélectionnés avec une attention
particulière pour leur simplicité, leur coût et la pertinence des
informations recueillies par rapport aux objectifs du programme
Une évaluation quantitative devrait être routinière et basée sur une
supervision appropriée pour s’assurer que la qualité du rendement
opérationnel est maintenue au niveau optimal
Sélection et définition des méthodes d’évaluation dans la lutte
antipaludique
Des professionnels bien formés et expérimentés devraient jouer un rôle
clé dans l’évaluation du processus pour :
- préciser les outils appropriés pour l’évaluation
- concevoir les formulaires
- former et superviser le personnel engagé dans le travail
d’évaluation
- gérer des situations de terrain et des études
52. Evaluation de la Lutte Antipaludique
OBJECTIFS DES QUE FAUT-IL EXEMPLES
PLANS D’ACTION FRP SURVEILLER ET D’INDICATEURS A
EVALUER SELECTIONNER
PROCESSUS OU Les indicateurs de % du personnel soignant formé à
FONCTIONNEMENT fonctionnement doivent la prise en charge des cas de
permettre de vérifier que les paludisme et à la prise en charge
activités prévues intégrée des maladies de l’enfant
- ont bien été réalisées
- en temps voulu
RESULTATS Les indicateurs de résultat % de patients atteints de
INTERMEDIAIRES LIES AUX doivent refléter l’évolution paludisme simple qui reçoivent
INTERVENTIONS des connaissances, des un traitement correct, dans une
PRIORITAIRES DU attitudes, du comportement formation sanitaire ou au niveau
ou du nombre de formations de la communauté,
PROGRAMME
sanitaires, prévue dans les conformément aux directives
objectifs de résultat nationales, dans les 24 heures qui
suivent l’apparition des
symptômes
IMPACT Réduction de la mortalité et Taux (cas présumés et confirmés)
de la morbidité de mortalité liée au paludisme
parmi les groupes cibles
53. LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E
UNITE M & E
Une unité M & E mise en place dans le Ministère de la Santé avec les équipes techniques et
de gestion appropriées
Un budget pour le M & E entre 5 et 10 % du budget commun national pour le VIH/SIDA, la
tuberculose et un budget pour le paludisme englobant tous les financements
Une importante contribution nationale pour le budget national M & E (ne pas compter
exclusivement sur les financements extérieurs)
Une relation formalisée (M&E), particulièrement avec les Ministères, ONG, donateurs et les
institutions de recherche visant à renforcer les efforts en matière de recherche
Un groupe de travail multisectoriel pour fournir des données et aboutir à un consensus sur
les indicateurs de sélection et les aspects variés de méthode et de mise en œuvre
Expertise épidémiologique dans l’unité M & E et associés
Constitution d’une base de données et expertise statistique dans l’unité M & E et associés
Dissémination de l’expertise des données dans l’unité M & E et associés
54. LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E
BUTS :
Programme national bien défini ou documents de projet avec des buts et
des objectifs bien clairs ainsi que des plans opérationnels,
Revue réguliers / évaluations du progrès de la mise en œuvre du
programme national ou des projets
Directives pour les districts, régions et provinces pour M & E
Directives pour la liaison de M & E à d’autre secteurs
Coordination de l’Etat et les donneurs pour les besoins de M & E
55. LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E
INDICATEURS :
Un ensemble d’indicateurs prioritaires et des indicateurs
supplémentaires à différents niveaux du M & E
Indicateurs pouvant être comparés à tout moment
Un nombre d’indicateurs clés pouvant être comparés avec ceux des
autres pays
COLLECTE DE DONNES ET ANALYSE :
Collecte de données à niveau national et plan d’analyse incluant une
assurance de la qualité des données
Un plan de collecte de données et une analyse périodique des
indicateurs à différents niveaux de juridiction du M & E (y compris
géographique)
Sureveillance de seconde génération, où des données de
comportement sont liées aux données de surveillance HIV/SIDA
56. LISTE des CARACTÉRISTIQUES d’un BON SYSTÈME de M&E
RESTITUTION DES DONNEES :
Un plan de restitution des données à niveau national effectif
Diffusion de rapports annuels d’information sur l’unité M & E
Réunion annuel pour diffuser et discuter des résultats des recherches
M & E, avec les techniciens, plannificateurs et exécuteurs
A clearinghouse for generation and diffusion des résultats des
recherches
Une banque de données ou une bibliothèque sur HIV/AIDS, TB, et
Paludisme, incluant les recherches en cours
Une coordination de l’Etat et les donneurs pour M & E pour la
répartition des besoins
57.
58.
59.
60. SECTEURS CRITIQUES POUR LA SURVEILLANCE ET L' EVALUATION
ROLL BACK MALARIA
FARDEAU
DU
IMPACT PALUDISME
PREVENTION et DIAGNOSTIC PRECOCE
PREVENTION du PREVENTION CONTROLE des et TRAITEMENT
PALUDISME et PRISE en EPIDEMIES EFFECTIF
CHARGE de la MALADIE
SERVICES
DEVELOPPEMENT POLITIQUE ACTION DELIVRES
du SECTEUR de la SANTÉ COMMUNAUTAIRE
de la SANTE GESTION
SERVICES
LIAISON SANITAIRES
LIAISONS
INTERSECTORIEL
INTERSECTORIEL
SUPPORT PARTENARIAT RECHERCHE
APPUI &
TECHNIQUE NATIONAL OPERATIONELLE
PARTENARIAT
PARTENARIAT
GLOBAL
61. BIBLIOGRAPHIE
WHO, UNAIDS, GFATM, USAID, CDC, UNICEF, WB (January 2004) Monitoring and Evaluation Toolkit
HIV/AIDS , Tuberculosis and Malaria.
Roll Back Malaria (2000) Cadre pour la Surveillance des Progrès et l’Evaluation des Résultats et de l’Impact.
WHO Genève
WHO/RBM,(Juillet 2003) La Planification de programme de lutte Contre le Plaudisme. WHO Genève
Ministero degli Affari Esteri Italia, Direzzione Generale per la Cooperazione allo Sviluppo, Cooperazione
Italiana (Aprile 2002): Manuale operativo di monitoraggio e Valutazione delle Iniziative di Cooperazione allo
sviluppo. Roma
Detogni C. (2001). Manuale di Progettazione Sanitaria Internazionale. Franco Angeli, Milano
St Leger A.S., Schnieden H. (1992) Evaluation Health Services Effectiveness. Open University Press.
Philadelphia
ACYF CORE (2001) The Program Manager Guide to evaluation. www.acf.dhhs.gov
CDC (1999) Framework for Program Evaluation in Public Health. U.S. Department of Health & Human Service.
Atlanta
De Angelis V., Ricciardi N., Storchi G. (1998) ORAHS 98 Monitoring, Evaluating, Planning Health Service.
World Scientific
Drew H. C., Duivenboden J., Bonnefoy X. (2000) Guidelines for evaluation of Environmental Health Service.
WHO Regional Publications Series Copenhagen
European Commission (2001) Project Cycle Management. Bruxelles
Evaluation Cookbook (1999) Design Experiments www.icbi.hw.ac.uk
McNamara C. (2001) Basic Guide To Program Evaluation www.mapnp.org
National Advisory Council on Aging (1988). A Participatory Evaluation Guide. Ottawa K1A 1B4
NSF (1997) User-Friendly handbook for Mixed Method Evaluation. www.ehr.nsf.gov
National Advisory Council on Aging (1998) A participatory Evaluation Guide. NACA Ottawa K1A 1B4
Rotman I. & Others (2001) Evaluation in Health Promotion. WHO Regional Publication European Series.
Denmark
Saint-Germain M.A. (2001) Research Methods. www.csulb.edu
ScotCIT (1998) ScotCIT Evaluation Framework www.scotcit.ac.uk
The World Bank Group (2001) evaluation Design www.worldbank.org
Trochim W. (2000) Research Methods Knowledge Base. http://trochim.huiman.cornell.edu
U.S. General Accounting Office (1991) Program Evaluation and Methodology Division. www.gao.gov
Karani F. A. (1984) Monitoring and Evaluation. UNICEF Nairobi, Kenya
W.K. Kellogg Foundation (1998) Evaluation Handbook
62. Dr. Luciano TUSEO
Roll Back Malaria OMS - Madagascar
OMS BP 362 Antananarivo Madagascar
maloms@iris.mg