stratégie du système d'information en gestion de projet

1. KIT DE FORMATION
MODULE 7
GESTION AXÉE SUR LES
RÉSULTATS: SUIVI-ÉVALUATION
ET SYSTÈME D'INFORMATION

2. Sommaire
● Concepts de suivi et d'évaluation dans la GAR
● Différences et complémentarité entre suivi et évaluation
● Mise en œuvre du suivi
● Notions générales sur l'évaluation
● Système d'information en appui au S&E

3. Le Cadre Logique peut être utilisé comme base pour le
système de Suivi-Évaluation (S&E) d'un programme ou
projet.
Les 2ème et 3ème colonnes de la Matrice de Cadre Logique
(MCL) fournissent les éléments de fondation d'un
système de S&E: elles définissent les indicateurs de
performance, fixent les paramètres-cibles à atteindre, et
décrivent les sources d'information du système.
Basé sur The Logical Framework Handbook
de la Banque Mondiale
Lien entre le Cadre Logique et le S&E (1/2)

4. Source:
FIDA,
2002
Lien entre le Cadre Logique et le S&E (2/2)

5. Suivi de performance en GAR

6.  Suivi = un processus systématique de vérification de l'
efficacité [effets] et l'efficience [produits/extrants] de la mise en
œuvre d'une intervention de développement (programme,
projet) en vue de:
– Apprécier l'avancement des résultats et identifier des
insuffisances (ou des écarts); et,
– Recommander des mesures correctives pour optimiser les
résultats désirés.
 Dans le cycle de vie d'un programme, le suivi ne prend place
que pendant la phase de mise en œuvre.
 Il est basé sur des indicateurs spécifiés durant la phase de
formulation du programme.
Qu'est-ce que le Suivi?

7.  Gestion Axée sur les Résultats = Stratégie de gestion d'un
projet/ programme orientée vers la performance, la réalisation
d'extrants et l'accomplissement d'effets directs.
 Dans le cas d'une approche GAR, le "bon suivi" équivaut à:
 Un suivi continu et systématique;
 Une participation des concernés clés d'une intervention de
développement; et,
 Une attention particulière vis-à-vis de l'atteinte des résultats
escomptés.
 Dans certains programmes, les concernés clés incluraient les
bénéficiaires, l'agence d'exécution, le chargé et les cadres du
programme, le ministère de tutelle, etc.
Particularité du Suivi en GAR

8.  Impacts: Améliorations générales
à moyen et long termes qu'une
intervention de développement
(politique, programme, projet)
apportent à la société.
 Effets: Effets initiaux et
intermédiaires engendrés par
l'intervention de développement
en raison de l'utilisation par les
bénéficiaires des produits/extrants
générés par cette intervention.
 Produits/Extrants: Biens et
services produits et livrés par
l'intervention de développement.
Intérêt du Suivi en GAR

9.  Suivi = processus continu de collecte systématique
d'information sur les indicateurs choisis d'une
intervention de développement en cours.
 Évaluation = appréciation systématique de la
formulation, de la mise en œuvre, de l'efficience, de
l'efficacité, des processus, et des résultats d'un
programme/projet en cours ou complétée.
 Le suivi est continu, l'évaluation est épisodique ou
périodique (effectuée à un moment donné).
 L'évaluation peut avoir lieu à différents moments du
cycle d'un programme et fait appel le plus souvent à
des spécialistes externes, non impliquées dans la
mise en œuvre du programme à évaluer.
Différence entre Suivi et Évaluation

10. Complémentarité entre Suivi et Évaluation (1/2)

11. Critères Suivi Évaluation
Fréquence Régulière, continue Épisodique, périodique
Couverture Tous les programmes Certains programmes et aspects
Objet Lier les activités et les ressources du
programme aux objectifs/résultats
Identifier des contributions causales
des activités aux objectifs/résultats
Positionnement Activité interne Interne, externe, participative
Données Générales aux bénéficiaires Basées sur un échantillon
Profondeur de
l'information
Compare les résultats aux cibles
Intérêt: QUOI
Explore les résultats inattendus
Intérêt: POURQUOI
Coût Échelonné sur toute la durée Peut être élevé
Utilité Gestion et amélioration constante du
programme et de la performance
Prise de décisions majeures sur un
programme
Diffusion Rapporte l'avancement et alerte sur
des problèmes
Fournit leçons et recommandations et
signale des réalisations significatives
Responsabilité Gestionnaire du programme Évaluateur de concert avec le
gestionnaire et le personnel
Complémentarité entre Suivi et Évaluation (2/2)

12.  Pour améliorer la performance du
programme et la qualité des
réalisations.
 Pour apprendre des expériences du
terrain.
 Pour deviser des mesures correctives
éclairées et prendre de bonnes
décisions.
 Enfin, pour s'assurer d' obtenir les
résultats escomptés et planifiés lors
de la formulation.
Pourquoi intervient le Suivi?

13.  Sur tous les sites où intervient le
programme.
 En impliquant les communautés et les
bénéficiaires.
 Avec des outils appropriés de collecte
de données.
 Selon les indicateurs fixés lors de la
formulation du programme.
 En appréciant quantitativement,
qualitativement et en temps réel toutes
les réalisations du programme…
Où et comment intervient le Suivi?

14. Attention à la résistance!!!

15.  Réfléchir au et planifier le S&E à partir du
moment où le programme n'est qu'au stade
d'idée (1ère étape du cycle de vie) et durant la
phase de formulation.
 Impliquer les concernés clés dans le
montage du Plan de S&E du programme
(promotion d'un accord sur les résultats
escomptés et la performance requise,
renforcement de l'engagement et de la
confiance, etc.).
 Faire preuve de fermeté et de rigueur dans la
mise en œuvre du Plan de S&E d'un
programme.
Comment réussir le Suivi?

16.  Fortement recommandé de clarifier les
intervenants dans le suivi et de préciser
leurs rôles et responsabilités ("Qui fait quoi
et quand?")
 Fortement recommandé d'impliquer les
intervenants identifiés dans le montage du
Plan de S&E du programme dès le départ.
 Nécessaire de former ces intervenants sur
les concepts de S&E, selon les rôles et
responsabilités assignés.
Qui intervient dans le Suivi?

17. Évaluation des programmes

18. L'évaluation aide à répondre à des questions telles que:
 Quels sont les effets et impacts du programme?
 Est-ce que le programme évolue tel qu'escompté?
 Est-ce que les activités réalisées ont été exécutées telles que
planifiées (quantité, qualité, temps)?
 Qu'est-ce qui cause les changements relevés par le suivi?
 Est-ce que les différences relevées entre les divers sites du
programme sont dues à la manière d'opérer du programme?
 Qui bénéficie réellement du programme et de ses retombées?
Définition de l'évaluation
Appréciation systématique et objective d'un projet, d'un programme ou
d'une politique, en cours ou terminé, de sa conception, de sa mise en
œuvre et de ses résultats, afin de déterminer la pertinence et
l'accomplissement des objectifs, l'efficience en matière de
développement, l'efficacité, l'impact et la durabilité.
Définition et questions de l'évaluation

19. 1. Questions descriptives: montrer ce qui se passe (décrire les
processus, les conditions prévalentes, les relations
organisationnelles, et les points de vue des divers concernés
par le programme).
2. Questions normatives: comparer ce qui se passe avec ce qui
était planifié (activités réalisées, objectifs atteints ou non).
Peuvent concerner les ressources/intrants, les activités, et les
produits/ extrants.
3. Questions de cause à effet: se concentrer sur les résultats et
chercher à déterminer dans quelle mesure le programme
entraine des changements.
Évaluation: 3 questions fondamentales

20. Projet Action de développement unique exécutée sur un seul ou
plusieurs sites.
Programmes Intervention incluant divers projets contribuant à un objectif
commun.
Politiques Normes, instructions ou règlements établis par un organisme
pour réguler, organiser ou mettre en œuvre des décisions de
développement.
Organismes Multitude de programmes d'intervention mis en œuvre par un
organisme.
Secteurs Interventions dans un même secteur tel que l'éducation, la
santé, la foresterie, l'agriculture.
Thèmes Aspects particuliers transversaux tels que l'équité et
l'approche genre, les biens publics globaux.
Assistance à un
pays
Avancement dans le plan national de développement, l'effet
de l'aide au développement, et les enseignements tirés.
Source: Morra Imas & Rist (2009).
Que peut-on évaluer?
Que peut-on évaluer?

21. 1. Besoin de preuves évidentes sur ce qui fonctionne (les
mauvaises performances et les restrictions budgétaires
peuvent nuire!!!).
2. Besoin d'améliorer l'exécution d'un programme et la
performance d'un organisme public (améliorer la conception
des programmes sociaux et des méthodes de ciblage des
bénéficiaires, par exemple).
3. Besoin d'avoir une information fiable sur la durabilité des
résultats obtenus par un programme (est-ce que le programme
apporte des solutions durables à une problématique en
s'attaquant aux causes?).
Pourquoi doit-on évaluer une intervention?

22. Évaluation formative: vise à améliorer les performances, le plus souvent
effectuée en cours de mise en œuvre d'un programme. S'appelle parfois
évaluation de processus pour l'étude des dynamiques internes
d'organismes. Exemple: Évaluation à mi-parcours.
Sources: OCDE (2002); Morra Imas & Rist (2009).
Évaluation sommative: conduite en fin de programme (ou à la fin d'une
phase de ce programme), vise à déterminer le niveau d'atteinte des
résultats escomptés. S'appelle parfois évaluation ex-post. Exemple:
Évaluation d'impact.
Évaluation prospective: apprécie les résultats potentiels et objectifs
d'un programme avant son démarrage et leur probabilité d'être atteints.
Conduite avant le lancement, s'appelle aussi évaluation ex-ante.
Exemple: Analyse coûts-avantages.
Types d'évaluation et cycle d'un programme (1/2)

23. Types d'évaluation et cycle d'un programme (1/2)

24. Évaluation de programme: évaluation d'un ensemble structuré d'actions
de développement pour atteindre des objectifs de développement
spécifiques à l'échelle d'un secteur, d'un pays, d'une région, ou global.
Évaluation de projet: évaluation d'une action de développement
individuelle conçue pour atteindre des objectifs spécifiques avec des
ressources et un plan de travail déterminés, souvent dans le cadre d'un
programme plus large.
L'évaluation peut être:
• Interne: par des évaluateurs dépendants du bailleur ou de l'organisme.
• Externe: par évaluateurs externes au bailleur et à l'organisme.
• Indépendante: par des évaluateurs non liés aux responsables de la
conception et de l'exécution.
Évaluation de projet ou de programme

25. Pertinence
(Relevance)
Mesure selon laquelle les objectifs d'un programme correspondent
aux attentes des bénéficiaires, aux besoins du pays, aux priorités
globales, aux politiques des partenaires et des bailleurs de fonds.
Efficacité
(Effectiveness)
Mesure des résultats atteints - ou en voie de l'être - d'un
programme, compte tenu de leur importance relative.
Efficience
(Efficiency)
Mesure selon laquelle les ressources d'un programme sont
converties en produits/extrants au meilleur coût. Nécessite parfois
une analyse économique de différentes alternatives.
Impact
(Impact)
Appréciation des effets à long terme, positifs et négatifs, primaires
et secondaires, induits par un programme, directement ou non,
intentionnellement ou non.
Durabilité
(Sustainability)
Appréciation de la continuation des bénéfices résultant
d'une action de développement après la fin d'un programme.
Probabilité d'obtenir des bénéfices à long terme.
Source: OCDE (2002)
Quoi évaluer: les 5 grands critères

26. Source: Adapté de Rodriquez-Garcia & Kusek (2007). Traduit par MM
Évaluation dans une perspective GAR

27. En règle générale, une évaluation devient nécessaire quand les
données des mesures régulières de l'unité de suivi montrent que
la performance en cours est clairement et significativement
différente de celle planifiée.
Source: Adapté de Kusek & Rist (2004) par MM
Planifié
Réalisé
EMP
EI
EMP
EI
EMP
EI
Évaluation à mi-parcours
Évaluation d'impact
Quand l'évaluation devient-elle nécessaire?

28. Une théorie du changement décrit un plan de changement social qui va
de la formulation des hypothèses avant la conception à la définition des
objectifs à long terme. Cette théorie est souvent présentée sous forme
de schéma (modèle logique) qui analyse les liens entre les ressources et
les résultats. Il est souvent présenté sous forme de tableau énumérant
les étapes, des données ou ressources jusqu'à la réalisation de l'objectif
visé par le programme (cadre logique).
Source: Grantcraft (2006)
Construire une théorie du changement permet à l'évaluateur de:
 Comprendre la philosophie sur laquelle est basée le programme.
 Examiner l'évidence existante à travers une synthèse de recherche.
 Voir un programme complexe comme un ensemble de chaines
d'intervention visant des changements de comportement.
Théorie de changement et Évaluation

29. Méthodes quantitatives: apprécier de manière chiffrée certains aspects de
l'objet évalué. Conviennent mieux pour formuler statistiquement une
conclusion généralisable. Exemple: Enquête-questionnaire. Défi:
Échantillonnage (question de validité externe).
Méthodes qualitatives: très souvent utilisées pour aller en profondeur des
aspects qualitatifs de l'objet évalué. Conviennent bien pour leur flexibilité et
leur utilisation rapide. Exemple: Focus groupe. Défi: Rôle de facilitateur pour
l'évaluateur.
Méthodes mixtes: combinaison complémentaire de méthodes quantitatives et
qualitatives afin de collecter des données quantifiables et des appréciations
qualitatives. Exemple: Observation directe pendant une entrevue d'enquête-
questionnaire. Défi: Bonne combinaison méthodologique et souci de
triangulation.
Évaluation et méthodes de collecte (1/2)

30. Entretien
avec des
individus
concernés
Forum
communautaire
Méthodes informelles / peu structurées
Visites
terrain
Revue de registres
officielles (SIG et
données admin.)
Observation
participative
Entrevue avec des
personnes bien
informées
Focus
Groupe
Enquête
Questionnaire
Sondage de
panel
Expérimentation
au champ
Recensement
Méthodes formelles / plus structurées
Observation
directe
Sources: Kusek & Rist (2004); Morra Imas & Rist (2009). Traduction de l'anglais par MM
30
Évaluation et méthodes de collecte (2/2)

31. Évaluation participative: Méthode collective d'évaluation selon laquelle
concernés et bénéficiaires collaborent pour concevoir et conduire une
évaluation et en tirer les conclusions. Ses principes de base sont:
Sources: OCDE (2002); Morra Imas & Rist (2009)
 Implication des bénéficiaires dans la fixation d'objectifs et des
priorités, la sélection des questions et la prise de décisions.
 Appropriation par les participants de l'évaluation.
 Assurance que l'évaluation se concentre sur les méthodes et
résultats qui sont importants aux participants.
 Participants travaillant ensemble, facilitant et promouvant l'unité du
groupe.
 Tous les aspects de l'évaluation sont compréhensibles et pertinents
à tous les participants.
 Évaluateurs agissant comme des facilitateurs; participants agissant
comme preneurs de décision et évaluateurs.
Évaluation participative et programmes sociaux

32.  Fait partie des méthodes contribuant à
l'apprentissage des spécialistes du développement et
à l'amélioration de la conception des politiques et
programmes.
 S'intéresse spécialement aux relations de cause à
effet dans les programmes (structuré autour d'une
question-clé: quel est l'impact – ou l'effet causal –
d'un programme sur un résultat donné?). Cette
dimension causale est primordiale.
 Vise à déterminer quels changements peuvent être
attribués directement et exclusivement au
programme.
Évaluation d'impact: causalité et attribution

33.  L'impact d'un programme est la différence entre les effets
observables engendrés par ce programme et ceux observés
lorsque celui-ci n'intervient pas.
 Défi: il est difficile d'observer simultanément la situation des
bénéficiaires…
Avec le
programme…
… et sans le
programme!
Qu'est-ce que l'impact en GAR?

34.  Pour estimer l'impact (ou effet causal) d'un
programme, besoin d'un contrefactuel, i.e.
le résultat obtenu par les bénéficiaires si le
programme n'était pas là.
 Pour estimer le contrefactuel, on a besoin
de trouver un groupe témoin (ou groupe de
comparaison) conforme à ces critères:
 Le groupe témoin doit avoir les mêmes
caractéristiques que le groupe des
bénéficiaires du programme;
 La seule différence entre les deux
groupes est que les membres du groupe
témoin n'ont pas bénéficié du programme.
Évaluation d'impact: nécessité d'un contrefactuel

35.  Avant-après (ou pré-post): Comparer simplement les
résultats dans le groupe de bénéficiaires avant et
après la mise en œuvre du programme.
Il y a plusieurs d'autres facteurs variables dans
le temps susceptibles d'avoir aussi influencé les
résultats observés.
!
 Avec-sans: Comparer simplement des éléments
ayant accepté de participer au programme avec des
éléments ne participant pas au programme.
Ceux qui ne participent pas au programme
peuvent différer systématiquement de ceux qui
y participent.
Évaluation d'impact: 2 erreurs souvent commises
!

36. Dispositifs expérimentaux: aléatoires, généralement
considérés comme les plus robustes des dispositifs
d'évaluation. Avec un groupe témoin, présentent une
parfaite comparaison contrefactuelle libre des
différents biais et distorsions. Avec une comparaison
avant-après, permettent d'apprécier la contribution
réelle d'un programme.
Dispositifs quasi-expérimentaux: utilisés quand une
composition aléatoire des groupes à comparer n'est
pas possible. Moins robustes que les dispositifs
expérimentaux, sont utilisés selon le contexte et les
ressources disponibles.
Évaluation d'impact: dispositifs d'étude

37. Mise en œuvre d'une évaluation

38. Conclusions d'une évaluation
 Fournir des réponses claires et précises aux questions d'évaluation
posées dans les TdR (montrer des liens de causalité).
 Très souvent, présence de jugements de valeur (conflits potentiels).
 Par éthique, une conclusion doit être liée aux données et analyses.
 Toute question doit trouver réponse dans les conclusions. Sinon…
 Limites méthodologiques et contextuelles: montrer la robustesse du lien
entre données et conclusions et si les constats sont généralisables.
Recommandations d'une évaluation
 Représentent des suggestions pour améliorer, réformer ou renouveler le
programme.
 Dérivent d'une ou plusieurs conclusions vis-à-vis de problèmes.
 Sont priorisées et hiérarchisées avec des destinataires précisés.
Source: Euréval(2010)
Conclusions et recommandations d'évaluation

39. Diffusion des résultats d'évaluation
 Étape à part entière du processus évaluatif, après la production et
validation du rapport d'évaluation, mais prévue dès le départ.
 Étape indispensable pour l'utilisation de l'évaluation par des utilisateurs
potentiels (impératif de transparence).
 Selon les différents utilisateurs, différents supports de communication
utilisés.
Utilisation des résultats d'une évaluation
 Préparer des décisions, aider à formuler des jugements, à connaître les
effets d'un programme.
 Peut être de différente façon pour différents utilisateurs.
 Doit être anticipée et guider la démarche d'évaluation depuis le début.
Source: Euréval(2010)
Diffusion/utilisation des résultats d'évaluation

40. Système d'information en appui au S&E

41. Source: FIDA, 2002
S&E et Rapportage: utilité d'un système d'info
1. Élaboration de la matrice du
cadre logique de l'intervention
Indicateurs Sources de vérification
2. Développement de la matrice de
suivi-évaluation
Indicateurs Données de départ
Conception
de
l’intervention
Démarrage
de
l’intervention
Paramètres
Formulaire
d’enregistrement
Formulaire de
regroupement
Entité 1
Entité 2
Entité 3
25%
25%
3. Enregistrement et
regroupement des données
Regroupement dans une base
de données ou un tableur
4. Analyse visant à dégager des conclusions
5. Communication des résultats
25%
25%
Implémentation
et
concrétisation
de
l’intervention
Conception
d'un
système
d'information
de
gestion
en
appui
au
S&E

42. Après finalisation du cadre logique du programme, il s'agira
d'élaborer un plan de suivi-évaluation du programme incluant:
 La définition de la méthodologie de collecte des données du
suivi (sources, périodicité, mode de transmission, etc.);
 La définition de la méthodologie de traitement et d’analyse
des données collectées;
 Le désignation des formats des supports de diffusion de
l'information du suivi;
 La définition de la méthodologie des différentes évaluations
du programme et l'élaboration de leurs termes de référence;
 La définition de la méthodologie de conduite des différents
audits (institutionnels et techniques), si besoin, et
l’élaboration des termes de référence y afférent…
Après le Cadre Logique, le Plan de S&E…

43. Après l'élaboration d'un plan de suivi-évaluation du programme ,
il s'agira de concevoir et de mettre en place du Système
d’information de Gestion en appui au suivi-évaluation du
programme, incluant:
 L'élaboration d'un état des lieux en matière de système
d'information (infrastructures, protocoles, liaisons, etc.);
 L'analyse conceptuelle et fonctionnelle du système
d'information existant et la détection des gaps par rapport
aux besoins du suivi-évaluation du programme en question;
 La mise en forme de la base de données du S&E;
 La programmation de l'application devant gérer la base de
données du S&E;
 La finalisation de l'implantation du système d'information;
 La formation des utilisateurs du système d'information.
Après le Plan de S&E, le Système d'Information…

44. Définition d'une base de données
En général, une base de données est un ensemble organisé de
documents, généralement structuré en colonnes et sous forme
tabulaire.
Pour ce qui est des bases de données électroniques, les
spécialistes des sciences informatiques parlent d'un ensemble
de données structuré et organisé afin qu'une application
informatique puisse sélectionner rapidement les éléments
désirés dans cet ensemble.
La forme de base de données la plus courante dans le monde
est la base de données relationnelle. Dans une telle base de
données, toutes les données ne sont pas stockées dans le
même tableau mais dans de différents tableaux liés entre eux.
Système d'Info: centralité des bases de données

45.  Rendre les données immédiatement disponibles en cas de besoin;
 S'assurer toujours de la disponibilité des données dans un format
facilitant différentes analyses sans effectuer des calculs manuels;
 Être plus efficace et précis dans la gestion et l'utilisation des
données;
 Permettre la comparaison de différents ensembles de données;
 Traiter de grandes quantités de données rapidement et avec
précision;
 Réduire le temps passé dans la gestion des données en réduisant
les processus d'analyse des données;
 Transformer des données disparates en information consolidée;
 Améliorer la qualité, la rapidité et la cohérence de l'information;
 Soutenir l'analyse spatiale à l'aide d'un système d'informations
géographiques (SIG) et la représentation des données sur les
cartes pour une compréhension facile par les décideurs…
Avantages d'une base de données de S&E

46.  Ne jamais compter sur la technologie pour "apporter toutes les
réponses" à elle seule en matière de S&E.
 Prendre en considération la politique gouvernementale en matière
de TIC dans le cas de bases de données des entités publiques.
 Veiller quotidiennement à la fonctionnalité et la sécurité d'une base
de données afin d'assurer l'intégrité, la disponibilité et la qualité
des données.
 Identifier quelles données doit contenir la base de données.
 Déterminer quel logiciel ou application utiliser pour l'analyse.
 Savoir que la disponibilité d'un logiciel d'analyse spatiale est utile.
 Prendre toutes les mesure nécessaires pour relier une nouvelle
base de données à d'autres bases existantes (transfert de données)
 Identifier dès le départ les besoins en renforcement de capacités en
matière de conception et de gestion pour améliorer l'utilisation de
la base de données et l'accès à l'information.
Usage de bases de données: ce qu'il faut retenir!!!

47. Merci pour votre attention.
Site de l'AfCoP: http://cop-mfdr-africa-fr.ning.com/