RAPPEL AUX ACTEURS :Peu importe les résultatsde l’évaluation, elle n’estpas un jugement sur laperformance d’unorganisme, m...
Étape description du projet• L’identification duproblème• L’objectif poursuivi• Les groupes cibles• Les ressources investi...
La description du projetd’évaluation • La description du projet;• L’élaboration des questionsd’évaluation;• Le choix des i...
L’identification du problème• Où est le problème!?• identifie-t-on une situation nondésirée!?• Espère -t- on la modifier!?...
L’objectif poursuivi• Problème ObjectifPosons les problèmes endéfinissant des objectifscohérents et atteignables ,identifi...
Les groupes cibles • Les femmes enceintes suivi parles centres de néonatalogie de« X » wilaya.• Les nourrissons de moins d...
Les ressources investies • Les ressources investiessont l’ensemble desressources humaines,financières et matériellesutilis...
Les activités • constitue les biens etservices produits par leprojet et qui sont offertsaux groupes cibles dans lebut de m...
Les résultats • Deux types de résultats :les résultats intermédiaireset le résultat final• Ceux-ci découlentlogiquement l’...
La conception d’un modèlelogique du projet • Réaliser une représentationvisuelle qui résume la façondont un projet est cen...
LE CADRE LOGIQUE: DESCRIPTON DU PROBLEME………………………………………………. Description du problème potentiel• Lors de la communication d...
Le cadre logique : Description du problème............................................................... Pour que le pro...
Le cadre logique : Description du problème...............................................................• Un projet d’éva...
Étape élaboration des questionsd’évaluation• Les questions typesd’évaluation
Les questions évaluatives Les objectifs fixés, il est possibled’élaborer une stratégie visant àl’évaluation. Une façon si...
Les questions évaluatives : santé de la reproductionLa PERTIENCE• Dans quelle mesure les objectifs définis en2005 dans le ...
Les questions évaluatives : santé de la reproductionLA COHERENCE• Les objectifs de réduction de la mortalité maternelle et...
Les questions évaluatives : santé de la reproductionL’EFFICACITE• Les objectifs assignés par le SDSS depuis 2005ont-ils ét...
Les questions évaluatives : santé de la reproductionL’EFFICIENCE• Au niveau des coûts, a-t-on réalisés la part desobjectif...
Les questions évaluatives : santé de la reproductionL’IMPACT OU EFFET INDIRECT• Quelles ont été les effets inattendus liés...
Les questions évaluatives : santé de la reproduction
Les questions évaluatives : santé de la reproduction• SANTE DE LA REPRODUCTION : Résultats attendus• Résultats intermédiai...
Étape choix des indicateurs
Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSDans quelle mesure les objectifs définis en200...
Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSLes objectifs de réduction de la mortalité mat...
Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSLes objectifs assignés par le SDSS depuis2005 ...
Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSAu niveau des coûts, a-t-on réalisés la partde...
Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSQuelles ont été les effets inattendus liés à l...
Étape modèles d’évaluation• Avec mesures desindicateurs après leprojet• Avec mesures desindicateurs avant etaprès le proje...
Étape modèles d’évaluation• Avec mesuresdes indicateursaprès le projetL’inconvénient de cette méthode est qu’elle ne perme...
Étape modèles d’évaluation• Avec mesures desindicateurs avantet après le projetOn peut estimer l’effet du projet en calcul...
Étape modèles d’évaluation• Avec mesures avant etaprès le projet avecGroupe cible outémoinLa meilleure façon de déterminer...
Étape modèles d’évaluation• Avec mesures avant etaprès le projet avecGroupe cible outémoinVérifions ce modèle à l’aide d’u...
Étape sources d’information
Étape méthode de collectes dedonnées• L’analyse documentaire• La tenue d’un journal debord• L’enquête• L’entrevue• Les gro...
Étape Sources d’informationL’analysedocumentaire• Les sources sont diverses et ne se concentrent pasuniquement au niveau d...
Étape Sources d’informationLa tenue d’unjournal de bord Le journal de bord est principalement utilisépour l’évaluation de...
Étape Sources d’informationL’enquête• recueillir de l’information• questions fermées ou des questions ouvertesMais :• L’in...
Étape Sources d’informationL’entrevue• méthode de collecte de données courammentutilisée en évaluation de projet.• Permet ...
Étape Sources d’informationLes groupes dediscussion• suppose la participation simultanée de plusieursrépondants;• consiste...
Étape Sources d’informationL’observation• consiste à dénombrer des comportements que l’onobserve directement sur le terrai...
Étape analyse des donnéesou la transformation de l’information recueillie en chiffres• Exemple d’évaluationde centre de la...
Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExemple d’évaluationde l’implantationd...
Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExemple d’évaluationde l’implantationd...
Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExempled’évaluation d’unrésultatinterm...
Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExempled’évaluation d’unrésultatinterm...
Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExempled’évaluation d’unrésultatinterm...
Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExemple d’évaluationd’un résultat fina...
Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExempled’évaluation d’unrésultat final
Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresTREND EUROPECOMPARATIF« Mortalité infa...
Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresTREND EUROPECOMPARATIF« Mortalité infa...
Le repérage des types de réponses les plus fréquemmentexprimées par les répondants
Le repérage des types de réponses les plus fréquemmentexprimées par les répondants
L’interprétation des résultats
L’interprétation des résultats
Les processus d’implantation s’est-il bien déroulé?Les objectifs ont-il été atteints?
 Grâce à l’information recueillie, l’évaluateur est enmesure d’émettre plusieurs constats sur la façondont a été mis en œ...
La diffusion des résultats ou la dissémination positive• Les moyens de diffusion
La diffusion des résultats ou la dissémination positive• Les résultats servent avant tout les acteurs et gestionnaires de ...
MERCI POUR VOTRE ATTENTIONIL RESTE A FAIRE LE RESTE C’EST-À-DIRE TOUT A FAIRE
MERCI POUR VOTRE ATTENTIONJOSÉ MANUEL BOUDEY EXPERT INTERNATIONAL .+33(0)6 84 528 550 (Portable) askjose1509 (skype) jose....
Présentationexo cgpp3
Présentationexo cgpp3
Prochain SlideShare
Chargement dans…5
×

Présentationexo cgpp3

252 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
252
Sur SlideShare
0
Issues des intégrations
0
Intégrations
3
Actions
Partages
0
Téléchargements
3
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive
  • Ceci est un exemple que vous devez parachever, rien n’est jamais achevé, seul compte ce que vous entendrez évaluer, je vous propose ici, une autre démarche évaluative et participative, adaptez la. Ne rester pas basé essentiellement sur du « quantitatif » et sachez cependant que si tirer des conclusions peut-être assez simple en soi, la difficulté essentielle est d’en tirer des recommandations/préconisations opérationnelles et de pouvoir ainsi anticiper quelque peu des actions futurs correctives . Disposer d’un tableau de bord qui vous permettra d’indiquer aux acteurs de terrain s’ils se trouvent dans cercle vertueux ou pernicieux. Ces outils sont collégiaux et vous devrez intégrer toutes les parties en présence du problème que vous entendrez évaluer, corriger ou comprendre. Rien ne se fera sans l’aide des acteurs de terrain et rien ne se fera sans un regard qui prenne de la hauteur, le vôtre.
  • Suivez l’abeille….
  • Les étapes générales
  • Avant d’évaluer un projet, il faut préalablement en faire un portrait d’ensemble, soit distinguer ses principales composantes, comprendre son mode de fonctionnement et connaître ses objectifs. À cet égard, il importe de définir les éléments suivants : le problème visé, les objectifs poursuivis, les groupes cibles, les ressources investies, les activités et les résultats anticipés. Dans un premier temps, nous nous attarderons à leur description
  • Lorsqu’on planifie l’évaluation d’un projet, il faut d’abord préciser quel est le problème en santé de la reproduction auquel ce projet souhaite apporter une solution. Le problème est l’objet sur lequel agit l’intervention, la situation indésirable que l’on espère modifier. Il importe de bien le connaître (lieux, moments, acteurs, cibles concernée, causes de morbi-mortalité ,facteurs de risque ou cofacteurs de risque) afin, notamment, de porter un jugement sur la stratégie utilisée pour le résoudre et pour être en mesure de percevoir si un changement chez ce dernier pourrait être lié à l’action du projet.
  • L’objectif désigne tout simplement la définition de l’état du problème en matière de santé de la reproduction que l’on souhaite atteindre après la mise en œuvre du projet. Cette étape permet d’attirer l’attention de l’évaluateur sur les résultats anticipés et sur la base desquels les ressources investies, les activités et la valeur de l’intervention seront appréciées, par exemple :
  • Par exemple, s’il s’agit d’évaluer un projet de prévention, vous devez savoir qu’il agit auprès de certaines personnes que l’on suppose entretenir un lien avec les problèmes santé de la reproduction qui doivent être résolus. À cet effet, avant d’entreprendre l’évaluation, il faut identifier les groupes cibles qui ont été directement visés par le projet, permettant ainsi à l’évaluateur de déterminer autour de quels bénéficiaires s’est articulée l’intervention et auprès de qui il sera possible de mesurer l’effet des actions entreprises, par exemple :
  • Les ressources investies sont l’ensemble des ressources humaines, financières et matérielles utilisées pour exécuter le projet.
  • Les activités (ex. : ateliers de groupe projets, diffusion, communication, mode de financement, lettre de l’évaluation et de conjoncture… ) sont les biens et services produits par le projet et qui sont offerts aux groupes cibles dans le but de modifier leur conduite conformément à l’objectif poursuivi. Elles agissent toujours sur les causes ou les facteurs de risque du projet , programme ou politiques évaluées
  • Les résultats sont les changements occasionnés par les activités du projet. Nous distinguerons deux types de résultats : les résultats intermédiaires et le résultat final. Ceux-ci découlent logiquement l’un de l’autre, telle une chaîne de cause à effet. Les résultats intermédiaires désignent les changements de connaissances, d’attitudes, d’opinions, de perceptions et de comportements chez les groupes cibles qui sont préalables et conditionnels à la modification du problème en matière de santé de la reproduction. Le résultat final fait référence, quant à lui, à la modification proprement dite du problème de réduction de la mortalité ou morbidité maternelle et infantile que l’on doit logiquement obtenir à la suite des résultats intermédiaires.
  • Une fois que l’on connaît le problème à résoudre, l’objectif à atteindre, les groupes cibles, les ressources investies ainsi que les activités et les résultats attendus, il peut s’avérer très utile aux fins de l’évaluation d’illustrer schématiquement comment ces différentes composantes s’articulent concrètement entre elles. Pour ce faire, un moyen efficace consiste à élaborer un modèle logique de projet. Un modèle logique est une représentation visuelle conçue à l’aide de signes, d’images et de mots, qui résume la façon dont un projet est censé fonctionner. Il illustre la séquence d’activités qui devrait logiquement conduire à l’atteinte d’un objectif, ainsi que le rôle joué par chacune des activités dans son accomplissement. Le modèle logique illustre en quelque sorte le « système » de relations qui unit les ressources, les activités et les objectifs à atteindre. Pour mieux comprendre comment s’élabore un modèle logique de projet, servons-nous d’un exemple concret, mais fictif :
  • Le problème c’est quoi en fait?
  • Il faut agir sur quoi et avec qui!
  • Le modèle logique réalisé, nous connaissons précisément le chemin qu’entend suivre un projet pour résoudre un problème en matière de MMI et focalisé sur les Wilayas du sud. Nous avons décrit des actions qui, une fois accomplies, occasionneront un enchaînement d’effets pour résoudre le problème. Hélas, la réalité se conforme parfois difficilement au plan. Une multitude de facteurs peuvent nuire à la mise en œuvre du projet, et il n’est pas certain que les moyens utilisés engendreront les changements attendus !!!
  • Puisque l’évaluation de l’implantation vise à déterminer le rôle joué par la mise en oeuvre d’un projet dans l’atteinte des objectifs, ce type d’évaluation utilise généralement des questions visant à recueillir de l’information sur la façon dont un projet s’est déroulé dans son ensemble. En nous servant de l’exemple du projet Santé de la reproduction, voici quelles pourraient être les questions d’évaluation de l’implantation d’un tel projet :
  • Puisque l’évaluation de l’implantation vise à déterminer le rôle joué par la mise en oeuvre d’un projet dans l’atteinte des objectifs, ce type d’évaluation utilise généralement des questions visant à recueillir de l’information sur la façon dont un projet s’est déroulé dans son ensemble. En nous servant de l’exemple du projet Santé de la reproduction, voici quelles pourraient être les questions d’évaluation de l’implantation d’un tel projet :
  • Une fois les questions d’évaluation posées, l’évaluateur doit réfléchir à la façon dont il leur apportera une réponse satisfaisante. Son premier réflexe consiste à déterminer le type d’information dont il aura besoin. Il doit formuler, à cet effet, des indicateurs qui lui permettront de mesurer et d’interpréter certains aspects du projet selon les questions d’évaluation qu’il se pose. Un indicateur est une mesure quantitative (chiffrée) ou qualitative (descriptive) qui, aux fins de l’évaluation, renseigne sur le processus de mise en œuvre du projet (activités) et ses résultats (intermédiaires et final). Chaque question d’évaluation doit correspondre à un ou des indicateurs dont on tirera l’information nécessaire à l’analyse. Voici quelques exemples d’indicateurs qu’il est possible de sélectionner aux fins de l’évaluation du projet :
  • Une fois les questions d’évaluation posées, l’évaluateur doit réfléchir à la façon dont il leur apportera une réponse satisfaisante. Son premier réflexe consiste à déterminer le type d’information dont il aura besoin. Il doit formuler, à cet effet, des indicateurs qui lui permettront de mesurer et d’interpréter certains aspects du projet selon les questions d’évaluation qu’il se pose. Un indicateur est une mesure quantitative (chiffrée) ou qualitative (descriptive) qui, aux fins de l’évaluation, renseigne sur le processus de mise en œuvre du projet (activités) et ses résultats (intermédiaires et final). Chaque question d’évaluation doit correspondre à un ou des indicateurs dont on tirera l’information nécessaire à l’analyse. Voici quelques exemples d’indicateurs qu’il est possible de sélectionner aux fins de l’évaluation du projet :
  • Une fois les questions d’évaluation posées, l’évaluateur doit réfléchir à la façon dont il leur apportera une réponse satisfaisante. Son premier réflexe consiste à déterminer le type d’information dont il aura besoin. Il doit formuler, à cet effet, des indicateurs qui lui permettront de mesurer et d’interpréter certains aspects du projet selon les questions d’évaluation qu’il se pose. Un indicateur est une mesure quantitative (chiffrée) ou qualitative (descriptive) qui, aux fins de l’évaluation, renseigne sur le processus de mise en œuvre du projet (activités) et ses résultats (intermédiaires et final). Chaque question d’évaluation doit correspondre à un ou des indicateurs dont on tirera l’information nécessaire à l’analyse. Voici quelques exemples d’indicateurs qu’il est possible de sélectionner aux fins de l’évaluation du projet :
  • Une fois les questions d’évaluation posées, l’évaluateur doit réfléchir à la façon dont il leur apportera une réponse satisfaisante. Son premier réflexe consiste à déterminer le type d’information dont il aura besoin. Il doit formuler, à cet effet, des indicateurs qui lui permettront de mesurer et d’interpréter certains aspects du projet selon les questions d’évaluation qu’il se pose. Un indicateur est une mesure quantitative (chiffrée) ou qualitative (descriptive) qui, aux fins de l’évaluation, renseigne sur le processus de mise en œuvre du projet (activités) et ses résultats (intermédiaires et final). Chaque question d’évaluation doit correspondre à un ou des indicateurs dont on tirera l’information nécessaire à l’analyse. Voici quelques exemples d’indicateurs qu’il est possible de sélectionner aux fins de l’évaluation du projet :
  • Une fois les questions d’évaluation posées, l’évaluateur doit réfléchir à la façon dont il leur apportera une réponse satisfaisante. Son premier réflexe consiste à déterminer le type d’information dont il aura besoin. Il doit formuler, à cet effet, des indicateurs qui lui permettront de mesurer et d’interpréter certains aspects du projet selon les questions d’évaluation qu’il se pose. Un indicateur est une mesure quantitative (chiffrée) ou qualitative (descriptive) qui, aux fins de l’évaluation, renseigne sur le processus de mise en œuvre du projet (activités) et ses résultats (intermédiaires et final). Chaque question d’évaluation doit correspondre à un ou des indicateurs dont on tirera l’information nécessaire à l’analyse. Voici quelques exemples d’indicateurs qu’il est possible de sélectionner aux fins de l’évaluation du projet :
  • Le modèle d’évaluation avec mesure des indicateurs après le projet Une façon d’estimer les effets d’un projet consiste à mesurer les indicateurs de résultats après sa mise en œuvre. Ce modèle est relativement simple à utiliser et ne requiert pas une méthodologie complexe. Essentiellement, elle consiste à mesurer, par un indicateur approprié, l’état du problème en santé maternelle et infantile après l’action du projet de prévention. Par exemple, dans le cas du projet d’évaluation MMI sur les wilayas du sud , la mesure du résultat final, à l’aide de ce modèle d’évaluation, pourrait s’effectuer de la façon suivante :
  • Le modèle d’évaluation avec mesure des indicateurs avant et après le projet Une façon fort intéressante, intuitive et généralement répandue de mesurer l’effet d’un projet consiste à recueillir de l’information sur les indicateurs de résultats avant et après sa mise en oeuvre9. Ces deux mesures échelonnées dans le temps permettent d’estimer si un changement du problème visé s’est produit dans l’intervalle du projet et d’en préciser l’ampleur. Dans le cas du projet Parc-ados, ce modèle d’évaluation pourrait s’appliquer de la façon suivante :
  • Le modèle d’évaluation avec mesure des indicateurs avant et après le projet avec groupe témoin La meilleure façon de déterminer si un projet a véritablement, et à lui seul, occasionné un effet positif est de savoir ce qui se serait produit s’il n’avait jamais été mis en oeuvre10. Pour ce faire, l’évaluateur doit pouvoir comparer dans le temps la mesure d’un indicateur de résultat donné chez deux groupes de gens ayant, idéalement, les mêmes caractéristiques et subissant les mêmes influences externes, à l’exception de leur exposition au projet. Puisque les deux groupes sont sensiblement identiques, la différence mesurée entre ceux-ci ne s’expliquera logiquement que par l’influence du projet11. Dans ce modèle, le rôle du groupe non exposé au projet est précisément de suivre, approximativement, qu’elle aurait été l’évolution du problème sans l’intervention. Pour que ce modèle d’évaluation fonctionne adéquatement, il importe tout particulièrement de constituer un groupe témoin (groupe non exposé au projet) qui soit semblable au groupe exposé au projet. Pour ce faire, il faut s’assurer que les deux groupes partagent de nombreuses « caractéristiques » similaires. Illustrons ce modèle à l’aide d’un exemple. Afin de déterminer quelle aurait été approximativement l’évolution du problème de délinquance juvénile dans le parc Sauvageau sans l’implantation du projet Parc-ados, un évaluateur pourrait observer le nombre de délits signalés dans un autre parc qui lui est semblable. En s’assurant que le parc qui servira de groupe témoin possède des caractéristiques (milieu socioéconomique, clientèle, problème de délinquance juvénile) similaires, il pourra, en comparant l’évolution du nombre de délits dans les deux parcs, mesurer quel est l’effet sur le problème de délinquance juvénile qui soit uniquement attribuable au projet Parc-ados. Voici une représentation de ce modèle d’évaluation appliqué à notre exemple :
  • Le modèle d’évaluation avec mesure des indicateurs avant et après le projet avec groupe témoin La meilleure façon de déterminer si un projet a véritablement, et à lui seul, occasionné un effet positif est de savoir ce qui se serait produit s’il n’avait jamais été mis en oeuvre10. Pour ce faire, l’évaluateur doit pouvoir comparer dans le temps la mesure d’un indicateur de résultat donné chez deux groupes de gens ayant, idéalement, les mêmes caractéristiques et subissant les mêmes influences externes, à l’exception de leur exposition au projet. Puisque les deux groupes sont sensiblement identiques, la différence mesurée entre ceux-ci ne s’expliquera logiquement que par l’influence du projet11. Dans ce modèle, le rôle du groupe non exposé au projet est précisément de suivre, approximativement, qu’elle aurait été l’évolution du problème sans l’intervention. Pour que ce modèle d’évaluation fonctionne adéquatement, il importe tout particulièrement de constituer un groupe témoin (groupe non exposé au projet) qui soit semblable au groupe exposé au projet. Pour ce faire, il faut s’assurer que les deux groupes partagent de nombreuses « caractéristiques » similaires. Illustrons ce modèle à l’aide d’un exemple. Afin de déterminer quelle aurait été approximativement l’évolution du problème de délinquance juvénile dans le parc Sauvageau sans l’implantation du projet Parc-ados, un évaluateur pourrait observer le nombre de délits signalés dans un autre parc qui lui est semblable. En s’assurant que le parc qui servira de groupe témoin possède des caractéristiques (milieu socioéconomique, clientèle, problème de délinquance juvénile) similaires, il pourra, en comparant l’évolution du nombre de délits dans les deux parcs, mesurer quel est l’effet sur le problème de délinquance juvénile qui soit uniquement attribuable au projet Parc-ados. Voici une représentation de ce modèle d’évaluation appliqué à notre exemple :
  • Recueillir par soi-même l’information nécessaire aux fins de l’évaluation est une tâche rigoureuse et complexe. Lorsque c’est possible, il peut être avantageux d’utiliser l’information que d’autres possèdent déjà. Plusieurs organisations ont en main des données pouvant possiblement renseigner sur les effets d’un projet santé de la reproduction. La consultation de leurs publications, registres, verbaux, rapports d’activité et de recherche peut s’avérer une source de renseignements utile, facile d’accès et peu coûteuse. Exemples : • Statistiques; • Rapport; • Registre. Toutefois, l’information désirée pour l’évaluation n’est pas toujours accessible ou, encore, suffisamment fiable. Dans cette éventualité, l’évaluateur doit utiliser d’autres méthodes de collecte de données pour recueillir lui-même les informations dont il a besoin. L’utilité de chacune de ces méthodes dépend du type de données qu’il souhaite obtenir et de l’analyse qu’il souhaite effectuer. Chacun possède des avantages et des inconvénients. Voyons-les succinctement.
  • Le journal de bord est principalement utilisé pour l’évaluation de l’implantation du projet. Cet outil de collecte de données sert à consigner des renseignements généraux sur le déroulement et le fonctionnement d’un projet tout au long de sa mise en œuvre. L’utilisation du journal de bord requiert que les intervenants notent sur une base régulière les actions réalisées, les problèmes éprouvés, les ajustements effectués, les décisions prises, le suivi de l’échéancier de travail et tout autre information susceptible de renseigner sur la façon dont leur projet a été implanté. Les avantages : • Outil de collecte de données relativement simple à utiliser; • Permet une collecte systématique de l’information en cours de réalisation du projet; • Accroît considérablement l’exhaustivité et l’exactitude des informations servant à l’évaluation de l’implantation. Les inconvénients : • Accroît la charge de travail durant le processus de mise en œuvre; • Nécessite de la discipline lors de la collecte des données. Afin d’éviter des erreurs dans le choix et la formulation des questions, il est recommandé de faire élaborer, sinon valider, votre questionnaire par une personne qui maîtrise bien l’utilisation de ce genre d’instrument de mesure et de le pré-tester auprès d’un nombre limité de personnes représentatives de la population visée par l’enquête.
  • L’enquête consiste à interroger, à l’aide d’un questionnaire, des gens afin de recueillir de l’information sur leurs opinions, perceptions, comportements ou sur certains faits. Le questionnaire comporte une série de questions logiquement organisées. Il peut contenir des questions fermées ou des questions ouvertes. Les questions fermées proposent aux répondants des choix de réponse prédéterminés tandis que les questions ouvertes leur permettent de s’exprimer librement et dans leurs mots. Lors d’une évaluation, cette méthode de collecte de données est fréquemment utilisée afin de recueillir des données quantitatives (chiffrées). Les informations obtenues à l’aide d’un questionnaire servent à réaliser des analyses statistiques dans le but de découvrir s’il y a une relation entre les variations d’un problème lié à la santé de la reproduction et l’action d’un projet de diminution de la MMI. Les avantages : • Le questionnaire peut rejoindre un grand nombre de répondants; • Le questionnaire permet de recueillir de l’information sur une grande quantité de variables. Seule cette technique permet de réaliser certaines analyses statistiques. Les inconvénients : • Une telle méthode nécessite de la rigueur dans l’élaboration des questions et la passation du questionnaire; • L’information recueillie est souvent standardisée et est parfois superficielle; • La compilation et l’analyse des données recueillies sont techniquement exigeantes; • L’utilisation de cet outil de collecte de données nécessite parfois des connaissances approfondies en méthode de recherche; • Une enquête implique souvent des coûts importants; • Une enquête exige beaucoup de rigueur à toutes les étapes, sinon ses résultats risquent d’être inutilisables.
  • L’entrevue est une méthode de collecte de données couramment utilisée en évaluation de projet, tant sur le plan de la vérification de l’implantation que sur celui de la mesure des résultats. Elle consiste à recueillir directement les perceptions, opinions, sentiments et expériences de personnes dans le but de dégager certains constats en rapport avec les questions d’évaluation. Les avantages : • Permet d’interroger les répondants en profondeur; • S’adapte à la réalité des répondants. Les inconvénients : • Cette méthode exige du temps lorsque plusieurs entrevues doivent être effectuées; • Les répondants peuvent vouloir plaire à l’intervieweur, ce qui, conséquemment, peut les conduire à filtrer ou à modifier leurs réponses; • Difficulté à compiler et à analyser une information qualitative. Bien que, à première vue, il semble facile de réaliser une entrevue, cette technique d’entretien exige planification et rigueur. Le choix des questions, la prise de contact avec le répondant, la façon de conduire l’entrevue et la prise de notes sont des éléments méthodologiques sur lesquels il vaut mieux se renseigner avant d’utiliser cet instrument de collecte.
  • Un autre moyen similaire à l’entrevue pour recueillir des renseignements, mais qui suppose la participation simultanée de plusieurs répondants, consiste à animer des groupes de discussion. Cette technique est utilisée lorsque l’on souhaite que plusieurs personnes échangent sur un sujet donné. Les avantages : • La confrontation des opinions permet à la fois d’enrichir et de nuancer l’information recueillie et de dégager des consensus sur les questions d’évaluation; • Il est possible de recueillir l’avis de nombreuses personnes lors d’une seule entrevue. Les inconvénients : • Il est possible qu’un nombre restreint de participants monopolise la discussion; • Certaines personnes peuvent modifier leurs réponses dans un souci de conformité sociale; • Il est difficile de compiler et d’analyser une information qualitative.
  • Enfin, l’évaluateur peut également recourir à l’observation dans sa quête d’informations. Cette technique consiste à dénombrer des comportements que l’on observe directement sur le terrain. L’emploi d’une grille d’observation est nécessaire. Les avantages : • Il est possible de recueillir directement de l’information aux fins de l’évaluation sans recourir à des intermédiaires (personnes, documents, etc.); • Les personnes sont observées dans leur milieu, ce qui permet d’assurer l’authenticité de l’information colligée. Les inconvénients : • La fiabilité de l’information recueillie repose entièrement sur les habiletés d’observation de l’évaluateur; • Une grande neutralité est requise. Pour mieux comprendre, lors du processus évaluatif, les raisons qui motivent l’utilisation des méthodes de collecte de données présentées dans cette section, et pour apprendre à les élaborer et à les utiliser,
  • Une manière d’organiser les informations recueillies et de la rendre compréhensible consiste à la présenter sous forme de chiffres dans des tableaux. Comptabiliser la fréquence des réponses obtenues aux questions d’un questionnaire et le pourcentage correspondant aide à synthétiser l’ensemble des informations reçues. Cette démarche permet notamment de percevoir clairement les types d’opinions, d’attitudes ou de comportements présents chez des groupes
  • Vous avez en mains de nombreuses données « en vrac » sur les indicateurs qui ne lui permettent cependant pas de juger directement de l’efficacité d’un projet. Il lui faut, préalablement, rendre ces multiples renseignements compréhensibles aux fins de l’évaluation. À cet effet, l’analyse des données est l’étape au cours de laquelle l’évaluateur compile, organise, classe et interprète l’ensemble des renseignements qu’il a obtenus auprès de sources d’information dans le but de répondre aux questions d’évaluation posées. Une fois les informations désirées en sa possession, l’évaluateur vérifie préalablement sa fiabilité et départage les données qui ont été colligées aux fins de l’évaluation de l’implantation de celles recueillies pour l’évaluation des résultats. Par la suite, cette information doit être transformée, au besoin, soit en statistiques descriptives (fréquence, pourcentage, moyenne, etc.) dans le cas de réponses à des questions fermées (questions à choix de réponse), soit en catégories de réponses les plus fréquemment exprimées par les répondants dans le cas de questions ouvertes (questions sans choix de réponse) Une manière d’organiser les informations recueillies et de la rendre compréhensible consiste à la présenter sous forme de chiffres dans des tableaux. Comptabiliser la fréquence des réponses obtenues aux questions d’un questionnaire et le pourcentage correspondant aide à synthétiser l’ensemble des informations reçues. Cette démarche permet notamment de percevoir clairement les types d’opinions, d’attitudes ou de comportements présents chez des groupes.
  • Vous avez en mains de nombreuses données « en vrac » sur les indicateurs qui ne lui permettent cependant pas de juger directement de l’efficacité d’un projet. Il lui faut, préalablement, rendre ces multiples renseignements compréhensibles aux fins de l’évaluation. À cet effet, l’analyse des données est l’étape au cours de laquelle l’évaluateur compile, organise, classe et interprète l’ensemble des renseignements qu’il a obtenus auprès de sources d’information dans le but de répondre aux questions d’évaluation posées. Une fois les informations désirées en sa possession, l’évaluateur vérifie préalablement sa fiabilité et départage les données qui ont été colligées aux fins de l’évaluation de l’implantation de celles recueillies pour l’évaluation des résultats. Par la suite, cette information doit être transformée, au besoin, soit en statistiques descriptives (fréquence, pourcentage, moyenne, etc.) dans le cas de réponses à des questions fermées (questions à choix de réponse), soit en catégories de réponses les plus fréquemment exprimées par les répondants dans le cas de questions ouvertes (questions sans choix de réponse) Une manière d’organiser les informations recueillies et de la rendre compréhensible consiste à la présenter sous forme de chiffres dans des tableaux. Comptabiliser la fréquence des réponses obtenues aux questions d’un questionnaire et le pourcentage correspondant aide à synthétiser l’ensemble des informations reçues. Cette démarche permet notamment de percevoir clairement les types d’opinions, d’attitudes ou de comportements présents chez des groupes.
  • Vous avez en mains de nombreuses données « en vrac » sur les indicateurs qui ne lui permettent cependant pas de juger directement de l’efficacité d’un projet. Il lui faut, préalablement, rendre ces multiples renseignements compréhensibles aux fins de l’évaluation. À cet effet, l’analyse des données est l’étape au cours de laquelle l’évaluateur compile, organise, classe et interprète l’ensemble des renseignements qu’il a obtenus auprès de sources d’information dans le but de répondre aux questions d’évaluation posées. Une fois les informations désirées en sa possession, l’évaluateur vérifie préalablement sa fiabilité et départage les données qui ont été colligées aux fins de l’évaluation de l’implantation de celles recueillies pour l’évaluation des résultats. Par la suite, cette information doit être transformée, au besoin, soit en statistiques descriptives (fréquence, pourcentage, moyenne, etc.) dans le cas de réponses à des questions fermées (questions à choix de réponse), soit en catégories de réponses les plus fréquemment exprimées par les répondants dans le cas de questions ouvertes (questions sans choix de réponse) Une manière d’organiser les informations recueillies et de la rendre compréhensible consiste à la présenter sous forme de chiffres dans des tableaux. Comptabiliser la fréquence des réponses obtenues aux questions d’un questionnaire et le pourcentage correspondant aide à synthétiser l’ensemble des informations reçues. Cette démarche permet notamment de percevoir clairement les types d’opinions, d’attitudes ou de comportements présents chez des groupes.
  • Vous avez en mains de nombreuses données « en vrac » sur les indicateurs qui ne lui permettent cependant pas de juger directement de l’efficacité d’un projet. Il lui faut, préalablement, rendre ces multiples renseignements compréhensibles aux fins de l’évaluation. À cet effet, l’analyse des données est l’étape au cours de laquelle l’évaluateur compile, organise, classe et interprète l’ensemble des renseignements qu’il a obtenus auprès de sources d’information dans le but de répondre aux questions d’évaluation posées. Une fois les informations désirées en sa possession, l’évaluateur vérifie préalablement sa fiabilité et départage les données qui ont été colligées aux fins de l’évaluation de l’implantation de celles recueillies pour l’évaluation des résultats. Par la suite, cette information doit être transformée, au besoin, soit en statistiques descriptives (fréquence, pourcentage, moyenne, etc.) dans le cas de réponses à des questions fermées (questions à choix de réponse), soit en catégories de réponses les plus fréquemment exprimées par les répondants dans le cas de questions ouvertes (questions sans choix de réponse) Une manière d’organiser les informations recueillies et de la rendre compréhensible consiste à la présenter sous forme de chiffres dans des tableaux. Comptabiliser la fréquence des réponses obtenues aux questions d’un questionnaire et le pourcentage correspondant aide à synthétiser l’ensemble des informations reçues. Cette démarche permet notamment de percevoir clairement les types d’opinions, d’attitudes ou de comportements présents chez des groupes.
  • Le repérage des types de réponses les plus fréquemment exprimées par les répondants Il est possible d’analyser les réponses aux questions ouvertes d’entrevue ou, encore, de questionnaires en repérant les idées partagées par le plus grand nombre de répondants. Il s’agit ici de découvrir les opinions dominantes qu’ont en commun les personnes interrogées. Pour ce faire, l’évaluateur doit classer les informations transmises dans différentes catégories de réponses qu’il juge les plus typiques des propos tenus
  • Le repérage des types de réponses les plus fréquemment exprimées par les répondants Il est possible d’analyser les réponses aux questions ouvertes d’entrevue ou, encore, de questionnaires en repérant les idées partagées par le plus grand nombre de répondants. Il s’agit ici de découvrir les opinions dominantes qu’ont en commun les personnes interrogées. Pour ce faire, l’évaluateur doit classer les informations transmises dans différentes catégories de réponses qu’il juge les plus typiques des propos tenus
  • Le processus d’implantation s’est-il bien déroulé? Grâce à l’information recueillie, l’évaluateur est en mesure d’émettre plusieurs constats sur la façon dont a été mis en oeuvre le projet. Rappelons qu’il doit notamment répondre aux questions suivantes : • Le projet a-t-il permis d’accomplir les activités prévues? • Le projet a-t-il rejoint les gens visés par le problème à résoudre? • Le projet a-t-il connu des problèmes de gestion particuliers? En apportant une réponse à ces questions, l’évaluateur notera ce qui a bien et moins bien fonctionné lors du processus d’implantation, ce qui l’aidera à expliquer, ultérieurement, certaines causes «opérationnelles» liées au succès ou à l’insuccès du projet. 8.3.2 Les objectifs ont-ils été atteints? À la lumière des informations dont il dispose, l’évaluateur doit également constater si le problème de la MMI dans ces Wilayas du sud s’est modifié tel qu’il avait été prédit. Pour ce faire, il doit observer attentivement si la mesure des indicateurs de résultats atteste d’un changement significatif du problème avant et après le projet. Ce sont généralement des changements de comportement chez la population cible qui témoigneront d’un tel effet.
  • Les résultats de l’évaluation servent en tout premier lieu les gestionnaires de projet. Toutefois, de nombreuses autres personnes sont intéressées à connaître les constats de la démarche évaluative afin de bénéficier de ses enseignements. Parmi celles-ci, mentionnons les partenaires du projet, les bailleurs de fonds, les élus, le grand public et bien d’autres. C’est à l’étape de la diffusion des résultats que vous devez déterminer à qui vous transmettrez vos résultats et la façon dont vous les transmettrez. Les questions suivantes peuvent vous aider à déterminer avec qui vous partagerez les résultats de votre évaluation :
  • http://ec.europa.eu/health/indicators/echi/list/index_en.htm#echi2
  • Présentationexo cgpp3

    1. 1. RAPPEL AUX ACTEURS :Peu importe les résultatsde l’évaluation, elle n’estpas un jugement sur laperformance d’unorganisme, mais unmoyen d’apprécier laqualité d’uneintervention. Parce qu’elleest un moyen d’apprendrede vos projets passés etprésents en vue de leuramélioration, l’évaluationn’est pas une fin en soi,mais une projection versl’avenir.
    2. 2. Étape description du projet• L’identification duproblème• L’objectif poursuivi• Les groupes cibles• Les ressources investies• Les activités• Les résultats• La conception d’unmodèle logique deprojet
    3. 3. La description du projetd’évaluation • La description du projet;• L’élaboration des questionsd’évaluation;• Le choix des indicateurs;• L’adoption du modèled’évaluation;• L’identification des sourcesd’information;• Le choix des méthodes decollecte de données;• L’analyse des données;• La diffusion des résultats.L’évaluation de projetss’exécute habituellementpar étapes, selon une sériede méthodes préétablies
    4. 4. L’identification du problème• Où est le problème!?• identifie-t-on une situation nondésirée!?• Espère -t- on la modifier!?• En connaissons nous tous lescontours!?• Pouvons nous porter unjugement initial sur la stratégieutilisée de manière à résoudrel’effet indésirable!?• Percevons nous qu’unemodification de stratégie estsusceptible d’amélioration!?Selon notre perception etsources tirées de: Marceau, R.,Otis, D. et Simard, P. :« La planification d’uneévaluation de programme.Concepts théoriques etconsidérations pratiques dansParenteau R., Managementpublic »
    5. 5. L’objectif poursuivi• Problème ObjectifPosons les problèmes endéfinissant des objectifscohérents et atteignables ,identifions les résultats paranticipation sur la basedesquels les ressourcesinvesties , les activités et lavaleur de l’évaluation s.eraappréciéeUne baisse de lamortalité infantile etmaternelle dans leswilayas (xyz) pilotesRéduire de (x%) lamortalité infantile etmaternelle pouratteindre les 2/3 desobjectifs du millénaireUne amélioration de laprise en charge de lamère et de l’enfant parles structures denéonatalitéaugmenter le nombrede structures denéonatalité dans(nombre x) de wilayaUne meilleuredistribution du personnelpar wilaya piloteRéduire les inégalitésen terme dedistribution depersonnel qualifiésdans (x) wilaya
    6. 6. Les groupes cibles • Les femmes enceintes suivi parles centres de néonatalogie de« X » wilaya.• Les nourrissons de moins d’unans suivi par les centres denéonatalogie dans « Y »wilaya.• Les enfants de 1 à 5 ans suivipar les programmes de santéde la reproduction dans « Z »wilaya.Les groupes cibles sont en faitles bénéficiaires directs ouindirects de l’évaluation , dans lecas de notre exercice , noussouhaiterions que les groupescibles soient discutées entre lespartenaires, nous ne prenonsque des exemples pour notredémonstration.
    7. 7. Les ressources investies • Les ressources investiessont l’ensemble desressources humaines,financières et matériellesutilisées pour exécuter leprojet.Mais attention, un projetd’évaluation à un coût quidoit être évalué dès sonorigine, il faut être capablede poursuivre la démarchejusqu’à la diffusion del’information aux acteurs etau grand public.. Sans oublier, la diffusion des étapesintermédiaires ainsi que lamise œuvre d’outils decommunication NTIC quidécriront les indicateurs àl’aide d’une base dedonnées vivantes , actualiséeet consultables.
    8. 8. Les activités • constitue les biens etservices produits par leprojet et qui sont offertsaux groupes cibles dans lebut de modifier leurconduite conformément àl’objectif poursuiviune évaluation produit desdonnées qu’il faut partager pourqu’elle puisse concourir àaméliorer l’état antérieur.
    9. 9. Les résultats • Deux types de résultats :les résultats intermédiaireset le résultat final• Ceux-ci découlentlogiquement l’un de l’autre• C’est une chaîne de cause àeffetPas de résultat final sansrésultat intermédiaire.Attention à ne pas vouloir «brûler » des étapes , uneLocomotive doit pours’arrêter actionner unlevier. Mais le résultatintermédiaire c’est le feurouge ou vert qui permet aulevier d’être actionné plusvite et de manière plussécurisante .
    10. 10. La conception d’un modèlelogique du projet • Réaliser une représentationvisuelle qui résume la façondont un projet est censéfonctionner.• Il décrit la séquenced’activités qui devraitlogiquement conduire àl’atteinte d’un objectif,ainsi que le rôle joué parchacune des activités dansson accomplissementLe modèle logique illustreen quelque sorte le« système » de relationsqui unit les ressources, lesactivités et les objectifs àatteindre.
    11. 11. LE CADRE LOGIQUE: DESCRIPTON DU PROBLEME………………………………………………. Description du problème potentiel• Lors de la communication du Schéma directeur sectoriel de lasanté en Algérie 2025, il était indiqué le renforcement de la luttecontre la mortalité maternelle et infantile en réduisant de moitié lamortalité maternelle, notamment dans les wilayas du Sud et enréduisant du tiers la mortalité néonatale, sachant que cettedernière représentait près de 80% de la mortalité infantile.• Cette réduction devait s’accompagner d’un plan généralisé de miseen place de services ou d’unités de néonatalogie.• Parallèlement, l’objectif 2015 fixé dans ce rapport, dans le cadredes objectifs du millénaire pour le développement, consistant àréduire de deux tiers, le taux de mortalité infantile (1990-2015),devrait être atteint vers 2011. Il était attendu que le programme delutte contre la mortalité périnatale, lancé depuis 2005 devaitengendrer des rythmes de baisse de la mortalité infantile beaucoupplus rapides que ceux prévus pas les estimations faites sur la basede la tendance passée ».
    12. 12. Le cadre logique : Description du problème............................................................... Pour que le problème de la réduction de la mortalité maternelle etinfantile soit effective notamment dans les wilayas du sud, il convenaitd’agir sur :• L’aménagement des services et unités de néonatologie dans tous leshôpitaux ;• La création de complexes mère/enfant ;• La mise à niveau du plateau technique dans les structures de maternités ;• La formation du personnel. Dans le même temps, les investies devaient être de  [MDA ?] Ce projet devait faire appel à plusieurs intervenants dont les principaux sont :• Le Ministère de la Santé• La Branche Maladie et/ou (Ministère du Travail de lEmploi et de laSécurité Sociale)• Les Wilayas• Les Centres Hospitaliers
    13. 13. Le cadre logique : Description du problème...............................................................• Un projet d’évaluation permet aussi de vérifier noshypothèses,• Le défi majeur consiste à ce que le plan d’actions desinterventions de l’évaluation se concrétise :• Cest-à-dire que l’ensemble des actions planifiées pourrésoudre un problème en matière de mortalité maternelleet infantile soient effectuées comme prévu et qu’ellesmodifient l’état du problème constaté ou prédit.• L’évaluation permet de renseigner sur cet enjeu siimportant en vérifiant à quel point un projet a confirméses prévisions.• Si tel n’est pas le cas, l’évaluation devrait au moinspermettre de mettre en exergue ce qui a fait défaut, parexemple : le déroulement ou le fonctionnement du projetd’évaluation, le choix des activités etc..
    14. 14. Étape élaboration des questionsd’évaluation• Les questions typesd’évaluation
    15. 15. Les questions évaluatives Les objectifs fixés, il est possibled’élaborer une stratégie visant àl’évaluation. Une façon simple etefficace de commencer ce travailconsiste à déterminer quels aspectsparticuliers du projet il imported’examiner. Pour ce faire, il estrecommandé d’élaborer desquestions d’évaluation.L’étape de la formulationdes questions aide àstructurer notre travail,notamment parce qu’ellenous oblige à préciser ceque nous souhaiterionsobtenir commeinformation!!
    16. 16. Les questions évaluatives : santé de la reproductionLa PERTIENCE• Dans quelle mesure les objectifs définis en2005 dans le cadre du SSDS pour la réductionde la mortalité maternelle et infantile ont étéjustifiés, par rapport aux besoins ?• Doit-on maintenir le ou les programmes enl’état ou faut-il les modifier ?• Correspondent- ils aux priorités des services ?
    17. 17. Les questions évaluatives : santé de la reproductionLA COHERENCE• Les objectifs de réduction de la mortalité maternelle etinfantile définis par les objectifs du millénaire sont-ilcohérents entre eux ?• Les moyens juridiques, humains et financiers sont-ils enphase avec les objectifs ?• Les moyens (humains, financiers, matériels) sont-ils adaptésaux objectifs ?• La politique de santé publique en santé de la reproduction)et en ce qui concerne la mortalité maternelle et infantileest-elle cohérence avec les autres politiques et/ouprogrammes de santé publique ?• Y –a-t- il une cohérence entre les différentes actions desacteurs de santé ?
    18. 18. Les questions évaluatives : santé de la reproductionL’EFFICACITE• Les objectifs assignés par le SDSS depuis 2005ont-ils été tous atteints ?• Quelles interventions mis en oeuvre ont-ilsproduits les effets attendus ?• Sont-ils négatifs ou positifs ?
    19. 19. Les questions évaluatives : santé de la reproductionL’EFFICIENCE• Au niveau des coûts, a-t-on réalisés la part desobjectifs actuels au meilleur coût ?• Pouvait-on obtenir plus d’effets avec des coûtsmoindres ?• Qu’aurait-il été nécessaire pour améliorerl’efficience budgétaire ?
    20. 20. Les questions évaluatives : santé de la reproductionL’IMPACT OU EFFET INDIRECT• Quelles ont été les effets inattendus liés à lamise en place des objectifs et des moyens ?
    21. 21. Les questions évaluatives : santé de la reproduction
    22. 22. Les questions évaluatives : santé de la reproduction• SANTE DE LA REPRODUCTION : Résultats attendus• Résultats intermédiaires:• L’aménagement des services et unités de néonatalogies’est réellement réalisé dans tous les hôpitaux?• Constate-on une augmentation du taux de personnelformé et nommé dans les wilayas du sud?• La mise à niveau de plateau technique dans les structuresde maternité a-t-elle été effectuée?• La création de complexe de la mère et de l’enfant est-ilune réalité mesurable dans les wilayas du sud?• Résultat final:• Depuis 2005, a-t-on réduit la mortalité maternelle etinfantile de X% pour atteindre les 2/3 des objectifs dumillénaire ?
    23. 23. Étape choix des indicateurs
    24. 24. Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSDans quelle mesure les objectifs définis en2005 dans le cadre du SSDS pour la réductionde la mortalité maternelle et infantile ont étéjustifiés, par rapport aux besoins ?Écart en % de diminution de la MMI entre 2005 et2010Taux de réalisation en % des objectifs réalisés.(…)Doit-on maintenir le ou les programmes enl’état ou faut-il les modifier ?% du nombre d’acteurs de santé souhaitantmaintenir les programmes en l’état et écart en %contre ceux qui souhaite les modifier.(…)Correspondent- ils aux priorités des services ? Indice .pondéré de satisfaction des population.(…)
    25. 25. Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSLes objectifs de réduction de la mortalité maternelleet infantile définis par les objectifs du millénaire sont-il cohérents entre eux ?% des ressources mise en œuvre ,Taux de satisfactions des acteurs .(…)Les moyens juridiques, humains et financiers sont-ilsen phase avec les objectifs ?% des ressources allouées aux objectifs de politiquesde santé de 2005 à 2011Taux d’accroissement en termes ressources humaines% d’établissement contractualisé depuis 2005.(….)Les moyens (humains, financiers, matériels) sont-ilsadaptés aux objectifs ?Taux de satisfaction des acteursTaux de satisfaction des patients.(….)La politique de santé publique en santé de lareproduction) et en ce qui concerne la mortalitématernelle et infantile est-elle cohérence avec lesautres politiques et/ou programmes de santépublique ?Ecart 2005-2011 en mortalité maternelle et infantilepar rapport à l’écart des autres programmes évalués.(…)Y –a-t- il une cohérence entre les différentes actionsdes acteurs de santé ?% ressources allouées aux programmes et taux deréalisation effectif des actions. (…)
    26. 26. Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSLes objectifs assignés par le SDSS depuis2005 ont-ils été tous atteints ?Évaluation qualitative , degré de satisfaction% de programmes achevé et taux de réussite en %amélioration des ratios depuis 2005.Ressources allouées / amélioration des ratios.(…)Quelles interventions mis en œuvre ont-ilsproduits les effets attendus ?Taux de progression de la bonne application desrecommandations / % de satisfaction de lapopulation cible.(…)Sont-ils négatifs ou positifs ? % de réponses positives% de réponses négatives(..)
    27. 27. Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSAu niveau des coûts, a-t-on réalisés la partdes objectifs actuels au meilleur coût ?% de pertinence des coûts/ taux de réalisationsréellement constatées depuis 2005.(…)Pouvait-on obtenir plus d’effets avec descoûts moindres ?Analyse qualitatives par groupe de réponses.(…)Qu’aurait-il été nécessaire pour améliorerl’efficience budgétaire ?Analyse qualitative regroupées par typologie deréponses.(…)
    28. 28. Les Indicateurs : santé de la reproductionQUESTIONS D’EVALUATION INDICATEURSQuelles ont été les effets inattendus liés à lamise en place des objectifs et des moyens ?Analyses qualitatives, établissement derecommandations pour des ajustementscorrectifs .(…)
    29. 29. Étape modèles d’évaluation• Avec mesures desindicateurs après leprojet• Avec mesures desindicateurs avant etaprès le projet• avant et après le projetavec groupe témoin
    30. 30. Étape modèles d’évaluation• Avec mesuresdes indicateursaprès le projetL’inconvénient de cette méthode est qu’elle ne permet pas d’évaluer si le projet aprovoqué un changement significatif du problème, car il n’y a aucune base decomparaisonLa seule mesure des indicateurs de résultats à la suite d’un projet ne permet pasune mise en perspective suffisante des informations recueillies. Il est possibled’améliorer la précision du modèle en estimant, rétrospectivement, la valeur desindicateurs de résultats avant le projet.
    31. 31. Étape modèles d’évaluation• Avec mesures desindicateurs avantet après le projetOn peut estimer l’effet du projet en calculant la différence entre la MMIobservés après et avant son implantation : O2 – O1Une évaluation peut se contenter de ce modèle afin de tirer des conclusions surl’efficacité d’une intervention. Sur le plan technique et financier, il est accessible àla majorité des organismes et suffit généralement à combler leurs besoins eninformation.
    32. 32. Étape modèles d’évaluation• Avec mesures avant etaprès le projet avecGroupe cible outémoinLa meilleure façon de déterminer si un projet a véritablement, et à lui seul, occasionné un effetpositif est de savoir ce qui se serait produit s’il n’avait jamais été mis en œuvre. Pour ce faire,l’évaluateur doit pouvoir comparer dans le temps la mesure d’un indicateur de résultat donné chezdeux groupes de régions/de cibles!?) ayant, les mêmes caractéristiques et subissant les mêmesinfluences externes, à l’exception de leur exposition au projet. Puisque les deux groupes sontsensiblement identiques, la différence mesurée entre ceux-ci ne s’expliquera logiquement que parl’influence du projet. Dans ce modèle, le rôle du groupe non exposé au projet est précisément desuivre, approximativement, qu’elle aurait été l’évolution du problème sans l’intervention.Il faut de constituer un groupe témoin (groupe non exposé au projet) qui soitsemblable au groupe exposé au projet. Pour ce faire, il faut s’assurer que les deuxgroupes partagent de nombreuses « caractéristiques » similaires.
    33. 33. Étape modèles d’évaluation• Avec mesures avant etaprès le projet avecGroupe cible outémoinVérifions ce modèle à l’aide d’un exemple. Afin de déterminer quelle aurait étéapproximativement l’évolution de l’incidence de la MMI dans des wilayas témoins non exposéà l’évaluation sans l’incidence de mesures correctives.:01 et 02: Observations de l’indicateur de résultat (Ex : nombre mortalité-morbidité observéedans les Wilayas du Sud)03 et 04: Observations de l’indicateur de résultat (Ex : nombre mortalité-morbidité observéedans les wilayas n’ayant pas été exposé au projet)Pour mesurer le résultat final, on calcule pour chacun desdeux groupes de wilayas ou région sanitaire, la différenceentre le nombre de MMI après et avant les mesurescorrectives. On soustrait ensuite le résultat obtenu pour larégion sanitaire (Wilayas du sud) à celle des wilayas témoinsnon exposés à l’évaluation et aux mesures correctrices soit: (O2-O1) – (O4-O3).
    34. 34. Étape sources d’information
    35. 35. Étape méthode de collectes dedonnées• L’analyse documentaire• La tenue d’un journal debord• L’enquête• L’entrevue• Les groupes dediscussion• L’observation
    36. 36. Étape Sources d’informationL’analysedocumentaire• Les sources sont diverses et ne se concentrent pasuniquement au niveau du Ministère de la Santé,• CNAS• SNIS – (ONS)• Autres ministères• Ecole de santé publique• INSP• Bureau de l’OMS• Autres Organisations Intergouvernementales (UNICEF…)• Wilayas (DRS), Registres des Décès)• Système de santé hospitalier, (public et privé), CSS Primaires,PMI, Aide sociale, Ministère de l’Intérieurs, Armée….
    37. 37. Étape Sources d’informationLa tenue d’unjournal de bord Le journal de bord est principalement utilisépour l’évaluation de l’implantation du projet.Cet outil de collecte de données sert àconsigner des renseignements généraux surle déroulement et le fonctionnement d’unprojet tout au long de sa mise en œuvre
    38. 38. Étape Sources d’informationL’enquête• recueillir de l’information• questions fermées ou des questions ouvertesMais :• L’information recueillie est souvent standardisée et estparfois superficielle;• La compilation et l’analyse des données recueillies sonttechniquement exigeantesEnfin :• Une enquête implique souvent des coûts importants;• Une enquête exige beaucoup de rigueur à toutes lesétapes, sinon ses résultats risquent d’être inutilisables!
    39. 39. Étape Sources d’informationL’entrevue• méthode de collecte de données courammentutilisée en évaluation de projet.• Permet d’interroger les répondants en profondeur;• S’adapte à la réalité des répondantsMais :• Cette méthode exige du temps lorsque plusieursentrevues doivent être effectuées.• Il y a difficulté à compiler et à analyser uneinformation qualitative.
    40. 40. Étape Sources d’informationLes groupes dediscussion• suppose la participation simultanée de plusieursrépondants;• consiste à animer des groupes de discussion;Mais:• Il est possible qu’un nombre restreint de participantsmonopolise la discussion;
    41. 41. Étape Sources d’informationL’observation• consiste à dénombrer des comportements que l’onobserve directement sur le terrain;• L’emploi d’une grille d’observation est nécessaire.Mais :• La fiabilité de l’information recueillie reposeentièrement sur les habiletés d’observation del’évaluateur;• Une grande neutralité est requise.
    42. 42. Étape analyse des donnéesou la transformation de l’information recueillie en chiffres• Exemple d’évaluationde centre de la mère etde l’enfant.• Exemple d’évaluationd’un résultatintermédiaire• Exemple d’évaluationd’un résultat final
    43. 43. Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExemple d’évaluationde l’implantationde Centremères/enfantsSanté de reproduction Wilayas du sud : EX évaluation de l’implantationcentre de la mère et de l’enfant Question d’évaluation : les mères suivipar le centre sont-elles satisfaites des conditions de prise en charge ?• Indicateur : taux de satisfaction• Modèle d’évaluation : mesure de l’indicateur après le projet• Source d’information : les mères ayant été suivies par le centre de XX• Méthode de collecte de données : l’enquête (questionnaire ou recueil oralselon grille)• La mise en forme des données recueillies sur la satisfaction à l’égard descentres nouvellement crées au moyen d’un questionnaire ou d’un grilled’évaluation orale peut s’effectuer de la façon suivante :
    44. 44. Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExemple d’évaluationde l’implantationde Centremères/enfants
    45. 45. Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExempled’évaluation d’unrésultatintermédiaireProjet Centre de la mère et de l’enfant : évaluation d’un résultatintermédiaireQuestion d’évaluation :• A la suite du projet, les mères craignent-elles d’être moins suivies si cecentre n’existait pas?• Indicateur : perception du risque ressenti chez les mères en cas d’absenceou fermeture de tels centres ?• Modèle d’évaluation : mesure de l’indicateur avant et après le projet• Source d’information : les mères fréquentant le centre• Méthode de collecte de données : l’enquête (questionnaire)• La mise en forme des informations recueillies se fait par étapes. Dans unpremier temps, on calcule la fréquence des réponses exprimées et lepourcentage correspondant :
    46. 46. Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExempled’évaluation d’unrésultatintermédiaire
    47. 47. Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExempled’évaluation d’unrésultatintermédiaire• Calculer la moyenne des réponses exprimées est une technique de mesure fréquemmentutilisée en évaluation pour comparer l’attitude ou le comportement dans le temps degroupes exposés à un projet. En ce qui a trait à l’exemple précédent, cette technique decalcul permet de transformer, dans un second temps, les réponses obtenues pour chaquegroupe en valeurs centrales rapidement comparables.• Il est possible de mesurer le degré de risque moyen perçu chez les mères et lié à la à ladisparition ou fermeture de Centre assurant un suivi médicale qu’elles jugent indispensableen 2010 et 2011. Pour calculer le risque moyen d’une année, on additionne le nombre totalde répondants pour chacun des degrés de risque. On divise ensuite cette somme par lenombre total de répondants.• 2010[ (1 x 100) + (2 x 240) + (3 x 110) + (4 x 50) + (5 x 30) ] ÷ 530 = 2,4• 2011[ (1 x 40) + (2 x 120) + (3 x 180) + (4 x 210) + (5 x 50) ] ÷ 600 = 3,2• Une telle mise en forme des données permet une comparaison rapide de la situation avant etaprès le projet. L’interprétation des données se fera aisément.• Calculer la moyenne des réponses exprimées est une technique de mesure fréquemmentutilisée en évaluation pour comparer l’attitude ou le comportement dans le temps degroupes exposés à un projet. En ce qui a trait à l’exemple précédent, cette technique decalcul permet de transformer, dans un second temps, les réponses obtenues pour chaquegroupe en valeurs centrales rapidement comparables.• Il est possible de mesurer le degré de risque moyen perçu chez les mères et lié à la à ladisparition ou fermeture de Centre assurant un suivi médicale qu’elles jugent indispensableen 2010 et 2011. Pour calculer le risque moyen d’une année, on additionne le nombre totalde répondants pour chacun des degrés de risque. On divise ensuite cette somme par lenombre total de répondants.• 2010[ (1 x 100) + (2 x 240) + (3 x 110) + (4 x 50) + (5 x 30) ] ÷ 530 = 2,4• 2011[ (1 x 40) + (2 x 120) + (3 x 180) + (4 x 210) + (5 x 50) ] ÷ 600 = 3,2• Une telle mise en forme des données permet une comparaison rapide de la situation avant etaprès le projet. L’interprétation des données se fera aisément.
    48. 48. Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExemple d’évaluationd’un résultat finalProjet santé de la Reproduction : évaluation du résultat final• Question d’évaluation :• Observe-t-on (entre 2005 et 2010),une réduction de la mortalité infantilegrâce à l’implantation de centre de la mère et de l’infant à la suite de noscorrectifs suite aux recommandations formulées et mises en œuvre par lesWilayas du Sud ?• Indicateur : nombre de mortalité évitée entre deux périodes• Modèle d’évaluation : mesure de l’indicateur avant et après le projet• Source d’information : statistiques sanitaires• Méthode de collecte de données : analyse documentaireDans ce cas, la mise en forme des informations recueillies est plus simple,car l’évaluateur dispose de statistiques qu’il peut immédiatementinterpréter. Il doit seulement distinguer les informations dont il a besoinet les classer en fonction du modèle d’évaluation retenu.
    49. 49. Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresExempled’évaluation d’unrésultat final
    50. 50. Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresTREND EUROPECOMPARATIF« Mortalité infantileet indicateur 2005 »
    51. 51. Étape analyse des donnéesou la transformation de l’informationrecueillie en chiffresTREND EUROPECOMPARATIF« Mortalité infantileet indicateur 2008 »
    52. 52. Le repérage des types de réponses les plus fréquemmentexprimées par les répondants
    53. 53. Le repérage des types de réponses les plus fréquemmentexprimées par les répondants
    54. 54. L’interprétation des résultats
    55. 55. L’interprétation des résultats
    56. 56. Les processus d’implantation s’est-il bien déroulé?Les objectifs ont-il été atteints?
    57. 57.  Grâce à l’information recueillie, l’évaluateur est enmesure d’émettre plusieurs constats sur la façondont a été mis en œuvre le projet. Rappelons qu’ildoit notamment répondre aux questions suivantes :• Le projet a-t-il permis d’accomplir les activitésprévues?• Le projet a-t-il rejoint les gens visés par le problèmeà résoudre?• Le projet a-t-il connu des problèmes de gestionparticuliers?Les processus d’implantation s’est-il bien déroulé?Les objectifs ont-il été atteints?
    58. 58. La diffusion des résultats ou la dissémination positive• Les moyens de diffusion
    59. 59. La diffusion des résultats ou la dissémination positive• Les résultats servent avant tout les acteurs et gestionnaires de santé,• Les élus,• Le grand public• (…) demandez vous à qui pourra servir ces évaluations puis diffusez :• Les résultats de l’évaluation dans un rapport écrit. Le rapport doit contenir lesprincipaux éléments de votre analyses ainsi que vos recommandations. En synthèse :• Les schémas => représentation visuelle très utile des différentes composantes d’unproblème de politiques de santé (ici, notre exemple : dans le domaine santé de lareproduction au niveau des wilayas du sud) ainsi que du mode de fonctionnement duprojet visant à le résoudre.• Les tableaux => présentez et à comparez l’information recueillie.• Les graphiques et les diagrammes illustrant vos d’information, dont l’évolution desindicateurs de résultats dans le temps.
    60. 60. MERCI POUR VOTRE ATTENTIONIL RESTE A FAIRE LE RESTE C’EST-À-DIRE TOUT A FAIRE
    61. 61. MERCI POUR VOTRE ATTENTIONJOSÉ MANUEL BOUDEY EXPERT INTERNATIONAL .+33(0)6 84 528 550 (Portable) askjose1509 (skype) jose.boudey@libertysurf.fr.SOURCE INDICATEUR  ECHI : http://ec.europa.eu/health/indicators/echi/list/index_en.htm#echi2

    ×