Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   1	
  
	
  
Rapport Final
	
  
	
  
Revue du dispositif d’évaluation ap...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   2	
  
	
  
Remerciements	
  
	
  
	
  
Nous	
  tenons	
  à	
  remercie...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   3	
  
	
  
Précisions	
  liminaires	
  
	
  
	
  
L’UEAD	
  
	
  
Depu...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   4	
  
	
  
Table	
  des	
  matières	
  
	
  
	
  
1.	
   Introduction....
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   5	
  
8.4	
   Encadrement ...............................................
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   6	
  
	
  
1. Introduction	
  	
  	
  
	
  
Réalisé	
   à	
   l’intent...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   7	
  
	
  
2. Contexte	
  	
  	
  
	
  
2.1Aide	
  liée	
  
Selon	
   ...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   8	
  
	
  
Tableau	
   1	
  :	
   Montants	
   d’aide	
   liée	
   par...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   9	
  
	
  
2.2Aide	
  liée	
  à	
  la	
  DG	
  Trésor	
  
L’ensemble	
...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   10	
  
3. Objectif	
  	
  	
  
	
  
L’objectif	
  de	
  la	
  revue	
 ...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   11	
  
Une	
   des	
   questions	
   clés	
   de	
   départ	
   de	
  ...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   12	
  
De	
  plus,	
  la	
  revue	
  tient	
  compte	
  des	
  «	
  in...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   13	
  
	
  
5. Évaluation	
  de	
  l’aide	
  au	
  développement	
  	
...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   14	
  
Ce	
   type	
   d’approche	
   programmatique	
   est	
   un	
 ...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   15	
  
À	
   la	
   lumière	
   de	
   ses	
   travaux	
   la	
   revu...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   16	
  
	
  
5.6	
  Communication,	
  utilisation	
  et	
  capitalisati...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   17	
  
	
  
6. Évaluation	
  de	
  l’aide	
  liée	
  	
  
	
  
6.1	
  ...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   18	
  
Il	
   convient	
   de	
   noter	
   que	
   la	
   nationalité...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   19	
  
6.1.2 Effet	
  support	
  
	
  
L’effet	
  support	
  d’un	
  p...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   20	
  
6.2	
  Traitement	
  des	
  effets	
  	
  dans	
  les	
  évalua...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   21	
  
	
  
6.2.2 Effet	
  de	
  levier	
  
	
  
L’effet	
  de	
  levi...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   22	
  
La	
   vérification	
   ex-­‐post	
   de	
   la	
   part	
   fr...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   23	
  
	
  
Cette	
   vision	
   globale	
   permettrait	
   également...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   24	
  
L’utilisation	
   du	
   terme	
   impact	
   ne	
   correspond...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   25	
  
	
  
6.3Les	
  rapports	
  d’évaluation	
  de	
  l’aide	
  liée...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   26	
  
	
  
6.3.2 Constatations	
  
	
  
Les	
   analyses	
   des	
   ...
Ian	
  C	
  Davies	
  Conseil	
  Inc.	
  
	
  
	
   27	
  
• Il	
  est	
  difficile	
  d'identifier	
  par	
  rapport	
  à...
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Rapport Évaluation Ministère Économie Finances France
Prochain SlideShare
Chargement dans…5
×

Rapport Évaluation Ministère Économie Finances France

121 vues

Publié le

0 commentaire
0 j’aime
Statistiques
Remarques
  • Soyez le premier à commenter

  • Soyez le premier à aimer ceci

Aucun téléchargement
Vues
Nombre de vues
121
Sur SlideShare
0
Issues des intégrations
0
Intégrations
6
Actions
Partages
0
Téléchargements
1
Commentaires
0
J’aime
0
Intégrations 0
Aucune incorporation

Aucune remarque pour cette diapositive

Rapport Évaluation Ministère Économie Finances France

  1. 1. Ian  C  Davies  Conseil  Inc.       1     Rapport Final     Revue du dispositif d’évaluation après achèvement des projets d’aide liée Réserve Pays Emergents (RPE) et Fonds d’Etudes et d’Aide au Secteur Privé (FASEP) 2004-2012 19 mars 2015
  2. 2. Ian  C  Davies  Conseil  Inc.       2     Remerciements       Nous  tenons  à  remercier  tous  les  collègues  qui  ont  contribué  leur  temps,  leurs   connaissances   et   leurs   perspectives   afin   de   permettre   à   l’équipe   de   revue   de   mener  à  bien  ses  travaux.       Le   professionnalisme   et   l’ouverture   d’esprit   qui   nous   ont   été   manifestés   sans   exception  méritent  d’être  soulignés.     Merci.       Ian  C  Davies,  Jean  Mathis  et  Albine  Guitard       27  novembre  2014          
  3. 3. Ian  C  Davies  Conseil  Inc.       3     Précisions  liminaires       L’UEAD     Depuis   la   création   de   l’Unité   d’évaluation   des   activités   de   développement   (UEAD)   à   la   Direction   générale   Trésor   en   2004,   celle-­‐ci   est   chargée   de   piloter   l’évaluation   des   activités   de   développement   de   la   Direction  ;   l’UEAD   s’attache   notamment  à  évaluer  les  projets  RPE  et  FASEP.       La  revue     La  revue  a  porté  sur  les  évaluations  réalisées  entre  2004  et  2012,  de  façon  telle   que  prévue  par  les  termes  de  référence.  Les  recommandations  sont  donc  basées   sur  le  travail  de  l’UEAD  réalisé  durant  cette  période.     L’UEAD  a  signalé  des  changements  de  pratiques  intervenus  après  2012  ;  il  est   important  de  noter  que  ceux-­‐ci  se  situent  hors  du  cadre  de  la  revue.  
  4. 4. Ian  C  Davies  Conseil  Inc.       4     Table  des  matières       1.   Introduction................................................................................................................ 6   2.   Contexte........................................................................................................................ 7   2.1   Aide  liée....................................................................................................................................... 7   2.2   Aide  liée  à  la  DG  Trésor....................................................................................................... 9   2.3   Unité  d’Evaluation  des  Activités  d’Aide  au  Développement............................. 9   2.4   Constats  à  l’origine  de  la  revue ...................................................................................... 9   3.   Objectif........................................................................................................................10   4.   Méthodologie............................................................................................................10   5.   Évaluation  de  l’aide  au  développement    à  la  DG  Trésor.............................13   5.1   Cadre  de  politique  de  l’évaluation ..............................................................................13   5.2   Programmation....................................................................................................................13   5.3   Gestion  de  la  relation  avec  les  consultants  externes.........................................14   5.4   Assurance  qualité ................................................................................................................14   5.5   Pilotage .....................................................................................................................................15   5.6   Communication,  utilisation  et  capitalisation .......................................................16   6.   Évaluation  de  l’aide  liée ........................................................................................17   6.1   Précisions  sur  le  concept  d’effets.................................................................................17   6.1.1   Effet  de  levier .....................................................................................................................................17   6.1.2   Effet  support.......................................................................................................................................19   6.2   Traitement  des  effets    dans  les  évaluations...........................................................20   6.2.1   Effet  de  levier  et  effet  support,  remarque  préliminaire ..................................................20   6.2.2   Effet  de  levier .....................................................................................................................................21   6.2.3   Effet  support.......................................................................................................................................23   6.3   Les  rapports  d’évaluation  de  l’aide  liée  2004-­2012 ..........................................25   6.3.1   Protocole  d’appréciation  des  rapports ...................................................................................25   6.3.2   Constatations......................................................................................................................................26   6.3.3   Évolution  des  rapports  de  2004  à  2012 .................................................................................27   6.3.4   Termes  de  référence  sur  la  période  2004-­‐2012.................................................................27   6.4    Appels  à  manifestation  d’intérêt  et  termes  de  référence  récents ................28   7.    Études  de  cas ...............................................................................................................31   7.1   RPE  :  Evaluation  de  la  fourniture  d’équipements,  de  machines-­outils  et   d’assistance  technique  au  Vietnam..................................................................................31   7.1.1  Sommaire..................................................................................................................................................31   7.1.2  Observations ...........................................................................................................................................32   7.2   L’évaluation  RPE-­FASEP  :  Reconstruction  post  crise.........................................34   7.2.1  Sommaire..................................................................................................................................................34   7.2.2  Observations ...........................................................................................................................................35   7.3   Évaluation  d’une  grappe  de  projets  à  volet  MDP/MOC  financés  sur  le   FASEP-­Études ...............................................................................................................................39   7.3.1  Sommaire..................................................................................................................................................39   7.3.2  Observations ...........................................................................................................................................40   8.  Conclusions...................................................................................................................42   8.1   Approche  évaluative...........................................................................................................42   8.2   Spécificité .................................................................................................................................43   8.3   Qualité........................................................................................................................................44  
  5. 5. Ian  C  Davies  Conseil  Inc.       5   8.4   Encadrement ..........................................................................................................................44   8.5   Utilisation.................................................................................................................................45   9.  Cadre  de  référence.....................................................................................................46   9.1   Fonction  d’évaluation........................................................................................................46   9.1.1   Organisation .......................................................................................................................................46   9.1.2   Systèmes...............................................................................................................................................48   9.2   Évaluation................................................................................................................................49   9.2.1   Méthodologie......................................................................................................................................49   9.2.2   Gouvernance.......................................................................................................................................49   9.2.3   Gestion...................................................................................................................................................50   10.  Recommandations...................................................................................................51   10.1  Recommandations  pour  la  fonction  d’évaluation ..............................................51   10.1.1   Politique  de  l’évaluation.............................................................................................................51   10.1.2   Programmation...............................................................................................................................52   10.1.3   Niveau  de  compétence.................................................................................................................52   10.1.4   Assurance  qualité ..........................................................................................................................52   10.1.5   Participation ....................................................................................................................................53   10.1.6   Communication  externe .............................................................................................................53   10.1.7   Approche  focalisée  sur  l’utilisation .......................................................................................53   10.1.8   Comité  consultatif  externe.........................................................................................................54   10.2  Recommandations  pour  l’évaluation........................................................................54   10.2.1   Évaluabilité.......................................................................................................................................54   10.2.2   Termes  de  référence.....................................................................................................................55   10.2.3   Comité  de  pilotage.........................................................................................................................56   10.2.4   Grille  d’appréciation.....................................................................................................................56   Annexe  1  -­  Grille  d'appréciation  des  rapports  d'évaluation.............................57   Annexe  2  –  Liste  des  entretiens..................................................................................58       Liste  des  tableaux  et  encadrés       Tableau   1  :   Montants   d’aide   liée   par   pays   membres   de   l’OCDE,   moyenne   sur   la   période  2008-­2012……………………………………………………………………………………………p.  9     Tableau  2  :  Pourcentages  d’aide  liée  par  pays  membres  de  l’OCDE,  moyenne  sur  la   période  2008-­2012……………………………………………………………………………………………p.  9       Encadré   1  :  Les  fonctions  de  «  groupe  de  référence  »  et  de  «  comité  de  pilotage  »   ………………………………………………………………………………………………………………………..p.16     Encadré  2  :  Précisions  sur  la  notion  d’utilisation  relative  à  l’évaluation…………..p.17     Encadré  3  :  Effet  de  levier  direct  =  part  française……………………………………………p.18     Encadré  4  :  La  chaîne  d’évaluation  des  politiques…………………………………………..p.20     Encadré  5  :  Précisions  sur  l’évaluation…………………………………………………………..p.43  
  6. 6. Ian  C  Davies  Conseil  Inc.       6     1. Introduction         Réalisé   à   l’intention   de   la   direction   générale   du   Trésor   (DG   Trésor)   et   plus   spécifiquement   de   l’Unité   d’Evaluation   des   Activités   d’Aide   au   Développement   (UEAD),  ce  rapport  présente  les  résultats  de  la  revue  des  évaluations  de  projets   d’aide   liée   Réserve   Pays   Emergents   (RPE)   et   Fonds   d’Etudes   et   d’Aides   au   Secteur  Privé  (FASEP)  et  réalisées  sur  la  période  2004-­‐2012.     Le  rapport  commence  par  décrire  brièvement  le  contexte,  l’objectif  ainsi  que  la   méthodologie  de  la  revue,  au  cours  des  chapitres  1  à  4.     Le   chapitre   5,     présente   et   analyse   l’organisation   et   les   systèmes   d’évaluation,     notamment  les  systèmes  de  programmation,  de  pilotage,  d’assurance  qualité  de   l’UEAD,  c’est-­‐à-­‐dire  la  fonction  d’évaluation  au  sens  organisationnel  du  terme.     Le  chapitre  6    s’intéresse  à  la  façon  dont  sont  conceptualisés  et  appréhendés  les   effets  de  l’aide  liée,  et  examine  la  qualité  des  rapports  d’évaluation  concernant   l’aide  liée  produits  sur  la  période  2004-­‐2012.       Le   chapitre   7   du   rapport   présente   les   études   de   cas   détaillées   de   trois     évaluations  de  projets  RPE  et  FASEP.       Le   chapitre   8   expose   les   conclusions   de   la   revue   et   le   chapitre   9   le   cadre   de   référence  pour  les  recommandations.     Les  recommandations  présentées  dans  le  chapitre  10  feront  l’objet  d’une  séance   de  travail  réunissant  l’équipe  de  revue,  l’UEAD  ainsi  que  d’autres  unités  de  la  DG   Trésor  en  vue  de  leur  opérationnalisation.     Un   rapport   de   synthèse   à   l’intention   de   publics   externes   à   la   DG   Trésor   sera   préparé   sur   base   du   présent   document.   Une   rencontre   de   restitution   à   la   DG   Trésor  est  aussi  prévue.    
  7. 7. Ian  C  Davies  Conseil  Inc.       7     2. Contexte         2.1Aide  liée   Selon   la   définition   de   l’OCDE,   l’aide   liée   désigne   les   dons   ou   prêts   du   secteur   public  pour  lesquels  les  marchés  sont  limités  à  des  entreprises  du  pays  donneur   ou  d’un  petit  groupe  de  pays.  L’OCDE  considère  que  l’aide  liée  empêche  souvent   les  pays  bénéficiaires  d’utiliser  de  façon  optimale  les  fonds  alloués  pour  l’achat   de  services,  de  biens  ou  de  travaux.     Depuis  sa  création  en  1961,  le  Comité  d’aide  au  développement  de  l’OCDE  (CAD)   s’emploie   à   améliorer   l’efficacité   des   efforts   déployés   par   ses   membres   en   matière  d’aide.  Sur  la  question  de  l’aide  liée,  les  travaux  du  CAD  ont,  entre  autre,   abouti   à   la   publication   en   2008   du   rapport   «  Recommandation   du   CAD   sur   le   déliement  de  l’aide  »  1.     Les  objectifs  de  cette  recommandation  sont  les  suivants  :            -­‐  délier  dans  la  mesure  du  possible  toute  l’Aide  Publique  au  Développement       (APD)  aux  pays  les  moins  avancés,          -­‐   promouvoir   et   maintenir   des   apports   d’APD   suffisants,   en   particulier   aux   pays  les  moins  avancés,          -­‐   faire   en   sorte   que   l’effort   de   déliement   de   l’aide   soit   équilibré   entre   les   membres  du  CAD.     Les  graphiques  suivants,  élaborés  à  partir  des  statistiques  de  l’OCDE,  permettent   de  noter  que  parmi  les  dix  pays  qui  conservent  les  plus  gros  volumes  d’aide  liée   sur  la  période  2008-­‐2012,  la  France  possède  un  volume  d’aide  liée  de  près  de   485  millions  d’euros,  ce  qui  est  en  dessous  de  la  moyenne  des  pays  membres  de   l’OCDE.                                                                                                                   1  http://www.oecd.org/fr/cad/41708406.pdf    
  8. 8. Ian  C  Davies  Conseil  Inc.       8     Tableau   1  :   Montants   d’aide   liée   par   pays   membres   de   l’OCDE,   moyenne   sur   la   période  2008-­2012       Les   montants   d’aide   liée   en   pourcentage   du   volume   total   d’aide   publique   au   développement  par  pays,  sur  la  période  2008-­‐2012,  montrent  que  la  France  est   en  deçà  de  la  moyenne  des  pays  membres  de  l’OCDE  quant  à  la  part  liée  de  son   aide.     Tableau  2  :  Pourcentages  d’aide  liée  par  pays  membres  de  l’OCDE,  moyenne  sur  la   période  2008-­2012     8213.77 810.352 729.604 571.67 484.888 441.354 423.14 391.228 215.164 189.594 162.826 0 0 1000 2000 3000 4000 5000 6000 7000 8000 9000 Etats-Unis Japon Corée Moyenne OCDE France Pays-Bas Espagne Italie Allemagne Portugal Autriche Royaume Uni En millions USD Montants d'aide liée par pays, en millions USD Moyenne sur la période 2008-2012 77% 54% 46% 38,6% 30% 17% 16% 10% 7,1% 06% 3,9% 0% 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% Pourcentage d'aide liée dans le volume d'aide global par pays Moyenne sur la période 2008-2012
  9. 9. Ian  C  Davies  Conseil  Inc.       9     2.2Aide  liée  à  la  DG  Trésor   L’ensemble   de   l’aide   liée   française   est   administrée   par   le   biais   de   deux   instruments.     La   Réserve   Pays   Émergents   (RPE)   est   un   instrument   de   prêt   intergouvernemental   avec   garantie   souveraine,   qui   permet   de   financer   des   projets   répondant   au   double   objectif   d’appui   au   développement   du   pays   bénéficiaire   et   de   promotion   des   entreprises   françaises.   Conformément   à   la   définition  de  la  statistique  de  l’APD  de  l’OCDE,  les  financements  sur  la  RPE  sont   des   prêts   qui   comportent   un   élément   don   minimum   de   35   %.   Sur   la   période   considérée,  une  dizaine  de  projets  financés  sur  la  RPE  d’un  montant  moyen  de  12   millions  d’euros  ont  été  approuvés  chaque  année.     Le  Fonds  d’Études  et  d’Aide  au  Secteur  Privé  (FASEP)  est  un  instrument  de  don   qui   finance   des   études   préparatoires   en   amont   de   projets   d’investissement   à   finalité   économique   ou   financière   dans   les   pays   en   développement   ou   en   transition.  Le  FASEP  vise  également  la  promotion  des  entreprises  françaises  en   les  favorisant  lors  des  appels  d’offres  qui  découlent  des  études.  Une  trentaine  de   projets   financés   par   le   FASEP   ont   été   approuvés   annuellement   sur   la   période   pour  un  montant  moyen  de  500  000  euros.       2.3Unité  d’Evaluation  des  Activités  d’Aide  au  Développement   L’UEAD,  dans  sa  forme  actuelle,  a  été  constituée  en  2004.  Son  mandat  est,  tel  que   stipulé   dans   l’arrêté   du   21   avril   2009   portant   organisation   de   la   DG   Trésor,   d’évaluer   «  les   activités   de   développement   pilotées   ou   mises   en   œuvre   par   la   direction   générale.   Elle   contribue   à   l'évaluation   de   l'ensemble   de   l'aide   publique   française   au   développement   aux   côtés   des   autres   unités   administratives   d'évaluation  (en  particulier  du  ministère  des  affaires  étrangères  et  européennes  et   de  l'Agence  française  de  développement)  ainsi  qu'à  l'harmonisation  et  à  la  mise  au   point  de  bonnes  pratiques  (…)  ».       2.4Constats  à  l’origine  de  la  revue   En  2013,  l’UEAD  a  pris  acte  qu’outre  le  faible  nombre  d’évaluations  de  projets   RPE-­‐FASEP   réalisées,   un   certain   nombre   d’insuffisances   caractérisent   ces   travaux    non  seulement  en  termes  de  programmation  et  de  qualité,  mais  aussi   d’utilité  et  d’utilisation.     L’UEAD  a  de  ce  fait  décidé  de  passer  en  revue  les  évaluations  des  projets  RPE  et   FASEP  réalisées  depuis  la  création  de  l’UEAD  jusqu’en  2012  afin  d’en  tirer  des   enseignements  utiles  pour  l’amélioration  de  la  pratique  et  de  la  mise  en  œuvre   des  évaluations.      
  10. 10. Ian  C  Davies  Conseil  Inc.       10   3. Objectif         L’objectif  de  la  revue  est  la  proposition  d’actions  concrètes  et  réalisables,  pour   améliorer   l’évaluation   par   l’UEAD   des   projets   RPE   et   FASEP.   Ces   recommandations   devraient   aussi   permettre   un   renforcement   de   l’évaluation   dans  son  ensemble  à  l’UEAD.     La  revue  a  comme  objectifs  spécifiques  la  formulation  de  recommandations  pour   pallier   aux   insuffisances   relevées   par   l’UEAD   particulièrement   en   matière   de   programmation,  de  qualité  et  d’utilité  ainsi  que  d’utilisation  des  évaluations  des   projets  RPE  et  FASEP.     Il  s’agit  également,  tout  en  restant  dans  le  cadre  de  la  revue,  d’apporter  un  retour   d’information   à   FININTER   2,   le   service   en   charge   de   la   mise   en   œuvre   des   instruments  RPE  et  FASEP,  afin  que  ses  agents  puissent  optimiser  leur  usage  de   l’évaluation.     De  façon  générale  la  revue  vise  à  apporter  une  valeur  ajoutée  en  identifiant  et  en   intégrant   dans   ses   recommandations,   dans   la   mesure   du   possible   et   de   leur   pertinence,  des  développements  récents  en  matière  d’évaluation.       4. Méthodologie           La  revue  répond  d’abord  à  trois  questions  clés  :      Dans   quelle   mesure   l’organisation   et   les   systèmes   d’évaluation   de   l’UEAD   sont-­‐ils  adéquats  pour  l’évaluation  des  projets  d’aide  liée  ?        Dans   quelle   mesure   les   processus 2  d’évaluation   de   l’aide   liée   sont-­‐ils   appropriés  pour  l’évaluation  des  projets  d’aide  liée  ?        Quelle  est  la  qualité  des  rapports  d’évaluation  des  projets  d’aide  liée  ?                                                                                                                         2  Les  processus  incluent  les  méthodologies  d’évaluation.  
  11. 11. Ian  C  Davies  Conseil  Inc.       11   Une   des   questions   clés   de   départ   de   la   revue   était   la   suivante   «  Comment   s’organise   et   se   fait   l’évaluation   de   l’aide   liée   dans   d’autres   pays   ?  ».   Après   différentes  démarches3,  il  est  apparu  non  seulement  difficile  d’entrer  en  contact   avec  les  personnes  responsables  de  l’aide  liée  dans  les  pays  qui  en  font  le  plus,   mais  de  surcroit,  il  était  presque  impossible  de  savoir  si  l’évaluation  de  ce  type   d’aide   était   faite.   L’équipe   de   la   revue   a   donc   formé   l’idée   qu’il   ne   se   fait   probablement   pas   ou   peu   d’évaluation   des   projets   financés   au   moyen   d’instruments   d’aide   liée   dans   les   pays   auxquels   elle   s’est   intéressée   -­‐   mentionnés  en  partie  2.1.     Voulant  utiliser  de  façon  optimale  les  ressources  de  la  revue,  et  après  discussion   avec   l’UEAD   et   le   comité   de   pilotage,     la   décision   a   été   prise   de   réaffecter   les   ressources   dédiées   à   cette   composante,   ainsi   remplacée   par   :   la   revue   de   pratiques  d’évaluation  par  l’UEAD  plus  récentes,    et  la  conduite  d’un  atelier  de   travail   pour   accompagner   l’UEAD   dans   l’opérationnalisation   des   recommandations  de  la  revue.     Pour  formuler  l’analyse  qui  répond  aux  questions  clés  de  la  revue,  un  ensemble   de   données   qualitatives   et   quantitatives   ont   été   recueillies   principalement   au   moyen  :       • d’interviews  semi-­‐structurées,  entre  autre  avec  le  personnel  de  l’UEAD,  de   FININTER  2,  de  la  DG  Trésor,  de  l’Agence  Française  de  Développement  (AFD)   et  de  diverses  parties  prenantes  aux  évaluations  RPE-­‐FASEP  ;   • d’interviews  structurées    des  équipes  d’évaluation  pour  les  trois  évaluations   qui  ont  fait  l’objet  d’études  de  cas  ;   • de  revues  documentaires  de  documents  se  rapportant  à  l’évaluation  à  la  DG   Trésor,   à   l’AFD,   à   l’aide   liée   de   façon   générale,   à   l’approche   du   CAD   en   matière  d’évaluation  du  développement  ;   • d’analyses   documentaires   des   rapports,   des   termes   de   référence   et   des   notes  de  structuration  des  évaluations  FASEP  et  RPE  menées  entre  2004  et   2012  ;   • pour   les   trois   évaluations   qui   ont   fait   l’objet   d’études   de   cas,   revue   d’éléments   des   dossiers   d’évaluation   des   consultants   et   revue   d’éléments   additionnels  fournis  par  l’UEAD  à  partir  de  ses  «  dossiers  de  pilotage  ».   La  revue  porte  une  attention  particulière  au  traitement  par  les  évaluations  des   questions   relatives   à   l’appui   au   développement   des   pays   récipiendaires   soit     «  l’effet  support  »,  et  celles  relatives  à  l’appui  au  développement  des  entreprises   françaises  soit  «  l’effet  de  levier  ».                                                                                                                     3  Lettre   du   secrétariat   du   Réseau   sur   l’évaluation   du   développement   du   CAD   à   l’intention   des   unités   d’évaluation   du   développement   de   chaque   pays   membre   du   CAD.   Lettres,   échanges   de   correspondance,   entretiens  :   membres   de   l’Association   Africaine   d’Évaluation  ;   réseau   d’évaluation   interculturel   de   l’Association   Américaine   de   l’Évaluation  ;   unités   d’évaluation   du   développement   de   la   Corée,   de   l’Autriche,   de   l’Espagne,   du   Canada,   des   Pays-­‐Bas  ;   Banque   Européenne  d’Investissement,  Banque  mondiale,    Banque  Européenne  pour  la  Reconstruction  et   le  Développement,  Banque  Asiatique  de  Développement,  Banque  Africaine  de  Développement  ;   «  State  Department  »,  Etats-­‐Unis.  
  12. 12. Ian  C  Davies  Conseil  Inc.       12   De  plus,  la  revue  tient  compte  des  «  insuffisances  »4  relevées  par  l’UEAD  en  ce   qui   concerne   les   évaluations   FASEP   et   RPE,   mais   a   abordé   son   examen,   son   analyse   et   son   appréciation   sans   préjugés   et   a   suivi   une   méthodologie   qui   incorpore  la  prise  en  compte  des  contextes  dans  lesquels  ces  évaluations  ont  eu   lieu.  La  revue  cherche  à  apprécier  autant  les  aspects  positifs  qui  soutiennent  les   évaluations  que  les  contraintes  auxquelles  elles  font  face.     Les   aspects   de   programmation,   de   la   qualité   et   de   l’utilité   ainsi   que   de   l’utilisation  des  évaluations  sont  au  cœur  des  questions  qu’aborde  la  revue  dans   ses  études  plus  approfondies  de  trois  évaluations  choisies  comme  études  de  cas.                                                                                                                       4  Voir  sur  ce  point  les  termes  de  référence  de  la  revue.  
  13. 13. Ian  C  Davies  Conseil  Inc.       13     5. Évaluation  de  l’aide  au  développement    à  la  DG  Trésor     5.1Cadre  de  politique  de  l’évaluation     Le   document   intitulé   «  Politique   de   l’évaluation   des   actions   d’aide   au   développement  :   Guide   Méthodologique  »,   de   la   Direction   Générale   du   Trésor,   fait  office  de  politique  et  de  guide  méthodologique  pour  l’UEAD.     L’aspect  de  politique  proprement  dit,  c’est-­‐à-­‐dire  relatif  à  la  raison  d’être  de  la   fonction  de  l’évaluation,  son  orientation  fondamentale  et  ses  priorités,  n’est  que   peu   développé   et   se   résume   essentiellement   à   un   bref   historique   de   son   évolution  et  une  description  sommaire  de  ses  activités.     Le  Guide  consiste  en  grande  partie  en  une  description  des  procédures  générales   pour   l’évaluation   menée   par   l’UEAD,   et   principalement   de   celles   relatives   à   l’organisation  de  l’évaluation.     Le  volet  méthodologique  proprement  dit  est  limité  et  consiste  en  un  résumé  des   principes  et  des  critères  d’évaluation  du  Comité  d’Aide  au  Développement  (CAD)   de  l’OCDE,  assez  peu  mis  en  relation  avec  le  contexte  propre  de  l’UEAD.     Dans  sa  forme  actuelle  le  document  ne  traite  pas  adéquatement  ni  du  contenu  de   politique  de  l’évaluation  ni  du  contenu  relatif  aux  approches  méthodologiques   privilégiés  par  l’UEAD  dans  le  cadre  de  son  mandat  et  de  son  rôle  au  sein  de  la   DG  Trésor.       5.2Programmation     L’UEAD  procède  de  façon  systématique  et  consultative  au  développement  de  la   programmation   de   ses   évaluations   sur   une   base   triennale   glissante.     Le   document   de   référence   est   la   note   interne   portant   sur   le   programme   détaillé   d’évaluation  des  activités  de  développement  de  la  DG  Trésor.     La  note  interne  la  plus  récente,  portant  sur    les  activités  2012-­‐2014,  dresse  le   bilan  des  évaluations  réalisées  en  2011-­‐2012  et  propose  la  programmation  pour   2013-­‐2014.     Contrairement   aux   notes   du   même   type   qui   précèdent   cette   dernière   et   qui   s’inscrivent  dans  la  période  2004-­‐2012  que  couvre  cette  revue,  la  note  la  plus   récente  rend  plus  explicites  les  critères  qui  ont  servi  à  structurer  et  à  justifier  le   choix  des  évaluations  proposées.    
  14. 14. Ian  C  Davies  Conseil  Inc.       14   Ce   type   d’approche   programmatique   est   un   facteur   de   renforcement   de   la   performance   de   l’UEAD   et   ainsi   de   la   valeur   des   évaluations.   Le   cadre   de   référence   pour   la   programmation   est   une   composante   fondamentale   d’une   politique  de  l’évaluation.     Toutefois  la  revue  note  que  dans  son  état  actuel,  le  document  de  politique  de  la   DG  Trésor  ne  traite  pas  spécifiquement  de  la  programmation  et  qu’il  n’existe  pas   non   plus   de   document   explicatif   relatif   aux   procédures   ou   processus   programmatiques  des  évaluations  de  la  DG  Trésor.  Il  s’en  suit  que  la  revue  n’a   pas  trouvé  de  critères  de  sélection  des  projets  évalués.     De  plus,  la  question  de  l’évaluabilité  généralement  prise  en  compte  à  l’étape  de  la   programmation  est  aussi  absente  du  document  de  politique  de  l’évaluation  de  la   DG  Trésor  ;  spécifiquement,  l’UEAD  n’a  pas  défini  de  façon  explicite  ce  qui  est   attendu  de  l’appréciation  de  l’évaluabilité.       5.3  Gestion  de  la  relation  avec  les  consultants  externes     La   gestion   de   la   relation   avec   les   consultants   externes   qui   ont   mené   les   évaluations  examinées  par  la  revue,  apparaît  correcte  et  sans  difficulté  majeure   tant  sur  les  plans  contractuel,  que  financier  et  relationnel.     Ceci  dit,  le  rôle  de  l’UEAD  semble  avoir  été  en  grande  partie  administratif  plutôt   que  focalisé  sur  la  qualité  et  la  valeur  ajoutée  de  l’évaluation.  L’aspect  de  qualité   semble  avoir  été  traité  à  travers  le  comité  de  pilotage,  quant  à  la  valeur  ajoutée   de   l’évaluation   celle-­‐ci   reste   difficile   à   cerner   vu   le   peu   de   suivi   et   de   capitalisation  systématique  apparente.     Certains  aspects  clés  de  la  gestion  contractuelle  qui  est  de  la  responsabilité  de   l’UEAD   semblent   être   pris   en   charge   par   le   comité   de   pilotage   comme   par   exemple   l’appréciation   du   travail   des   consultants   ou   la   validation   des   «  livrables  »  contractuels  tels  que  les  rapports.       5.4  Assurance  qualité   L’encadrement  de  l’évaluation  doit  reposer  entre  autre  sur  le  contrôle  de  qualité   par  l’évaluateur  et  par  l’assurance  de  la  qualité  par  le  commanditaire,  ces  deux   processus   devant   à   leur   tour   reposer   sur   des   standards   communs   et   des   systèmes  explicites  et  complémentaires.     Dans  un  cas  comme  dans  l’autre  les  deux  composantes  de  contrôle  et  d’assurance   qualité  doivent  faire  appel  à  des  niveaux  élevés  de  connaissances  et  d’expertise   de  la  théorie  et  de  la  pratique  de  l’évaluation.    
  15. 15. Ian  C  Davies  Conseil  Inc.       15   À   la   lumière   de   ses   travaux   la   revue   estime   que   ces   processus   ainsi   que   les   conditions  nécessaires  à  leur  mise  en  œuvre  n’existent  pas  de  manière  effective   et  adéquate  à  l’heure  actuelle  dans  l’organisation  et  les  systèmes  d’évaluation  de   la  DG  Trésor.       5.5  Pilotage     Le  pilotage  de  l’évaluation  est  censé  revenir  au  Comité  de  pilotage  toutefois  le   rôle   et   les   responsabilités   de   ce   dernier   sont   confus   du   fait   qu’en   pratique   il   semble   cumuler   de   manière   indistincte   des   fonctions   de   gestion  :   supervision,   termes   de   référence,   choix   des   consultants,   suivi   et   qualité   de   l’évaluation,   validation   des   livrables   contractuels  ;   des   fonctions   d’assurance   qualité     au   regard  de  la  méthodologie  ;  des  fonctions  de  participation  de  parties  prenantes  ;   ainsi   que   des   fonctions   de   groupe   de   référence,  et   des   fonctions   de  pilotage  :   orientation  de  l’évaluation.     Encadré  1  :  Les  fonctions  de  «  groupe  de  référence  »  et  de  «  comité  de  pilotage  »       Généralement,  un  groupe  de  référence,  ou  groupe  technique,  sert  à  assurer  que   le  traitement  par  l’évaluation  de  contenu  spécialisé,  soit  technique  ou  sectoriel,   est  en  cohérence  avec  l’état  des  connaissances  et  des  pratiques  de  la  discipline   ou  du  secteur  en  question.       Un   groupe   de   référence   peut   par   exemple   proposer   ou   valider   le   choix   de   spécialistes  à  intégrer  à  l’équipe  d’évaluation,  à  proposer  des  sources  de  données   spécialisées,  à  proposer  des  questions  spécifiques  au  contenu  spécialisé,  etc.  Le   groupe  de  référence  s’apparente  plus  à  un  comité  aviseur  technique.       Un   comité   de   pilotage   exerce   un   mandat   de   gouvernance   de   l’ensemble   de   l’évaluation  et  porte  normalement  son  attention  sur  deux  aspects  :  l’orientation   de   l’évaluation   afin   d’en   assurer   son   utilisation   et   son   indépendance,   et   la   protection   de   l’autonomie   de   l’évaluateur   dans   l’exercice   de   son   jugement   évaluatif.       De  ce  fait  la  qualité  du  pilotage  apparaît  variable  et  ces  fonctions  qui  devraient   être   assumées   pleinement   par   l’UEAD   ne   le   sont   pas.   En   particulier   la   responsabilité   spécifique   et   primordiale   d’un   pilotage   efficace,   notamment   la   protection   de   l’indépendance   de   l’évaluation   et   de   l’autonomie   du   jugement   évaluatif  ne  semble  pas  primer  dans  les  activités  du  comité  de  pilotage.     Cette   réalité   crée   un   disfonctionnement   qui   se   manifeste   parfois   lorsque   des   évaluations   conduites   de   façon   discutable   ne   sont   pas   redressées   en   temps   opportun   et   que   des   livrables   de   qualité   douteuse   sont   entérinés.   De   façon   générale  elle  met  à  risque  la  crédibilité  de  l’évaluation,  sa  qualité  et  sa  valeur   ajoutée.    
  16. 16. Ian  C  Davies  Conseil  Inc.       16     5.6  Communication,  utilisation  et  capitalisation     La  communication  des  résultats  de  l’évaluation  des  projets  RPE  et  FASEP  se  fait   par  la  publication  des  rapports  de  synthèse  sur  le  site  web  de  la  DG  Trésor.  Les   rapports  finaux  pour  les  évaluations  des  projets  d’aide  liée  ne  sont  pas  publiés   dans  leur  intégralité  compte-­‐tenu  d’un  objectif  de  protection  d’éventuels  intérêts   commerciaux.     Sur  la  période  concernée  par  la  revue,  la  question  de  l’utilisation  des  évaluations   ne   fait   pas   l’objet   de   considérations   systématiques   ex-­‐ante,   ce   qui   présente   le   risque  que  leur  utilité  soit  aléatoire.     Encadré  2  :Précisions  sur  la  notion  d’utilisation  relative  à  l’évaluation       Il  ne  faut  pas  confondre  :     -­‐  utilisation  dans  le  sens  d’une  approche  évaluative  focalisée  sur  l’utilisation,  du   type  «  Utilisation  Focused  Evaluation  »  de  M.Q.  Patton5,   -­‐  et  la  mise  en  place  d’un  système  de  suivi  des  recommandations.     La  revue  note  que  la  DG  Trésor  annonce,  en  2014,  la  formalisation  d’un  système   de  suivi  des  recommandations  des  évaluations.       La   revue   n’a   pas   trouvé   de   système   établi   afin   de   soutenir   la   capitalisation   systématique  des  enseignements  tirés  des  évaluations.     Sur   ce   dernier   point,   il   est   important   de   noter   que   certains   prérequis   fondamentaux   d’un   système   de   gestion   des   connaissances   permettant   de   capitaliser  sur  les  travaux  produits  ne  semblent  pas  tout  à  fait  en  place  ;  en  effet,   l’effort   de   recherche   nécessaire   dont   l’UEAD   fait   état   pour   transmettre   les   rapports  et  documents  relatifs  aux  consultants  sur  la  période  concernée  par  la   revue   indique   que   le   système   d’archivage   des   rapports   d’évaluation   et   de   la   documentation  pourrait  être  renforcé.                                                                                                                     5  http://www.sagepub.com/books/Book229324    
  17. 17. Ian  C  Davies  Conseil  Inc.       17     6. Évaluation  de  l’aide  liée       6.1  Précisions  sur  le  concept  d’effets       6.1.1 Effet  de  levier     L’effet  de  levier  mesure  l’ensemble  des  effets  d’un  projet  d’aide  internationale   sur   l’économie   française   (production,   emploi,   exportation,…),   que   ces   effets   soient   directs,   c’est-­‐à-­‐dire   liés   au   contrat   d’aide   et   bénéficiant   aux   entreprises   contractantes  et  à  leurs  sous-­‐traitants,  ou  indirects,  c’est-­‐à-­‐dire  induits  par  les   effets  directs  au  bénéfice  d’entreprises  françaises  en  dehors  du  contrat.      Effet  de  levier  direct  :  part  française  du  contrat  ou  directement  liée  au  contrat   L’effet  direct  (à  ce  stade  aucun  levier  n’a  encore  joué)  est  celui  lié  à  la  réalisation   du   projet   par   l’entreprise   bénéficiaire   du   contrat.   Il   est   défini   comme   la   part   française  de  l’opération,  c’est  à  dire  la  part  non  importée.  Si  la  définition  paraît   simple,   sa   mesure   est   complexe,   car,   à   la   part   française   de   la   production   de   l’entreprise  bénéficiaire,  il  convient  en  toute  rigueur  d’ajouter  la  part  française   d’un  ensemble  de  consommations  intermédiaires.     La   part   française   de   la   production   de   l’entreprise   bénéficiaire   est   égale   à   sa   production   dont   sont   retirées   les   consommations   intermédiaires   importées,   c’est-­‐à-­‐dire,  comptablement  à  la  valeur  ajoutée  (VA)  de  l’entreprise  additionnées   de  ses  consommations  intermédiaires  (CI)  non  importées.     La  difficulté  vient  de  ce  que  les  CI  non  importées,  c’est-­‐à-­‐dire  la  production  des   sous-­‐traitants,  recèlent  à  leur  tour  une  part  française  et  des  CI  importées,  et  ainsi   de  suite.  Le  graphique  suivant  illustre  cet  enchaînement.     Encadré  3  :  Effet  de  levier  direct  =  part  française      
  18. 18. Ian  C  Davies  Conseil  Inc.       18   Il   convient   de   noter   que   la   nationalité   de   l’entreprise   n’intervient   pas.   La   production  est  française  si  elle  est  produite  en  France.     Effet  de  levier  indirect  :  contrats  ultérieurs   La   réalisation   du   contrat   FASEP   ou   RPE   peut   donner   lieu   à   d’autres   contrats   entre  une  entité  du  pays  bénéficiaire  et  des  entreprises  françaises,  en  particulier   celles  ayant  bénéficié  du  contrat  initial.  Il  peut  s’agir  de  contrats  directement  liés   au  contrat  initial  (maintenance,  formation,  etc.)  ou  de  contrats  obtenus  à  la  suite   de  la  réputation  acquise  grâce  au  premier  contrat.       Dans  ce  dernier  cas,  on  peut  faire  la  distinction  entre  un  effet  de  levier  indirect  et   un  effet  vitrine.  L’effet  de  levier  indirect  est  mesuré  par  des  contrats  ultérieurs   effectivement   obtenus   ou   probables   tandis   que   l’effet   vitrine   consiste   en   une   réputation  dont  on  espère  des  retombées  sous  la  forme  de  contrats  futurs.     Effet  de  levier  indirect  :  effets  macro-­économiques   La  production  française  (c’est-­‐à-­‐dire  sur  le  territoire  français)  entraîne,  au-­‐delà   des   effets   précédents,   des   effets   globaux   sur   le   PIB   par   les   revenus   qu’elle   distribue  et  qui  sont  ensuite  dépensés.  Cet  effet  est  difficile  à  mesurer  (bien  que   certaines   agences   de   coopération   le   fassent   d’autant   qu’il   s’applique   tant   au   contrat  initial  qu’aux  contrats  ultérieurs.)     Effet  de  levier  mesurable  :  définition  retenue   Il   convient   de   retenir   une   définition   opérationnelle,   c’est-­‐à-­‐dire   susceptible   d’être  mise  en  œuvre  compte  tenu  des  moyens  disponibles.       L’effet  de  levier  mesurable  est  constitué  de  :   -­‐  l’effet  de  levier  direct  arrêté  au  niveau  1  de  sous-­‐traitance  ;   -­‐  les  contrats  ultérieurs  acquis  ou  probables.     Sont  donc  exclus  de  l’effet  de  levier  mesurable  :   -­‐  l’effet  de  levier  direct  au-­‐delà  du  niveau  1  de  sous-­‐traitance  ;   -­‐  les  contrats  ultérieurs  incertains  ;   -­‐  les  effets  macro-­‐économiques.      
  19. 19. Ian  C  Davies  Conseil  Inc.       19   6.1.2 Effet  support     L’effet  support  d’un  projet  est  constitué  des  résultats  pour  le  pays  bénéficiaire.       Ces   résultats,   par   opposition   au   processus   qui   les   produit,   sont   généralement   catégorisés  selon  une  «  chaine  de  résultats  »  en  :       • biens  et  services  produits  («  outputs  »  ou  extrants)  par  le  projet  ;   • effets  («  outcomes  »),  sur  la  population  visée  directement  par  le  projet    ;   • impacts  qui,  selon  la  définition  de  l’OCDE-­‐CAD  sont  des  effets  à  long  terme,   positifs  et  négatifs,  primaires  et  secondaires,  directs  ou  indirects,  attendus   ou  non.   L’objectif   principal   d’une   intervention   est   généralement   défini   en   termes   de   résultats   pour   la   population   ciblée   par   l’intervention.   Selon   la   politique   de   l’évaluation   de   l’UEAD   l’efficacité   d’une   intervention   est   une   mesure   selon   laquelle  les  objectifs  de  l’intervention  ont  été  atteints  ou  sont  en  mesure  de  l’être.   Le  terme  efficacité  peut  aussi  connoter  l’appréciation  d’ensemble  du  mérite  ou   de  la  valeur  d’une  intervention.         Encadré  4  :  La  chaîne  d’évaluation  des  politiques6                                                                                                                                 6  Source  :  Politique  de  l’évaluation  des  actions  d’aide  au  développement.  Guide  méthodologique.   DG  Trésor  -­‐  2010.    
  20. 20. Ian  C  Davies  Conseil  Inc.       20   6.2  Traitement  des  effets    dans  les  évaluations   6.2.1 Effet  de  levier  et  effet  support,  remarque  préliminaire     Les  effets  de  levier  et  support  sont  différents  selon  qu’il  s’agit  des  FASEP  ou  des   RPE.   Le   FASEP   Etudes   est   engagé   avec   l’espoir   qu’il   soit   suivi   par   un   projet   industriel  «  en  dur  »,  concret.  Les  effets  du  FASEP  sont  beaucoup  plus  limités  si   ce  projet  n’est  pas  réalisé  que  s’il  l’est.  En  première  approximation,  on  pourrait   considérer  que  les  effets  de  levier  et  support  significatifs  du  FASEP  Etudes  sont   ceux  du  projet  sous-­‐jacent.  En  fait,  les  choses  sont  un  peu  plus  compliquées  dans   la   mesure   où   le   FASEP   Etudes,   même   lorsqu’il   n’est   pas   suivi   d’un   projet   industriel,  recèle,  en  tant  que  projet  d’ingénierie  des  effets  de  levier  et  support,   certes  limités,  mais  bien  réels  :     • effet   de   levier  :   le   FASEP   Etudes   fait   connaître   les   bureaux   français   d’ingénierie  auprès  des  partenaires,  et  peut  donc  produire  un  effet  vitrine   susceptible   d’engendrer   des   commandes   ultérieures   pour   ce   type   de   prestation  ;     • effet   support  :   le   FASEP   Etude,   s’il   associe   des   partenaires   au   développement,  peut  accroître  les  capacités  de  ceux-­‐ci  dans  le  domaine  de   l’ingénierie.   Il  n’en  reste  pas  moins  que  ces  effets  sont  très  limités  relativement  à  ceux  que   permettent  d’obtenir  la  réalisation  du  projet  sous-­‐jacent.     Les  autres  types  de  FASEP,  en  particulier  le  FASEP  Formation  professionnelle  et   le  FASEP  Innovation  verte  ne  sont  pas  liés  directement  à  des  projets  sous-­‐jacents   identifiés.  Ils  sont  cependant  mis  en  œuvre  dans  la  perspective  de  faire  connaître   le  savoir-­‐faire  des  entreprises  françaises  et  de  faciliter  l’obtention  de  contrats  de   projets  industriels  dans  l’avenir.     Enfin,  le  FASEP  a  été  parfois  réorienté  pour  financer  l’assistance  technique  à  la   mise  en  œuvre  d’un  projet  industriel.    
  21. 21. Ian  C  Davies  Conseil  Inc.       21     6.2.2 Effet  de  levier     L’effet  de  levier  dans  les  termes  de  référence   Il  est  possible  de  confronter  ce  qui  est  demandé  aux  évaluateurs  dans  les  termes   de  référence  à  ce  qu’ils  ont  pu  produire.     La  présentation  la  plus  complète  de  l’effet  de  levier  se  trouve  dans  l’annexe  des   termes   de   référence   intitulée   «  Structure   indicative   du   rapport   d’évaluation  »   (cette  «  structure  indicative  »,  strictement  identique  pour  toutes  les  évaluations   sauf  trois  sur  la  période  2004-­‐2012,  a  été  supprimée  à  partir  de  2011)  -­‐  dans  la   section  «  5.2  Impact  du  projet  pour  l’économie  française  »  qui  se  décompose  en  3   paragraphes    demandant  aux  consultants  retenus  d’apprécier  :     • Les  effets  directs  et  à  moyen  terme  sur  le  commerce  extérieur.    La  demande   concerne  l’effet  de  levier  du  financement  afférent  au  projet  (non  défini),  la   stratégie   d’implantation   des   entreprises,   l’acquisition   ou   le   maintien   de   positions   commerciales,   l’évaluation   chiffrée   (au   moins   estimative)   des   exportations  françaises  générées  par  le  projet  ainsi  que  des  potentialités,  etc.     • L’effet  vitrine  du  projet.  Il  s’agit  d’apprécier  notamment  l’image  de  marque   des   entreprises   françaises   et   de   la   France   créée   par   le   projet,   la   publicité   donnée   au   projet,   la   valorisation   de   l’action   d’aide   française   au   développement.     • La   réplicabilité   du   projet.   Il   est   demandé   d’apprécier   les   conditions   de   réussite   d’un   projet   analogue   en   général   et   dans   la   zone   géographique   concernée,  et  l’insertion  du  projet  dans  une  stratégie  française  plus  globale   d’intervention  en  termes  de  secteur,  de  pays  ou  de  zone.     L’effet  de  levier  dans  les  évaluations   Ce  qui  suit  vaut  essentiellement  pour  les  RPE  ;  un  commentaire  spécifique  aux   FASEP  est  proposé  en  fin  de  paragraphe.     L’effet  de  levier  n’est  pratiquement  jamais  défini  par  les  évaluateurs.  En  pratique,   il  correspond  à  ce  qui  a  été  défini  comme  «  l’effet  de  levier  mesurable  »  -­‐  section   6.1.1  du  présent  rapport  -­‐  c’est-­‐à-­‐dire  au  chiffre  d’affaires  des  entreprises  parties   prenantes   au   contrat   et   de   leurs   sous-­‐traitants   auxquels   viennent   s’adjoindre   d’autres   entreprises   françaises   parties   prenantes   à   des   contrats   ultérieurs   en   cours,  ou  à  des  contrats  ultérieurs  acquis  ou  probables.     Sauf  dans  un  cas,  l’effet  de  levier  n’est  jamais  chiffré.     Si  la  «  part  française  »  du  contrat  initial  est  connue  à  la  signature  du  contrat,  elle   n’est  jamais  évoquée  en  ce  qui  concerne  la  suite  de  l’effet  de  levier,  c’est-­‐à-­‐dire   les  contrats  susceptibles  d’être  signés  à  la  suite  de  contrat  FASEP  ou  RPE  initial.    
  22. 22. Ian  C  Davies  Conseil  Inc.       22   La   vérification   ex-­‐post   de   la   part   française   telle   qu'établie   ex-­‐ante   n'est   pas   effectuée   par   les   évaluateurs,   mais   par   le   Contrôle   général   économique   et   financier  (CEGEFI),  en  général  après  l'achèvement  de  l'évaluation.     Les  données  utilisées  pour  apprécier  l’effet  de  levier  sont  globalement  générales   et  recueillies    à  la  suite  d’entretiens  avec  les  entreprises  bénéficiaires  du  contrat   initial     et   avec   les   services   économiques  ainsi   que   par   une   connaissance   du   milieu  entrepreneurial,  tant  français  que  local,  dans  le  pays.       Les   effets   sur   l’emploi   en   France   et   les   exportations   françaises   ne   sont   mentionnés   que   dans   une   minorité   d’évaluations   généralement   à   la   suite   d’entretiens  avec  les  bénéficiaires  du  contrat  initial,  et  ne  font  pas  appel  à  des   données  quantitatives.  Il  n’y  pas  d’estimation  de  l’emploi  et  des  exportations  liés   au  reste  de  l’effet  de  levier.     Les  effets  de  levier  des  FASEP  Etudes  ont  été  évalués  en  termes  de  retombées  à   la  fois  en  ingénierie,  principalement  pour  l’entreprise  ayant  réalisée  l’étude,  et  en   projets  sous-­‐jacents.  De  ce  dernier  point  de  vue,  les  évaluations  se  sont,  bien  sûr,   limitées  à  constater  la  réalisation  ou  la  non-­‐réalisation  du  projet  sous-­‐jacent,  ou   à  évaluer  ses  perspectives  de  réalisation,  sans  aller  jusqu’à  estimer  les  effets  de   levier  du  projet  sous-­‐jacent,  les  perspectives  de  projets  induits  par  le  projet  sous-­‐ jacent  étant  beaucoup  trop  incertaines.     Les   effets   de   levier   des   FASEP   Formation   professionnelle   ont   été   évalués   du   point   de   vue   de   leur   retombées   en   termes   d’objectifs   sous-­‐jacents   (il   est   préférable   de   parler   d’objectifs   plutôt   que   de   projets   puisque,   dans   ce   cas,   il   n’existe   généralement   pas   de   projets   sous-­‐jacents   bien   spécifiés).   Il   en   est   de   même  des  FASEP  «  Assistance  technique  ».     Malgré  ces  déficiences  de  l’estimation  de  l’effet  de  levier  des  FASEP  et  des  RPE,  il   serait  possible  d’apprécier  cet  effet  en  adoptant  une  vision  agrégée  de  l’ensemble   des  projets  plutôt  que  de  se  limiter  à  l’évaluation  projet  par  projet.  Celle-­‐ci  aurait   également   pour   avantage   de   permettre   de   poursuivre   vers   une   estimation   macro-­‐économique,  telle  que  celle  de  la  Coopération  suisse,  dont  les  estimations   montrent  que  son  absence  omet  une  part  importante  de  l’effet  pour  l’ensemble   de  l’économie7.                                                                                                                     7  La  méthodologie  de  la  Coopération  suisse  a  pour  objet  d’estimer  les  effets  sur  le  PIB  de  la  Suisse   de   l’ensemble   des   dépenses   d’aide   publique   au   développement   (APD).   La   première   étape   de   l’estimation  consiste  à  calculer  l’effet  primaire  sur  la  demande  globale,  qui  inclut  l’ensemble  des   effets  directs  de  l’APD  sur  la  demande  de  biens  et  services  suisses,  c’est-­‐à-­‐dire  hors  effets  macro-­‐ économiques   induits.   Ces   effets   directs   sont   estimés   de   façon   relativement   large   puisqu’ils   incluent,   par   exemple,   les   achats   de   biens   et   services   suisses   consécutifs   à   l’aide   multilatérale   suisse.   L’effet  primaire  sur  la  demande  globale  est  de  0,73  franc  suisse  pour  1  franc  suisse  d’APD.   Les  effets  sur  le  PIB  et  sur  l’emploi  sont  ensuite  calculés  par  un  modèle  macro-­‐économique  qui   vient  ajouter  à  l’effet  primaire  des  effets  induits.  Compte  tenu  des  incertitudes  qui  pèsent  sur  les   hypothèses  nécessaires  aux  calculs,  il  est  proposé  une  valeur  minimale  et  une  valeur  maximale   des  estimations,  qui,  sont  respectivement  1,29  et  1,51  francs  suisses  de  PIB  pour  1  franc  suisse   d’APD.   La   comparaison   entre   l’effet   primaire   sur   la   demande   globale   et   l’effet   sur   le   PIB,   tous   effets   induits  pris  en  compte,  met  bien  en  évidence  les  défauts  d’une  approche  non  macro-­‐économique,   quels  que  soient  les  effets  indirects  qui  aient  pu  être  pris  en  compte  au  préalable.  
  23. 23. Ian  C  Davies  Conseil  Inc.       23     Cette   vision   globale   permettrait   également   de   mettre   à   profit   les   travaux   de   l’Observatoire   du   fabriqué   en   France8  qui,   au   seul   niveau   agrégé   de   secteurs,   permet  un  calcul  de  la  part  française,  au-­‐delà  du  calcul  de  la  DGE  qui,  quelle  que   soit  sa  qualité,  ne  vaut  que  pour  la  composante  initiale  des  contrats  FASEP  et   RPE.     6.2.3 Effet  support     L’effet  support  dans  les  termes  de  référence   Il  est  possible,  comme  pour  l’effet  de  levier,  de  confronter  ce  qui  est  demandé   aux  évaluateurs  dans  les  termes  de  référence  à  ce  qu’ils  ont  pu  produire.     La  présentation  la  plus  complète  de  l’effet  support  était  jusqu’en  2011  obtenue   dans   l’annexe   «  Structure   indicative   des   rapports   d’évaluation  »   des   termes   de   référence  –  qui  était  identique  et  présente  pour  toutes  les  évaluations  sous  revue   sauf   trois   -­‐   et   se   trouve   à   la   section   «  5.1   Impact   du   projet   pour   le   pays   récipiendaire  »  qui  se  décompose  en  4  paragraphes  :     -­‐  Les  impacts  économiques  :  la  demande  est  encore  plus  ambitieuse  que  ce   qui  est  attendu  des  évaluateurs  concernant  l’effet  de  levier  puisqu’il  leur  est   demandé  de  mesurer  le  taux  interne  de  rentabilité  économique,  l’impact  sur   le   budget   de   l’Etat   ou   des   collectivités   locales,   et   les   mesures   d’accompagnement  prises  par  l’Etat.     -­‐   Les   impacts   techniques  :   c.à.d.   l’adéquation   du   projet   aux   besoins   technologiques   du   bénéficiaire,   les   échelles   de   comparaison   avec   des   équipements  ou  interventions  similaires,  les  transferts  de  technologie,  etc.     -­‐  Les  impacts  institutionnels  :  c.à.d.  notamment  l’insertion  du  projet  dans  la   programmation  des  investissements  du  pays  et  dans  le  développement  du   secteur   concerné,   l’aptitude   du   pays   d’accueil   à   la   gestion   du   projet   et   éventuelles  propositions  d’amélioration.     -­‐  Les  impacts  sociaux  et  environnementaux  :  c.à.d.  les  effets  du  projet  sur  le   développement  social  du  pays  et  sa  contribution  à  la  lutte  contre  la  pauvreté   et  les  inégalités  sociales,  les  effets  sur  l’environnement.                                                                                                                                                                                                                                                                                                                                     8  La  méthodologie  de  l’Observatoire  du  fabriqué  en  France  cherche  à  estimer,  dans  la  production   d’un  bien  ou  service,  la  part  qui  revient  aux  entreprises  françaises  après  épuisement  de  tous  les   effets  de  sous-­‐traitance.  A  cette  fin,  un  tableau  des  entrées  intermédiaires  est  utilisé  qui  permet   de   calculer   (théoriquement   à   l’infini)   la   totalité   des   productions   de   consommations   intermédiaires  qui  ont  contribué  à  la  production  concernée.  Ainsi,  pour  une  voiture  fabriquée  en   France  valant  10  000  euros,  6  900  correspondent  à  des  composants  et  à  de  la  R  &  D  français  et   3  100  euros  à  des  composants  importés.  
  24. 24. Ian  C  Davies  Conseil  Inc.       24   L’utilisation   du   terme   impact   ne   correspond   pas   exactement   à   la   définition   rappelée  plus  haut.  Il  convient  de  considérer  que  l’impact  tel  que  mentionné  par   les  termes  de  référence  est  un  effet  ;  on  s’en  tiendra  cependant  dans  ce  rapport   au  vocabulaire  des  termes  de  référence.       Ces  impacts  présentent  vraisemblablement  des  difficultés  d’évaluation.  Les  trois   premiers  types  d’impacts  sont  essentiellement  des  impacts  directs  tandis  que  le   dernier,   intitulé   «  impacts   sociaux   et   environnementaux  »,   est   essentiellement   composé  d’impacts  indirects,  difficiles  à  mesurer.     Les  impacts  économiques  ont  été  limités  à  des  impacts  plus  micro-­‐économiques   ou  de  finances  publiques  qu’étendus  à  des  impacts  macro-­‐économiques,  dont  les   caractéristiques   de   long   terme   et   de   résultat   d’effet   multiplicateur   rendent   la   mesure  impossible  dans  le  cadre  des  évaluations  de  projet.         L’effet  support  dans  les  évaluations   Les  évaluations  ont,  dans  la  plupart  des  cas,  cherché  l’alignement  sur  les  termes   de  référence.    La  non  différenciation  des  termes  de  référence  pour  les  FASEP  et   RPE  a  posé  un  problème  aux  évaluateurs  des  FASEP,  en  particulier  jusqu’en  2011   quand   un   plan   indicatif   du   rapport   d’évaluation   était   fourni   en   annexe,     (voir   Effet  de  levier  et  effet  support,  remarque  préliminaire)     Si  dans  le  cas  des  projets  RPE,  il  s’agit  de  réalisations  dont  l’évaluation  peut  être   fondée  sur  la  recherche  de  faits  probants,  a  contrario  l’évaluation  de  prévisions   d’impact  dans  le  cas  des  FASEP,  est  beaucoup  plus  difficile  car  il  s’agit  non  pas   d’observer  des  résultats,  mais  d’apprécier  une  méthode  de  prévision.       Les  évaluations  des  effets  support  des  FASEP-­‐Etudes  sont  très  limitées.  Ceux-­‐ci   sont  en  général  identifiés  au  constat  d’un  éventuel  bénéfice  pour  la  population   du  projet  sous-­‐jacent  à  venir.  Parfois  la  composante  accroissement  des  capacités   de   l’ingénierie   est   mentionnée.   Les   évaluations   des   effets   support   des   FASEP-­‐ Formation   professionnelle   se   limitent   au   constat   d’un   accroissement   des   capacités  directement  lié  à  la  formation.     Quelques   évaluations,   peu   nombreuses,   ont   cherché   à   se   départir   du   plan   indicatif  donné  dans  les  termes  de  référence  pour  adopter  une  autre  approche,   en   particulier   en   séparant   les   constats   selon   le   niveau   des   impacts  :   projet,   secteur,  pays.     Le   respect   du   plan   indicatif   par   les   évaluateurs   qui   ont   choisi   de   se   tenir   à   la   structure   fournie   par   les   termes   de   référence   conduit   souvent   à   des   développements   «  forcés  »   sur   des   thèmes   non   pertinents   pour   le   projet   concerné.  Le  caractère  «  indicatif  »    aurait  dû  être  davantage  souligné  dans  les   termes  de  référence.     Les  évaluations  de  l’effet  support  sont  de  qualité  très  variable  selon  les  projets   évalués.   Comme   dans   le   cas   de   l’effet   de   levier,   il   y   a   peu   de   données   quantitatives  à  l’appui.      
  25. 25. Ian  C  Davies  Conseil  Inc.       25     6.3Les  rapports  d’évaluation  de  l’aide  liée  2004-­2012   L’équipe   disposait,   dès   le   commencement   de   la   revue,   de   la   liste   des   11   évaluations   réalisées   sur   la   période   2004–2012,   les   rapports   lui   sont   ensuite   parvenus  au  fur  et  à  mesure.     6.3.1 Protocole  d’appréciation  des  rapports     Elaboration  d’une  grille  d’appréciation   Afin  d’apprécier  les  rapports  d’évaluation,  la  revue  a  procédé  à  l’analyse  de  ces   rapports  sur  base  d’une  grille  simplifiée  élaborée  à  partir  de  différents  standards   en  matière  d’évaluation9.       >  CAD10  :  les  Normes  de  Qualité  pour  l’Evaluation  du  Développement  rédigées  en   février   2010   et   actualisées   depuis,   comprennent   des   standards   concernant   spécifiquement  la  qualité  des  rapports  d’évaluation  –  cf.  pp.26-­‐27  du  document   ci  référencé.  (http://www.oecd.org/fr/cad/evaluation/49898837.pdf)     >  UNEG11  :  le  réseau  des  unités  d’évaluation  des  agences  des  Nations  Unies  s’est   doté  de  standards  permettant  d’apprécier  la  qualité  des  rapports  d’évaluation  –   c’est  de  loin  le  document  le  plus  exhaustif.   (http://www.uneval.org/document/detail/607)     >   UEAD  :   la   Politique   d’Evaluation   des   Actions   d’Aide   au   Développement   de   l’UEAD,  datant  d’avril  2010,  contient  une  «  grille  d’appréciation  des  travaux  des   consultants  »  pp.  21-­‐22  du  document  ci-­‐référencé.     (http://www.tresor.economie.gouv.fr/File/394820)           Protocole  d’utilisation  de  la  grille   A   partir   de   cette   grille,   des   appréciations   ont   été   faites   pour   chaque   rapport.   Dans  une  première  phase  la  revue  a  réparti  les  11  rapports  d’évaluation  de  sorte   que  chaque  membre  de  l’équipe  a  apprécié  individuellement  un  ou  plusieurs  des   rapports  d’évaluation  à  l’aide  de  la  grille.     Une  fois  l’ensemble  des  rapports  examinés  par  un  des  membres  de  l’équipe,  la   revue   a,   dans   une   deuxième   phase,   procédé   à   un   deuxième   examen  :   les   11   rapports  d’évaluation  et  les  11  grilles  d’appréciation  remplies  ont  été  revues  par   au  moins  un  autre  membre  de  l’équipe.       Pour   les   études   de   cas   sélectionnées,   l’ensemble   de   l’équipe   a   participé   à   l’examen  approfondi  de  chaque  évaluation  retenue.                                                                                                                   9  Cette  grille  figure  en  annexe  1  du  présent  rapport.   10  Comité  d’Aide  au  Développement  de  l’OCDE   11  United  Nations  Evaluation  Group  
  26. 26. Ian  C  Davies  Conseil  Inc.       26     6.3.2 Constatations     Les   analyses   des   rapports   d’évaluation   effectuées   sur   la   base     de   la   grille   d’appréciation   simplifiée   permettent   de   confirmer   que   ceux-­‐ci   présentent   un   certain  nombre  d’insuffisances  qui  sont  résumées  ci-­‐dessous.     Les  finalités  et  objectifs  de  l’évaluation     • La  raison  de  l’évaluation  et  son  utilisation  préconisée  sont  des  éléments   assez  peu  décrits  dans  les  rapports  :  la  majeure  partie  d’entre  eux  ne  donne  que   quelques  éléments  succincts  à  ce  propos,  et  5  rapports  sur  les  11  ne  contiennent   aucune  information  à  ce  sujet.   • La  description  de  l’objet  de  l’évaluation  se  trouve,  de  façon  générale,  dans   les   rapports   de   façon   plus   ou   moins   exhaustive.   Néanmoins   si   l’ensemble   des   rapports  décrit  de  façon  plus  ou  moins  claire  l’objet  (ce  qu’il  s’agit  d’évaluer),   l’étendue  de  l’évaluation  (ce  que  couvre  l’évaluation  et  ce  qui  n’a  pas  été  évalué)   ne  fait  pas  partie  des  éléments  présentés.   • Les   objectifs   ou   les   questions   spécifiques   de   l’évaluation   sont   essentiellement  absents  de  la  majeure  partie  des  rapports  :  7  rapports  sur  les  11   ne  précisent  pas  quelles  ont  été  les  questions  d’évaluation.  Par  ailleurs,  l’énoncé   des   objectifs   de   l’évaluation   ne   figure   dans   aucun   des   rapports,   qui   ne   comportent   ni   éléments   sur   le   type   d’information   recherché,   pour   qui   et   pour   quoi.     Méthodologie  de  l’évaluation   • Les   critères   sont,   d’une   manière   générale,   très   peu   documentés.   Les   rapports  n’expliquent  pas  la  façon  dont  ceux-­‐ci  ont  été  opérationnalisés  dans  le   cadre  des  évaluations  (8  évaluations  sur  les  11).  Les  rapports  ne  comportent  pas   non   plus   d’information   sur   la   pertinence   des   critères   sélectionnés   -­‐   dans   la   mesure  où  l’ensemble  des  critères  du  CAD  suggérés  dans  les  termes  de  référence   n’est   pas   systématiquement   utilisé   -­‐   sur   leur   adéquation   à   la   situation   d’évaluation  ou  de  considérations  sur  leurs  limites.   • Les   méthodes   de   collecte   des   données   et   les   types   de   sources   font,   de   façon   générale,   l’objet   d’assez   peu   de   précisions  :   la   plupart   des   rapports   ne   comporte   que   la   liste   des   personnes   interrogées,   et   2   rapports   sur   les   11   ne   contiennent  pas  du  tout  ce  type  d’information.   • Pour   l’ensemble   des   11   rapports,   le   cadre   analytique   est   par   ailleurs,   lorsqu’il   n’est   pas   ambigu,   relativement   inapproprié   relevant   d’avantage   du   contrôle  de  conformité  que  d’un  mode  d’analyse  à  proprement  parler.     Résultats   • Sur   un   plan   formel,   les   constats   principaux   des   évaluations   ressortent   assez   clairement   parmi   les   11   rapports.   Néanmoins,   pour   au   moins   5   des   rapports  les  constats  sont  peu  substantiels  et  désorganisés,  mêlant  des  éléments   de  jugements  aux  faits.  Par  ailleurs,  les  faits  mentionnés  ne  sont  pas  appuyés  par   des  preuves  suffisantes  (faits  non  probants).   • L’analyse  évaluative  s’apparente  généralement  plutôt  à  une  description,   notamment  dans  6  des  rapports.  
  27. 27. Ian  C  Davies  Conseil  Inc.       27   • Il  est  difficile  d'identifier  par  rapport  à  quoi  les  conclusions  (le  jugement   évaluatif)   ont   été   formulées   étant   donné   les   éléments   manquants   mentionnés   précédemment  (questions  d'évaluations,  méthodologie  et  méthodes  etc.)  pour  a   minima  6  des  rapports.   • Les   recommandations   ne   sont   pas   systématiquement   pratiques,   hiérarchisées,  adressées  et  s’avèrent  donc  fréquemment  peu  actionnables.     Autres  éléments  du  rapport   • Les  rapports  contiennent  très  peu  d’informations  sur  la  mise  en  œuvre  de   l’évaluation  :   ils   ne   comportent   pas   d’éléments   sur   les   parties   prenantes   de   l’évaluation,   sur   le   comité   de   pilotage,   sur   les   difficultés   rencontrées   ou   sur   d’autres  aspects  du  processus  évaluatif.   • Les   rapports   depuis   2008   ont   fait   l’objet   d’une   synthèse   publiée   (en   version  papier  et/ou  électronique),  c.-­‐à-­‐d.  9  rapports  sur  les  11.  Ces  synthèses   sont   en   revanche   relativement   peu   accessibles   au   public   puisque   seulement   4   des  9  synthèses  publiées  ont  été  mises  en  ligne.         6.3.3 Évolution  des  rapports  de  2004  à  2012     La  qualité  des  rapports  a  peu  progressé  sur  la  période.  Pour  chacun  des  aspects   examinés,   qu’il   s’agisse   de   la   finalité   et   des   objectifs   de   l’évaluation,   des   méthodologies   employées,   des   résultats   ou   des   autres   éléments   du   rapport,   il   n’apparaît   pas   d’amélioration   significative   entre   les   premières   évaluations   examinées  (réalisées  en  2006)  et  les  dernières  (datant  de  2011).      Ceci  dit,  la  qualité  des  rapports  d’évaluation  dépend  en  partie  de  la  qualité  des   termes  de  référence.       6.3.4 Termes  de  référence  sur  la  période  2004-­‐2012     L’analyse  des  termes  de  référence  des  évaluations  fait  ressortir  que  ceux-­‐ci  sont   presque   identiquement   volumineux,   détaillés   et   prescriptifs   pour   chacune   des   évaluations   de   projets   RPE-­‐FASEP   sur   la   période   2004-­‐2012.   Pour   autant   certains  éléments  fondamentaux  pour  une  commande  d’évaluation  n’y  sont  pas   précisés.     En  effet,  l’objectif  des  évaluations  n’est  pas  perceptible  à  la  lecture  des  termes  de   référence   examinés.   Si   les   objectifs   font   l’objet   d’une   section   distincte  et   que   celle-­‐ci   fournit   des   éléments   sur   le   type   d’information   recherchée,   aucun   des   termes   de   référence   ne   précise   à   quelle   fin   ni   à   qui   ces   informations   sont   destinées.     Les   projets   RPE   et   FASEP   sont   traités   de   façon   identique  :   la   commande   d’évaluation   est   la   même   pour   l’évaluation   des   «  projets  »   que   contribuent   à   financer  ces  deux  instruments.    

×