Introduction à la planification et au suivi de programmes et projets de developpement territorial et regional. Chaines de causalite : input, output, outcome, impact. Modele de causalite, effets, gestion du cycle de projet. Presentation de quelques exemples.
Plan sectoriel de la mobilite, Crans-Montana : circulation, transports public...
Developpement territorial oriente vers l'efficacite, objectifs, indicateurs, chaine de causalite
1. Atelier pratique
«NPR orientée vers ’efficacité »
Présentation méthodologique avec
exercices
3 avril 2014
Partenaire cantonal :
Véronique Martrou, Service de la promotion économique et
du commerce, Canton de Vaud
François Parvex, regiosuisse / SEREC Sàrl
Sebastian Bellwald, Directeur regiosuisse
2. Déclaration du SECO concernant l’orientation selon
les impacts (1/2)
• L’orientation selon les objectifs et les effets est une principe
essentiel de la NPR.
• Parallèlement, la formulation des objectifs et le contrôle de leur
atteinte représentent un gros défi.
• Les modèles de causalité sont utiles dans ce contexte. Ils le sont
aussi bien pour le pilotage des projets et des programmes que
pour le contrôle de l’atteinte des objectifs.
• Par ailleurs l‘existence de modèles de causalité facilite la
communication.
3. Déclaration du SECO concernant l’orientation selon
les impacts (2/2)
• Le SECO a donc décidé d’approfondir la réflexion au niveau des
modèles de causalité à tous les niveaux.
– Il est donc prévu d’élaborer des modèles de causalité pour les priorités de la
promotion à partir de 2016, modèles sur lesquels les cantons et les acteurs
INTERREG pourront s’orienter.
– Le SECO a également décidé de soutenir les cantons et les acteurs
INTERREG dans leur travail sur les modèles de causalité. Les ateliers
pratiques proposés par regiosuisse sont conçus dans ce but, tout comme la
feuille de résultats de la CoSF, que le SECO recommande d’utiliser.
• Le travail avec les modèles de causalité exige un investissement de
départ. Le SECO est toutefois convaincu que cela facilitera ensuite
les travaux et contribuera à orienter davantage les activités
menées dans le cadre de la NPR en direction des objectifs et des
impacts.
4. Mesure
Tour de table : expériences, problèmes et besoins
• Difficultés rencontrées dans vos activités
• Besoins pour une NPR orientée vers l’efficacité
Planification
Conception Réalisation
Objectifs
Rapports
Communication
Pilotage /
Intervention
5. Buts de l‘atelier
• Comment élaborer un modèle de causalité ?
• Comment l’intégrer et l’utiliser au niveau des
programmes et des projets ?
• Quels sont les avantages liés à l’utilisation des
modèles de causalité ?
• Comment leur utilisation facilite mon travail ?
• Exercices pratiques : élaboration de
modèles de causalité sur la base de cas
concrets
6. Modèle de causalité : principe et définitions
Un modèle de causalité illustre de manière explicite la chaîne de
causalité, à savoir les relations entre
•les objectifs (Concept),
•les moyens à mettre en œuvre (Input) ,
•les résultats (Output),
•les effets pour les groupes cibles (Outcome) et
•les effets pour les bénéficiaires (Impact).
CONCEPT INPUT OUTPUT OUTCOME IMPACT
7. CONCEPT INPUT OUTPUT OUTCOME IMPACT
• Objectifs • Impact auprès
des
bénéficiaires
•Evolution du
système
•Effets auprès
des groupes
cibles
• Produits,
prestations
• Ressources
engagées
Modèle de causalité : outil
11. Utilité des modèles de causalité pour regiosuisse
• Meilleur compréhension et communication du rôle de regiosuisse
(contribution à la création de régions innovantes, etc.)
• Précision des objectifs, des publics cibles et des interactions entre
les diverses prestations (aussi vis-à-vis du mandant)
• Distinction plus claire entre le pilotage stratégique (Outcome) et la
gestion opérationnelle (Output)
• Meilleure distinction entre l’objectif principal et les effets
• Base pour les discussions internes et l’amélioration de l’offre
• Nouvelles idées sur ce qui doit être mesuré (indicateurs) et la
manière de le faire (moyens de vérification) en matière de pilotage et
légitimation
12. Cycle de programme, cycle de projet
Un cycle de programme / projet (généralement annuel) est constitué
des phases de planification, de réalisation et d’évaluation.
L’orientation vers l’efficacité doit avoir lieu durant toutes ces phases :
Explicite le déroulement d’un programme ou d’un projet entre les actions et
leurs effets observés
13. Utilisations possibles des modèles de causalité
• Base de discussion pour les négociations entre partenaires
• Base de négociation pour les contrats de prestations au niveau
des projets
• Aide pour le travail des responsables : comprendre, influencer,
apprendre, légitimer
• Base pour la définition des indicateurs et pour les évaluations
• Base pour l’élaboration de documents de programmes et de
projets
• Base pour la communication
15. Etape 1 : définir les objectifs
Objet Questions typiques
Concept - Quels buts sont visés avec le programme
(resp. l’axe d’action stratégique) ou le projet?
Important: les buts doivent refléter les objectifs
supérieurs
Impact - Qui sont les milieux concernés?
- Quels changements doit-il y avoir chez les
personnes concernées?
- Quels changements à long terme doit-il y avoir
dans le système?
Important: les changements souhaités doivent
contribuer à atteindre les objectifs supérieurs.
16. Etape 2 : élaborer le modèle de causalité
Objet Questions typiques
Input - Quelles sont les structures organisationnelles
responsables de la mise en œuvre?
- Quels autres acteurs seront impliqués?
- Quelles ressources (personnel, moyens
financiers, matériels, canaux de communication,
etc.) doivent être engagées?
Output - Quelles méthodes et quels processus sont
pertinents pour la mise en œuvre?
- Quelles prestations seront fournies (p.ex.
informations offertes, cours réalisés ou
manifestations de réseau, conduites
d’expertises, etc.)?
Outcome - Quel(s) groupe(s) cible(s) doit (doivent) être
atteint(s)?
- Quels changements doit-on pouvoir constater
dans le ou les groupes cibles?
18. Indicateurs et valeurs cibles au niveau
des Output et Outcome
La définition des impacts est importante comme valeur
d‘orientation sur les évolutions systémiques désirées. Les
impacts…
•dépendent de nombreux facteurs que l’on ne peut influencer
(facteurs externes);
•se manifestent après un certain temps.
Il est donc difficile d‘évaluer l‘impact des projets et des
programmes.
La mesure des effets se fait donc d‘abord au niveau des
Output et des Outcome !
19. Exemples d‘indicateurs et de valeurs cibles
Concept Output Outcome
Niveauprogramme
Optimisation des offres
en quantité et en
qualité
Programme de
formation employé en
hôtellerie
Indicateur avec
valeur cible : un projet
sera lancé jusqu’en
2015
Amélioration de la
qualité et nouvelles
offres
Indicateur avec
valeur cible : entre
2011 et 2015, les
évaluations d'hôtels
ont augmenté de x%
Niveauprojet
Amélioration des
connaissances sur les
offres et la région
Des cours sont
proposés
Indicateur avec
valeur cible : jusqu’en
2015, 10 cours sont
proposés
Des employés en
hôtellerie participent et
mettent en pratique
leurs connaissances
Indicateur avec
valeur cible : jusqu’en
2015, x% des
participants en
moyenne évaluent les
cours comme étant
pertinents pour leur
travail
20. Une alternative possible : le cadre logique
Exemple : le Solar Impulse de Bertrand Piccard
IMPACT / VISION
•Devenir célèbre
INDICATEURS
•Nombre d’apparitions dans les media
•Nombre d’invitations à des conférences ou
événements mondains
•Revenus encaissés
FACTEURS EXTERNES
•Bon fonctionnement de la fondation qui
soutient des projets en faveur des enfants
•Trouver un nouveau défi
OUTCOME / MISSION
•Premier tour du monde en avion solaire
INDICATEURS
•Définition partagée du « tour du monde »
FACTEURS EXTERNES
•Les media couvrent l’événement
OUTPUT / RESULTATS ATTENDUS
•Construction d’un avion fonctionnel
•Développement des capacités humaines
nécessaires
•Technique de détermination de la route
optimale
INDICATEURS
•Rapports des tests de matériel
•Rapports médicaux
FACTEURS EXTERNES
•Un autre pionnier réalise le projet avant
Solar Impulse
•Conditions météorologiques
•Permis de survol accordés
•Pannes
•Santé des pilotes
INPUT / ACTIVITES
•Recherche (météorologie, aérodynamique,
matériaux, psychologie, gestion du
sommeil,...)
•Elaboration d’un plan de marketing et
recherche de sponsors
•Conception et test de l’avion
•Organisation logistique du voyage, des
escales, des autorisations de survol, de la
communication, …
RESSOURCES
•Universités, EPF
•Institut météorologique
•Media
•Sommes investies par les sponsors
FACTEURS EXTERNES
•Les sponsors acquittent leurs dus
•Faisabilité technique
21. Outils de suivi : exemple de tableau de monitoring
ANNÉES 0 BL 1 2 x TV COMMENTAIRES Evaluation
Indicateurs d'Input
Indicateurs d'Output
Indicateurs d'Outcome (ev.)
Indicateurs d'Impact
BL = Base Line (Situation au début du projet ou programme)
TV = Target Value (Valeur cible planifiée)
Evaluation = 111/- - - ou couleur ou smiley etc.
22. Outils de suivi : exemple Luzern West
Monitoring du projet REGION LUZERN WEST
Source : REGION LUZERN WEST
23. Etape 3 : planifier l‘évaluation
Etape 4 : récolter les données
Etape 5 : analyser des données et valoriser les
enseignements
24. Structure type d’un document de programme/projet
• Description, analyse, évaluation de la situation de départ
• Groupes cibles et bénéficiaires
• Modèle de causalité
• Facteurs externes d’influence (positifs/négatifs)
• Organisation : structure et fonctionnement
• Processus de mise en œuvre (PSER=PCM)
• Budget : coûts et financement
27. Modèle de causalité « Maison tropicale de Frutigen »
But / Concept Input Output Outcome Impact
Contribution aux buts
de la NPR :
-Augmentation de la
création de valeur
dans la vallée de la
Kander
-Diminution des
disparités par rapport
à d’autres régions
-Réduction de
l’émigration
-Meilleure
collaboration entre les
acteurs de la région
Création et exploitation
d‘une Maison tropicale
offrant des prestations
diversifiées et gérée
selon les principes de
l‘économie privée
Utilisation de l‘eau
chaude naturelle
sortant du tunnel de
base du Lötschberg
Contribution à la
création de valeur
ajoutée régionale, ainsi
qu‘au maintien et à
l‘augmentation des
places de travail
28. Modèle de causalité « Route du sbrinz »
But / Concept Input Output Outcome Impact
Mise en valeur et
commercialisation
d‘un itinéraire culturel /
commercial historique
entre Domodossola et
Lucerne par un concept
global
Poursuite du
développement des
nombreuses activités
déjà initiées
Contribution à la
création de valeur
ajoutée régionale, ainsi
qu‘au maintien et à
l‘augmentation des
places de travail le
long de la route du
Sbrinz
Contribution aux buts
de la NPR :
-Augmentation de la
création de valeur le
long de la route du
Sbrinz
-Diminution des
disparités par rapport
à d’autres régions
-Réduction de
l’émigration
-Meilleure
collaboration entre les
acteurs de la région
Zielsetzung: explizite Darstellung der erwarteten Zusammenhänge zwischen den Zielen, den Massnahmen, der Umsetzung, den Leistungen und den Reaktionen von Zielgruppen.
Beschreibung ist nützlich, weil viele Annahmen über die Wirksamkeit des öffentlichen Handelns implizit vorhanden sind.
Wichtig ist die Unterscheidung zwischen den Leistungen (Outputs), den Wirkungen bei den Zielgruppen (Outcomes) und den Effekten bei den Betroffenen (Impacts).
Das Wirkungsmodell soll Bestimmung des Evaluationsgegenstandes erleichtern und dient der Hypothesenbildung.
Wirkungsorientiertes Arbeiten sollte in allen Phasen eines Projekts oder Programms stattfinden: in der Planungsphase, in der Umsetzungsphase und in der Evaluationsphase.
In der Planungsphase umfasst wirkungsorientiertes Arbeiten das Ableiten von Programm- oder Projektzielen und das Erstellen von Wirkungsmodellen.
Das Formulieren von Zielen dient der Planungssicherheit und ist wichtig, um Programme und Projekte in die gewünschte Richtung zu lenken aber auch, um geeignete NRP-Projekte zu selektionieren.
Bereits in der Planungsphase gilt es, ein Konzept zu erstellen, das aufzeigt, mit welchen Mitteln die erwünschte Wirkung erzielt werden soll. Eine geeignete Methode, um die Kausalitäten zwischen Handlungen und Wirkungen darzustellen, ist das Wirkungsmodell.
Die Verankerung des Wirkungsmodells bei allen zentralen Akteurinnen und Akteuren schafft Vertrauen in den gewählten Weg und bildet eine Voraussetzung, um gegenüber Politik und Geldgebern klar argumentieren zu können.
Das Wirkungsmodell bildet zudem eine wichtige Grundlage, um Indikatoren abzuleiten, mit deren Hilfe die Zielerreichung während und nach der Programm- bzw. Projektphase überprüft werden kann.
In der Umsetzungsphase besteht wirkungsorientiertes Arbeiten in der regelmässigen Überprüfung des Vollzugs und der erbrachten Leistungen. Die regelmässige Überprüfung dient der Erfolgs- und Qualitätskontrolle und erleichtert die Steuerung eines Programms oder Projekts. Sie ermöglicht es zu erkennen, ob ein Projekt oder Programm auf dem richtigen Weg ist, um die gewünschten Ziele zu erreichen oder ob «Kurskorrekturen» vorgenommen werden müssen. Bereits in der Umsetzungsphase kann es sinnvoll und nötig sein, das Wirkungsmodell anzupassen.
In der Evaluationsphase besteht wirkungsorientiertes Arbeiten darin, die Wirkungen und die Zielerreichung eines Projekts oder Programms zu überprüfen. Dazu werden Wirkungsevaluationen auf Outcome- und/oder Impact-Ebene durchgeführt.
Erkenntnisse aus den Evaluationen fliessen schliesslich in die Planung von Folgeprogrammen und -projekten ein und dienen der Rechenschaft gegenüber Geldgebern.
Grundgerüst für wirkungsorientiertes Arbeiten in der NRP
Konkret dienen Wirkungsmodelle als ...
Gegenstand
Typische Fragestellungen
Konzept
Welche Ziele werden mit dem Programm (bzw. der strategischen Handlungsachse) oder dem Projekt verfolgt?
Wichtig: Ziele müssen Bezug zu übergeordneten Zielen widerspiegeln
Impact
Wer sind die Betroffenen?
Welche Veränderungen sollen bei den Betroffenen erfolgen?
Welche längerfristigen Veränderungen sollen im System erfolgen?
Wichtig: Gewünschte Veränderungen müssen zur Erreichung der übergeordneten Ziele beitragen
Dabei sollten die folgenden Fragen beantwortet werden:
...
Indikatoren und Sollwerte auf Output- und Outcome-Ebene müssen SMART sein:
Specific: Der Indikator muss eindeutig und klar sein.
Measurable: Der Indikator muss messbar sein, auch mit angemessenen Kosten.
Achievable: Der Sollwert muss erreichbar sein.
Relevant: Die Information, die der Indikator liefert, soll relevant für Projekt- bzw. Programmverantwortliche sein.
Time-bound: Der Sollwert muss mit einer Zeitangabe versehen werden.
Auf welchen Ebenen Indikatoren und Sollwerte definieren?
Evaluationen auf Ebene der Impacts sind für Programmverantwortliche zwar möglich, aber mit Unsicherheiten behaftet.
Änderungen im System sind nicht monokausal und die Zusammenhänge zwischen einer konkreten Massnahme und den Wirkungen deshalb oft schwer nachweisbar. Zudem tritt der Impact erst mit zeitlicher Verzögerung ein, sodass eine Evaluation während oder unmittelbar nach Programmabschluss nur wenig Sinn macht.
Sind die Programmziele schlüssig, sollte die planmässige Umsetzung eines Programms zu den beabsichtigten Wirkungen auf Impact-Ebene führen. Für die Ebene Impact sind zwar angestrebte Wirkungen in Form von Zielen zu formulieren. Bei der Definition von Indikatoren und Sollwerten ist es aber ausreichend sich auf die Ebenen Output und Outcome zu konzentrieren und im Rahmen von Programmen entsprechende Evaluationen auf diesen Ebenen durchzuführen.
Gegenstand und Zeitpunkt der Evaluation sind anhand der Ziele einer Evaluation zu bestimmen!