Participativní plánování, monitoring a evaluace

Participativní plánování, monitoring
a evaluace projektů
Workshop pro FoRS
27. – 28. 11.2014
Inka Píbilová / Daniel Svoboda

2
Představení
 Jméno, role, organizace
 Jak mi tento workshop může pomoci v roce 2015?
Příklad, kdy jsem se cítil/a být aktivní součástí
velkého projektu, kampaně či akce:
 Co jsem dělal/a? Jaká byla moje role?
 Jak jsem se v této roli cítil/a?
 Mám pocit, že jsem něco ovlivnil/a?
2

3
Prostřednictvím participace se nemajetní
lidé mohou zapojit do určování toho,
jakým způsobem budou předávány
informace, stanovovány cíle a priority,
alokovány veřejné prostředky. (...)
Znamená způsoby, kterými mohou
iniciovat sociální změny a podílet se na
přínosech plynoucích ze společnosti.
Arnstein, 1969

4
Participační žebřík
4
Participace = převedení moci na ty, kteří původně „nemuseli“ rozhodovat
Deliberace = sdílení moci, ne přesun na určitou skupinu (včetně veřejnosti)
© 2012 Oulu University of Applied Sciences

5
http://heapro.oxfordjournals.org/content/24/suppl_1/i45/F2.large.jpg
http://ec.europa.eu/europeaid/sites/devco/files/methodology-aid-delivery-methods-project-cycle-management-200403_en_2.pdf
Další modely participace

6
Metody a formy občanské participace (AGORA CE, upraveno)
Tradiční Inovativní
Emancipace Delegace rozhodování na organizace
Spolupráce - společná tvorba plánu
(zastupitelstvo, odborníci, veřejnost)
Aktivní
participace
referendum
Volby
plánovací den / víkend (akční plánování)
pracovní skupiny
Interaktivní workshop
občanská porota
sousedské výbory
Konzultace účast ve výborech a komisích
názorové průzkumy
konference
stížnosti
ankety, dotazníky, rozhovory
on-line diskuse / fóra
panel / kulatý stůl
veřejné projednání (s programem)
posezení u kávy
petice, ombudsman
Informování zákon 106/1999 Sb.
úřední deska
účast na jednání zastupitelstva
veřejné slyšení
nahlížení do zápisů
občanské informační centrum
tiskové konference
letáky, brožury, zpravodaje
výstavy a prezentace
hromadná korespondence
telefonní linka

7
11
8
5
4
3
2
1
16
19
14
17
15
20
13
12
9
23
22
21
20
10
24
7
nízká Aktivita veřejné autority vysoká
nízkáAktivitaobčanůvysoká
6
18
25
Vztah mezi aktivitou veřejné autority a
občanů při užití různých metod (AGORA CE)
1- volby
2- referendum
3- výbory zastupitelstva a komise
rady
4- osadní výbory
5- petice
6- stížnosti
7- účast na jednání zastupitelstva
8- úřední deska
9- tiskové konference
10- plakáty a letáky
11-zpravodaj města
12-informační centrum
13-výstavy a prezentace
14-brífink
15-dotazníkové šetření
16-rozhovory
17-veřejné slyšení
18-kulatý stůl
19-panelová diskuse
20-workshop
21-plánovací víkend
22-občanské pracovní skupiny
23- komunitní plánování
24- sousedské rady
25- e-mailové upozornění

Výstup na Kilimanjaro (5,895 m) do konce roku 2015
•8Zdroj: Suzanne Field

Výstup na Kilimanjaro (5,895 m) do konce roku 2015
•9
1. Proč chceme vystoupit na Kilimanjaro?
 Jak víme, že to chce celá skupina?
2. Jak se připravíme?
 Jak víme, co a jak připravit?
3. Jak poznáme, že jsme připraveni?
 Co když vše neběží podle plánu, jak se rozhodneme?
4. Jakým rizikům budeme čelit v průběhu výstupu?
 Jak jim můžeme předejít či jak je zmírnit?
5. Jak dáme dohromady rady pro další lezce?
 Jak můžeme dále naložit s těmito zkušenostmi?

10
Programování
Identifikace
Formulace
Implementace a
monitoring
Evaluace
Projektový cyklus EK
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm 10

11
Monitoring projektu
Průběžné posuzování realizace projektu ve vztahu k plánovaným aktivitám
a výstupům, kontrola harmonogramu, rozpočtu, dosažitelnosti cílů a záměru
Cílem je efektivní řízení a případná modifikace projektu v závislosti na měnících
se podmínkách a zkušenostech.
 etapové monitorovací zprávy a zpráva závěrečná
Evaluace projektu
Periodické posuzování relevance, efektivnosti, efektivity, dopadů
a udržitelnosti dopadů projektu ve vztahu k definovaným výsledkům / cílům
Většinou externí hodnocení
Cílem jsou nápravná opatření (průběžná evaluace), poučení, ovlivnění dalších
rozvojových projektů a politik, skládání účtů (závěrečná evaluace)
 hodnotící/evaluační zprávy
Audit
Ověřování, 1) do jaké míry byly projektové příjmy a výdaje v souladu se zákony,
směrnicemi, smlouvami a pravidly poskytovatele, 2) zda-li byly využity
hospodárně, 3) zda-li byly využity na stanovený účel projektu.
 zpráva auditora
•http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm

12
Identifikace projektu:
zainteresovaných stran,
analýza problémů,
cílů a strategií

Analýza zainteresovaných aktérů - matice

Power / Interest / Attitude
Influence
/Power
KEEP SATISFIED INFLUENCE &
ENGAGE
KEEP INFORMEDMONITOR
Interest
Policy makers
CSOs Fishing
families
Attitude
Analýza zainteresovaných aktérů
14

Analýza zainteresovaných aktérů - Vennův diagram
http://www.europa.eu.int/comm/europeaid/qsm/index_en.htm
15

16
Analýza kapacit organizace

Analýza problémů - strom – příklad 1
1) brainstorming 2) klíčový problém 3) souvislosti 4) kompletní hierarchie
17

•18
Analýza problémů - strom – příklad 2
vysoká nemocnost
nízká produktivita práce
nízké příjmy
vysoká dětská úmrtnost
špatná kvalita vody nízká vydatnost vrtů
neznalost hg. podmínekšpatná údržba a ochrana
následky
příčiny
nedostatek pitné vody
hlavní
problém
18

Analýza problémů - SWOT

20
Připravte analýzu problémů a aktérů vašeho projektu
dle vybraného nástroje

Analýza cílů a strategií -> výběr strategie – příklad 1

•22
Strategie nových
vodních zdrojů
Strategie nové
infrastruktury
Strategie obecné
osvěty
Strategie
vzdělávání
Výstup
Záměr
Cíl
Hydrogeol. průzkum
a vrtné práce…
Odborné tréninky
zdravotníků
Kampaň v rodinách
(hygiena)
Technický projekt
a stavební práce
Vyškolení zdravotníci
Informovanost o
prevenci nemocí
Vybudovaný vodovod
/ kanalizace
Nové zdroje pitné
vody (vrty, studny)
Snížení podílu nemocí pocházejících ze závadné vody a snížení dětské
nemocnosti a úmrtnosti
Přístup k nezávadné pitné vodě
(a základní sanitaci)
Aktivita
Změněné návyky (na základě osvěty);
lepší zdravotní prevence a péče
22
Analýza cílů a strategií -> výběr strategie – příklad 2

23
Participatory Rural Appraisal
Disaster Risk Assessment
Principles
 Rapid learning from indogenous
people - group dynamics, e.g. learning
contracts, role reversals, feedback
sessions
 Empowerment, respect, localisation,
inclusiveness, enjoyment
 Sampling, e.g. transect walks, wealth
ranking, social / health mapping
 Semi-structured interviews, focus
groups…triangulation
 Preference raking, maping, modeling,
visualization e.g. venn diagrams,
timelines
Manual – CRS
http://www.crsprogramquality.org/storag
e/pubs/me/rrapra.pdf

24
http://collections.infocollections.org/ukedu/collect/ukedu/index/assoc/ii03re/p101.gif

25
http://collections.infocollections.org/ukedu/en/d/Jii03re/2.5.5.html

26
Teorie změny / logický model
Logický model musí vysvětlit, jak aktivity projektu
povedou v konkrétním kontextu k vytvoření výstupů a
naplnění cílů a očekávaných dopadů (záměru).
Hlavní koncept spočívá v identifikaci souvislostí: příčin a
následků (pokud X, takY).
Bez teorie změny (pochopení kauzalit) nelze vysvětlit,
PROČ byly nebo nebyly cíle dosaženy. Projekt tak
zůstává „černou krabicí“ (izolovanou intervencí bez
jakéhokoliv prokázaného vlivu).

27
Logický model - teorie změny
 Jak realizované aktivity povedou v konkrétním kontextu
k vytvoření výstupů, naplnění cílů a záměru
 Bez teorie změny (pochopení kauzalit) nelze vysvětlit, PROČ byly nebo
nebyly cíle dosaženy
 Součástí monitoringu a evaluací musí být pochopení logického modelu
projektu, případně jeho revize
Inputs  Activities  Outputs
Outcomes  Impacts
Black box
Political Environment
(Governance, etc.)
Public Attitudes
EnvironmentAid Players
Macro-economic
Picture
Policy Context

Logický model - matice
28

29•29
Logický model - teorie změny – příklad 1

30
•3030
inputs activities outputs immediate
effects
intermediate
outcomes
final
impacts
if then if then if then if then if then
Agricultural
Development
Community
Infrastructure
Rural
Credit
Community
Development
Project coordinator, project management unit, research, extension, training, transport,
construction, relevant budget, etc.
Improve the livelihood of
5,000 families
Landless families increase livestock,
fish, and income generating activities
Small farms enabled to intensify and
diversify crop production
Logický model - teorie změny – příklad 2

31
Struktura projektu
záměr (goal, impact)
skutečný dopad na příjemce
 cíle - účel (outcomes)
reálné využití výstupů
 výstupy (outputs)
produkty projektu
 aktivity (activities)
realizované činnosti
vstupy (inputs) finanční,
materiální, lidské… vstupy
výstupy
aktivity
cíle
záměr (dopad)
PROJEKTÚSPĚCH

32
Zrevidujte teorii změny vašeho projektu
výstup 2:výstup 1:
záměr:
cíl:
výstup 3:
aktivita 1.1: aktivita 3.1:
aktivita 2.1:
aktivita 1.2:
aktivita 3.2:

33
Záměr (goal) / Dopad (impact) („přispět k …“)
dlouhodobý pozitivní dopad na cílové skupiny, k jehož
zajištění má projekt - v rámci širších programů - přispět
Cíl (outcome) / účel (purpose) („změna chování, situace“)
změna chování nebo zlepšení situace v konkrétní oblasti jako
důsledek realizovaných aktivit a výstupů projektu, při splnění
nezbytných „externích“ předpokladů
Výstupy (outputs) („vyprodukovat …“)
jasně definované, časově i věcně identifikovatelné výsledky
projektu směřující ke splnění cíle, které jsou garantovány na
základě poskytnutých vstupů a projektovaných aktivit
Aktivity (activities) („provést …“)
činnosti sumarizující průběh projektu, při nichž jsou vstupy
a prostředky projektu transformovány do výstupů
Struktura projektu

34
Záměr (goal) / Dopad (impact) („přispět k …“)
dlouhodobý pozitivní dopad na cílové skupiny, k jehož zajištění
má projekt - v rámci širších programů - přispět
Cíl (outcome) / účel (purpose) („změna chování, situace …“)
plánované zlepšení situace - cílový stav - v konkrétní oblasti
jako důsledek realizovaných aktivit a výstupů projektu, při
splnění nezbytných „externích“ předpokladů
Výstupy (outputs) („vyprodukovat …“)
jasně definované, časově i věcně identifikovatelné výsledky
projektu směřující ke splnění cíle, které jsou garantovány na
základě poskytnutých vstupů a projektovaných aktivit
Aktivity (activities) („provést …“)
činnosti sumarizující průběh projektu, při nichž jsou vstupy a
prostředky projektu transformovány do výstupů
přispět k potravinové soběstačnosti obyvatel a ke snížení
chudoby ve venkovských oblastech
rozvoj zpracovatelských technologií, nové manažerské
postupy, tržní uplatnění produkce
analytická studie zemědělských postupů, pilotní farma
s kapacitou 250 nosnic, 20 vyškolených expertů
průzkum, projekční práce, výstavba, nákup vybavení
a rodičovské hejna, školení personálu, osvěta v komunitě
Struktura projektu

35
Vstupy projektu (inputs) („poskytnout, zabezpečit …“)
všechny finanční, lidské a materiální zdroje potřebné pro
realizaci aktivit a zpracování výstupů projektu
Předpoklady projektu (assumptions) („nezbytné podmínky“)
důležité a neovlivnitelné „pozitivní“ externí faktory (události,
činnosti či podmínky) nezbytné pro úspěch projektu
Rizika projektu (risks) („možné ohrožení“)
negativní externí faktory, které mohou ovlivnit postup či
úspěch projektu (které však nejsou příliš pravděpodobné nebo
mohou být částečně pod kontrolou)
Hodnotící ukazatele / indikátory („jak poznat změnu“)
objektivně měřitelné a ověřitelné ukazatele pro posuzování
realizace výstupů a dosažení cílů a záměru (dopadů) projektu
Struktura projektu

36
Vstupy projektu (inputs) („poskytnout, zabezpečit …“)
všechny finanční, lidské a materiální zdroje potřebné pro
realizaci aktivit a zpracování výstupů projektu
Předpoklady projektu (assumptions) („nezbytné podmínky“)
důležité a neovlivnitelné „pozitivní“ externí faktory (události,
činnosti či podmínky) nezbytné pro úspěch projektu
Rizika projektu (risks) („možné ohrožení“)
negativní externí faktory, které mohou ovlivnit postup či
úspěch projektu (které však nejsou příliš pravděpodobné nebo
mohou být částečně pod kontrolou)
Hodnotící ukazatele / indikátory („jak poznat změnu“)
objektivně měřitelné a ověřitelné ukazatele pro posuzování
realizace výstupů a dosažení cílů a záměru (dopadů) projektu
např. množství nosnic, předpokládaný objem produkce, počet
vyškolených odborníků, snížené procento osob pod hranicí
chudoby, zastavení migrace do měst, ...
podpis mezivládní dohody, získání pracovního víza, dostatek
kvalifikovaných pracovních sil, místních surovin ap.
rozpočet (náklady), experti (odbornost), dobrovolníci,
adekvátní technologie, logistická infrastruktura, čas
dřívější příchod monzunu (je možné přeskupit aktivity?),
odstoupení partnera (je nahraditelný?), krádeže materiálu (lze
zajistit ostrahu?) ap.
Struktura projektu

37
Doporučení
Kromě odborné kvality projektu je potřeba zaměřit
se na jeho proveditelnost:
• použitelné metody (v daném prostředí)
• správný tým, který projekt správně chápe
• dostatek času a reálný čas zahájení projektu
• dostatek financí (v reálném čase, reálné ceny)
• sociálně kulturní aspekty
• splnitelnost administrativních požadavků…
Struktura projektu

38
Indikátory
Záměr, cíle a výstupy musí mít hodnotitelné indikátory
(kvantita a kvalita, cílové skupiny, čas, místo, objektivita)
Indikátory musí být „SMART“ (EU):
Specific / specifické - musí měřit to, co má být měřeno
Measurable / měřitelné
Available / dostupné za přijatelných podmínek (vč. ceny)
Relevant / relevantní pro danou úroveň projektu
Time bound / definovány a platné v daném čase
Indikátory musí být „CREAM„ (USA):
Clear / přesné a jednoznačné
Relevant / vhodné pro sledovanou úroveň
Economic / dostupné za rozumnou cenu
Adequate / poskytující dostatečný základ pro hodnocení
Monitorable / musí umožnit nezávislé potvrzení

39
Indikátory pro kvalitativní hodnocení
Indikátory musí být „SPICED“:
Subjective – respondenti využívají k hodnocení své osobní
zkušenosti
Participatory – musí zohledňovat priority a požadavky
cílových skupin (tyto skupiny indikátor navrhují)
Interpreted and communicable – musí být dobře
vysvětleny a komunikovány v lokálním kontextu
Cross-checked and compared – musí umožnit nezávislé
ověření (triangulaci) a srovnatelnost
Empowering – musí posilovat vlastnictví a zapojení
cílových skupin i při kritickém hodnocení měnící se situace
Diverse / Disaggregated – odpovědi musí být získávány
od různých skupin a tříděny (např. s ohledem na gender)

Využívejte kvantitativní i kvalitativní indikátory
http://www.smarttoolkit.net/?q=node/391
V rámci indikátorů lze použít různých druhů srovnání: trendy (např. zvýšení),
omezení (např. min. 30%), cíle (např. strategie do 12/Y1)
Min. 30 % účastníků zahájí vlastní projekt
týkající se lokálního problému.
Důvody, proč účastníci ne/realizovali
projekt týkající se lokálního problému.
40

•41
41
Indikátory - příklad
Cíl projektu: Zvýšená živočišná produkce (nové postupy)
Indikátor: Produkce vajec a kuřat
Kvantitativní aspekt:
nárůst produkce o 20 % oproti 2012 (kolik v 2012?)
Kvalitativní aspekt:
poměr nosnic (pro rozšíření chovu) a brojlerů (pro trh),
podíl místní spotřeby a tržního uplatnění
Cílové skupiny:
vlastní pilotní farma, ostatní spolupracující farmy
Místo:
okres Kuito
Čas:
na konci projektu v roce 2014

42
Zrevidujte indikátory vašeho projektu
 Indikátor výstupu – kvantitativní a kvalitativní
 Indikátor cíle – kvantitativní a kvalitativní
 Indikátor záměru – kvantitativní a kvalitativní

•43
43
Indikátory
Doporučení
• Indikátory mají být SMART (CREAM, SPICED)
• Indikátory upřesňují výsledky na jednotlivých
úrovních projektu (výstupy, cíle, dopady) – musí se
tedy pro jednotlivé úrovně lišit
• Indikátory pomáhají hodnotit výsledky, ale nejsou
výsledkem projektu samy o sobě – stačí zvolit pouze
několik klíčových (a reálně měřitelných) indikátorů
• Indikátory musí být realistické (dosažitelné)…

45
Rizika a opatření k jejich minimalizaci

46
Zrevidujte zdroje ověření a předpoklady / rizika
vašeho projektu

47
Aktivity de facto na všech úrovních projektu  žádné výsledky
aktivity = školení, výstup = školení, cíl = vyškolení, záměr = vzdělání
Chybí přenos know-how  projekt není replikovatelný místně
příklad: veškeré počítačové/modelové zpracování prováděno v ČR
Chybí změna  nejsou zajištěny skutečné dopady (So what?)
záměr = demonstrace moderních postupů / PROČ? UPLATNÍ JE?
záměr = zlepšení přístupu na trh / ZLEPŠÍ TO ŽIVOT? JAK?
Chybí vztah s cílovou skupinou  minimální či nulové dopady
příklad: místní farmáři neví o existenci poradenského centra
Cíle, výstupy a aktivity nejsou propojeny  chybí strategie
příklad: jak souvisí studijní cesta do ČR s rozvojem komunity v Mali?
Chybí udržitelnost  po skončení projektu přínosy končí
příklad: není zajištěno vlastnictví a další financování farmy
příklad: nejsou k dispozici náhradní díly a lokální servis
Typické chyby logického modelu

48
Indikátory shodné pro různé úrovně  nejedná se o jiné úrovně
výstup = 50 vyškolených farmářů, cíl = 50 farmářů má lepší povědomí
Indikátor formulován jako cíl  nelze prokázat jeho dosažení příklad:
zlepšení postavení drobných zemědělců / JAK SE POZNÁ?
příklad: míra zkvalitnění produkce / CO TO ZNAMENÁ? LZE OVĚŘIT?
Indikátor není upřesněn  jak se pozná změna?
příklad: zvýšení produkce / JAKÉ? O KOLIK? OD KDY DO KDY? KDE?
příklad: rozloha zpracovaného území (ha) / 0,1 ha nebo 1000 ha?
Indikátory zcela chybí  jak se pozná úspěch?
příklad: cíl = zavedení principů hospodaření / CO TO ZNAMENÁ?
příklad: záměr = udržitelný rozvoj / JAKÉ JSOU HLAVNÍ FAKTORY?
Předpoklad na úrovni managementu  chybí garance realizace
příklad: předpokladem je dostatečná kapacita hlavního realizátora
Předpoklad je předem splněn  nemá vliv na realizaci projektu
příklad: předpokladem je existence objektu z dřívějšího projektu
Typické chyby logického modelu

49
Logický rámec je nelogický  neexistuje logická provázanost
příklad: přemíra nepříliš souvisejících aktivit bez jasného výsledku
!
Logický rámec je nepřehledný  neumožňuje řízení projektu
příklad: na 5 - 12 stranách nelze sledovat souvislosti a návaznosti
!
Doporučení:
Matice logického rámce není formulář (vyplňovaný
po napsání projektu), ale nástroj pro přípravu a
řízení projektu!
Typické chyby logického rámce

50
50

Monitoring
Proč?
(Jak informace využijeme)
Co? Kdy?
Principy? Jak (inovativně) monitorovat?
51

52
Zrevidujte monitorovací plán vašeho projektu
 Co?
 Kdy?
 Kdo?
 Jak?

Evaluace
Proč?
(Jak informace využijeme) Co?
Kdo? Kdy?
Principy? Jak (inovativně) monitorovat?
53

Evaluace
54
 Vzpomeňte si na skvělou / příšernou evaluaci – díky čemu byla
tak skvělá / příšerná?
Principy:
 Etický Kodex evaluátora a Formální standardy provádění evaluací ČES
 http://www.czecheval.cz/Dokumenty.html
 OECD/DAC Quality Standards for Development Evaluation
http://www.oecd.org/development/evaluation/qualitystandards.pdf
 Evaluation Ethics, Politics, Standards, and Guiding Principles
http://dmeforpeace.org/sites/default/files/M14_NA.pdf

Evaluace
55
Zamyslete se nad svým projektem:
 Co chcete vyhodnotit?
 Proč to chcete vyhodnotit? K čemu vám to bude?
 Kdo evaluaci využije a jak?
 Kdy evaluaci uděláme?
 Na co bychom si chtěli odpovědět?
 Kolik máme na evaluaci času, peněz a lidí?

 Kontext
 Účel
 Využití výstupů
 Zaměření
 Evaluační kritéria a otázky
 Metodologie
 Harmonogram
 Rozpočet
 Lidské zdroje – zodpovědnosti, požadovaná expertíza
Příručky:
 UNDP Handbook (p. 194 - 200) ttp://web.undp.org/evaluation/handbook/
 EC/EuropeAid Project Cycle Management Guidelines (p. 126 - 136)
http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/europeaid_a
dm_pcm_guidelines_2004_en.pdf
 New Zealand Guide
http://dmeforpeace.org/sites/default/files/NZAID_ToR%20Guideline.pdf
Zadání evaluace
56

Evaluační kritéria
•57
57

58
•58
 Relevance – vztah k prioritám cílových skupin i donora,
vliv projektu na řešenou problematiku
 Efektivnost (effectiveness) – nastavení cílů a logiky
projektu ("dělat správné věci")
 Efektivita (efficiency) – produktivita realizace výstupů
("dělat věci správně")
 Dopady (impacts) – pozitivní i negativní, plánované i
neplánované vlivy na cílové skupiny
 Udržitelnost (sustainability) – pokračování přínosů po
ukončení projektu (podmínky v místě realizace)
 Proveditelnost (feasibility) – kvalita projektu a garance
(čas, lidé, zdroje, předpoklady a rizika)

60
Evaluační otázky
Vstupy
(zdroje)
Aktivity Výstup
y
Krátkodob
é cíle
Střednědob
é cíle
Dopady
(dlouhodob
é)
Interní
kontrola v
organizaci
Výstupy -
zapojení
příjemců
Oblast externích
vlivů
Externí faktory
Jaká je povaha a
rozsah problémů při
získávání porodních
asistentek a dalšího
vyškoleného
personálu pro nové
venkovské kliniky?
Jak dlouho se
čeká na
nejvíce
požadované
služby?
Nakolik byl
projekt úspěšný
pro udržení
vyškoleného
personálu v
klinikách?
Jak kliniky
pomohly zlepšit
zdravotní stav
obyvatel po třech
letech provozu?
Formativní evaluace Závěrečná evaluacea/nebo

61
Úspěch = pozitivní změna
A) zahájení projektu
B) konec projektu
C) dva roky až pět let po ukončení projektu
A B C
neudržitelný projekt
dobrý projekt
špatný projekt
bez projektu
A B C
neudržitelný projekt
dobrý projekt
špatný projekt
bez projektu

62
•62
Typické otázky - relevance
 Je účel projektu stále v souladu s prioritami cílových
skupin?
 Odpovídá projekt místním strategiím rozvoje?
 Do jaké míry logický model projektu řeší
identifikované klíčové problémy?
 Jak silné je vlastnictví projektu místními partnery?
 Jsou naplněny klíčové externí předpoklady?

63
•63
Typické otázky - efektivita
 Jsou zdroje projektu využívány transparentně a
odpovědně?
 Odpovídá čerpání finančních prostředků plánu?
 Do jaké míry jsou realizovány plánované aktivity?
 Existují dostatečné záznamy o realizovaných aktivitách?
 Byly dosaženy plánované výstupy v očekávané kvalitě?
 Jak byly řešeny problémy při realizaci projektu?
 Do jaké míry se do realizace zapojili místní partneři?
 Převzaly cílové skupiny odpovědnost za využití výstupů
projektu?

64
•64
Typické otázky - efektivnost
 Mohou dokončené výstupy přispět k dosažení cíle
projektu?
 Využívají cílové skupiny výsledky (výstupy) projektu?
 Mají všechny cílové skupiny přístup k výsledkům?
 Jaké existují překážky pro využití výstupů?
 V čem se změnilo chování cílových skupin?
 Odpovídají stanovené indikátory úrovni cílů projektu?
 Přizpůsobil se projekt změnám podmínek v průběhu
realizace?

65
•65
Typické otázky - dopady
 Jaké jsou přímé pozitivní a negativní dopady projektu?
 Jak konkrétně se změnila situace cílových skupin?
 Odpovídají dopady předpokladům a stanoveným
indikátorům?
 Existují nějaké rozdíly v přístupu k přínosům projektu
(např. z hlediska gender, etnické či kulturní příslušnosti)?
 Jak byly řešeny případné negativní dopady projektu?
 Jaké vnější faktory nejvíce přispěly k pozitivním dopadům
(např. další rozvojové intervence)?

66
•66
Typické otázky - udržitelnost
 Mají cílové skupiny dostatečné kapacity pro udržení
pozitivních dopadů?
 Existuje odpovídající legislativní zázemí?
 Jak je zajištěna finanční udržitelnost výsledků projektu?
 Jsou potřebné služby zajištěny i po ukončení projektu?
 Jaké jsou zásadní vnější faktory ohrožující udržitelnost?
 Jaké místní struktury jsou odpovědné za udržování
dopadů?
 Do jaké míry jsou cílové skupiny zapojeny do rozhodování?
 Existuje pravděpodobnost rozšíření pozitivních dopadů
(např. do jiných lokalit v regionu)?

67
Navrhněte evaluační otázky pro svůj projekt
 Brainstorming – ptejte se na cokoliv (důležitého).
 Následně seskupte otázky a vyberte otázky klíčové.
 Koho se budete ptát? Kde získáte odpovědi?
 Jak se budete ptát? Jak získáte odpovědi?
 Otestujte si, zda jde otázka odpovědět.
 Otestujte, zda vám odpověď pomůže.
 Upravte otázky či metody, nezapomeňte na triangulaci.

Nejdůležitější evaluační otázky
• Proč chceme evaluaci konkrétního projektu?
• No a co? / So what? Opravdu je to úspěch?
• Přinesla hodnocená intervence očekávanou změnu?
Proč a jak?
• Jakou změnu má přinést sama evaluace? Jak bude
naloženo s jejími výsledky?
68

69
Otázky pro výběr otázek
• Kdo využije informace? Kdo chce vědět odpovědi? Komu
by vadilo, že by odpovědi nedostal?
• Sníží odpověď nejistoty? Ovlivní běh událostí?
• Přinese odpověď důležitou informaci? Ovlivní běh událostí?
• Chceme odpověď vědět nebo ji potřebujeme vědět?
• Změnil by se výsledek evaluace, kdyby tato otázka
nepadla?
• Je možné na tuto otázku odpovědět (ve vztahu k financím,
kapacitám, času, metodám a technikám)?

70
Doporučení pro výběr otázek
• Začněte s identifikací hlavních problémů
• Každá otázka se musí zaměřit jen na jeden problém
• Otázky musí řešit hlavní problémy
• Je vhodné kombinovat všechny tři typy otázek
• Otázky musí mít jasný vztah k účelu evaluace
• Ověřte, zda se dají otázky odpovědět
• Používejte rozumný počet otázek ve vztahu k času
určenému pro evaluaci
• Otázky musí odpovídat časovému průběhu programu

71
Plán evaluace zahrnuje
• Otázky a podotázky pro každý hlavní problém
• Typy evaluačních otázek
• Indikátory a cílové hodnoty (nebo standardy)
• Vstupní hodnoty (baseline data)
• Evaluační metody
• Zdroje dat a informací
• Požadovaný vzorek
• Metody a nástroje sběru dat a informací
• Způsoby vyhodnocení
• Způsoby prezentace dat

72
Typy otázek - deskriptivní
Odpovědi popisují „co se děje“
Charakteristika:
• snaží se pochopit nebo popsat program, postupy nebo přístupy
k programu
• odpovědi mají poskytnout obrázek o tom, co je
• otázky jsou většinou jednoduché (kdo? co? kde? kdy? jak?
kolik? jak moc?)
• většinou se týkají vstupů (zdrojů), aktivit a výstupů
• často jsou využívány pro zjištění názoru cílových skupin

73
Typy otázek - deskriptivní / příklady
• Jaké jsou cíle programu z pohledu různých aktérů?
• Jaké jsou hlavní aktivity programu?
• Kde je program realizován?
• Kdo dostává jaké služby?
• Jaké se při realizaci objevily překážky?
• Jaké je průměrné hodnocení výsledků od cílových skupin?
• Do jaké míry program využil zkušenosti z podobných programů?
• Jaké jsou hlavní rozdíly při realizaci programu na různých
lokalitách?

74
Typy otázek - normativní
• Porovnávají „co je“ s tím „co mělo být“
• Podobné otázky jsou požívány při auditu
• Porovnávají výsledky ve vztahu k předem stanoveným
kritériím
• Často jsou používány při monitoringu a při schvalování
výsledků programu

75
Typy otázek - normativní / příklady
• Odpovídaly náklady schválenému rozpočtu?
• Byly náklady využity účelně (tak, jak měly být)?
• Bylo očkováno 80% dětí, jak bylo stanoveno?
• Podařilo se zavlažit 100 000 ha území, jak bylo plánováno?
• Byl proces výběru účastníků programu spravedlivý a
nediskriminační?
• Do jaké míry program reflektoval rovnoprávnost žen a
mužů?

76
Typy otázek - kauzální
• Sledují změnu, kterou intervence přinesla
• Ptají se, zda byly dosaženy požadované výsledky a zda byly
dosaženy díky programu
• Srovnávají stav před programem a po programu a s
programem a bez programu
• Evaluace dopadů se zaměřují na příčiny a následky

77
Typy otázek - kauzální / příklady
• Pomohla spolupráce tří zemí ochránit biodiverzitu
a současně udržet zaměstnanost v regionu?
• Získali absolventi školení lepší pracovní uplatnění, které by
jinak získat nemohli?
• Pomohly založené malé podniky snížit míru chudoby v dané
oblasti?
• Přispěla vyšší daň z pohonných hmot ke snížení znečištění
ovzduší?
• Pomohly zákonné pokuty ke snížení zneužívání dětské práce v
oděvním průmyslu?

78
Typy otázek - kauzální / doporučení
• Při kauzálních otázkách je zásadní teorie změny
• Je nutné sledovat časové souslednosti
• Je nutné sledovat korelace různých dat
• Je nutné eliminovat alternativní vysvětlení

79
Evaluační metody
Metody pro deskriptivní a normativní otázky
(většinou bez „pokusů“ - neexperimentální design):
• jednoduché zjišťování průřezových parametrů
• jednorázové zjišťování dat
• zjišťování dat před a po intervenci
• přerušované časové série dat
• průběžné (dlouhodobé) zjišťování dat
• případové studie
Normativní otázky vždy srovnávají výsledek s předem stanovenými
kritérii (cílovými hodnotami, normami).

80
Evaluační metody
Metody pro kauzální otázky:
Experimentální design:
• srovnává 2 kontrolní skupiny - jedné přímo zapojené do
programu a druhé programem neovlivněné
• výběr obou skupin je náhodný
Kvazi-experimentální design:
• nepoužívá náhodný výběr
• využívá přirozeně existující srovnávací skupiny
• potřebuje více dat k vyloučení alternativních vysvětlení

81
Evaluační metody
Metody pro kauzální otázky:
Neexperimentální design:
• nesrovnávají se různé skupiny
• musí podrobně vysvětlit vztahy mezi intervencí a jejími dopady
• evaluátor musí použít reprezentativní vzorky
• může analyzovat existující data a informace
• musí identifikovat charakteristiky, četnost a vztahy různých dat
a informací

82
Evaluační metody
Kauzální otázky - možné postupy:
• před a po programu s/bez srovnávací skupiny
• před a po programu u neekvivalentních skupin
• po programu s neekvivalentní srovnávací skupinou
• přerušované časové srovnávací studie
• průběžné (dlouhodobé) srovnávací studie
• panel - stejná skupina lidí je sledována delší dobu
• korelační statistický design
• analýzy dopadů programu u srovnávacích skupin
• neexperimentální metody: zjišťování průřezových
parametrů, jednorázové metody, sledování kauzalit,
případové studie

83
Evaluační postupy
• participativní metody (setkání, mapování, procházky)
• rešerše existujících dat a informací
• pozorování (nápadné či nenápadné)
• průzkumy a rozhovory (strukturované nebo ne)
• fokusní skupiny (skupinové diskuse)
• deníky (nebo „měsíčníky“), dotazníky
• odborné posudky (experti či panel expertů)
• technika „Delphi“ (posudky nezávislých expertů centrálně
zpracované)
• další nástroje (přímá měření, analýzy, testy, karty
spokojenosti, celostátní průzkumy…)

84
Evaluační postupy - doporučení
Neexistuje žádný nejlepší postup!
Evaluace se nesmí odvíjet od metod, naopak je potřeba
vybrat nejvhodnější metodu pro konkrétní evaluační otázky
a pro konkrétní účel evaluace!
Vždy je nutná triangulace - kombinace několika metod a
několika zdrojů dat!
Nejdůležitějším faktorem je využitelnost a využití
výsledků evaluace – musí být jasné od začátku!

85
Nástroje sběru dat
Při „vzorkování“ je třeba zvážit:
• rozsah potřebných dat - reprezentativní vzorek podle velikosti
sledované populace nebo souboru dat
• náhodné, stratifikované či cílené vzorky (konkrétní skupiny,
metoda sněhové koule - kontakty přes jednotlivé
respondenty, pohodlnost - např. lidé, kteří přijdou na jedno
místo)
• účel evaluace - typické (průměrné) hodnoty, extrémy,
rozdílnost dat, pravidla a výjimky…
• kombinaci kvalitativních a kvantitativních dat

86
IPDET © 2009
Conversation
with
Concerned
Individuals
Community
Interviews
Field
Visits
Reviews of
Official
Records (MIS
and admin
data)
Participant
Observations
Key Informant
Interviews
Focus
Group
Interviews
Panel
Surveys
Censuses
Field
Experiments
Informal/Less Structured Methods Formal/More Structured Methods
One-Time
Surveys
Direct
Observations
Surveys
Nástroje sběru dat

Evaluovatelnost
- Je jasné, proč chceme evaluaci? Jak ji vvyužijeme?
- Mame k dispozici (aktualizovanou) projektovou logiku?
- Máme k dispozici relevantní data (vstupní, z monitoringu)?
- Jou dostupní relevantní aktéři a spolehlivé zdroje informací?
- Máme dostatek finančních prostředků a času na interní / externí evaluaci?
Bude evaluace hospodárná, bude její přínos opodstatněný přiměřený
nákladům?
- Je pravděpodobní, že budou evaluační výstupy využity k tomu, aby byla
zavedena zlepšení? Máme podporu vedení?
- Mohou zúčastnění aktéři ovlivnit evaluační rozhodnutí? Přijmou a využijí
evaluační výstupy?
- Můžeme zajistit, že evaluaci nic vážně neohrozí? Budou k dispozici členi
projektového týmu a další aktéři? Je vhodná doba na evaluaci např. s ohledem
na sezónu? Lze očekávat elementy, které by vážně ovlivnily nezávislost
evaluace?
Můžeme projekt evaluovat ?
87

88
Připravte plán evaluace pro konkrétní otázky:
 Otázky a jejich typ (deskriptivní, normativní, kauzální):
 Vstupní a cílové hodnoty (u normativních otázek):
 Evaluační metody (experimentální, neexperimentální…):
 Zdroje dat a informací (kdo, co, kde):
 Požadovaný vzorek (rozsah požadovaných dat):
 Metody a nástroje sběru dat a informací (kdy, kde, jak):
 Způsoby vyhodnocení (kvantitativní, kvalitativní):
 Způsoby prezentace dat (zpráva, workshop, média):
Otestujte si pravděpodobný výsledek (odpovědi)!

89
Příklad
Cíl projektu:
Dostat kuřata na druhou stranu frekventované silnice
Hodnotící otázky:
Jaké bylo zvoleno technické řešení - přechod, podchod, nadchod, semafory,
kladkostroj, balón, prak nebo např. výcvik v létání?
Nakolik bylo zvolené řešení efektivní (finančně, časově, humánně)?
Nakolik bralo zvolené řešení ohled na cílovou skupinu a její priority - dočkala
se ho např. kuřata vůbec?
Mají kuřata na druhé straně zajištěnu potřebnou infrastrukturu - dostatečný
prostor, péči, bezpečnost, vodu, zrní?
Budou jejich podmínky na druhé straně lepší než byly předtím nebo lepší než u
srovnávací skupiny, která nikam nešla?
A proč vlastně kuřata chtějí na druhou stranu - neexistuje nějaká lepší
strategie řešení jejich problémů a potřeb?

Evaluační otázka Vstupní data Indikátory Zdroje ověření Metoda sběru Vyhodnocení
•90
Evaluační matice

92
Zpracování dat - doporučení
• Již před zahájením evaluace musí být jasná strategie
zpracování kvantitativních a kvalitativních dat i způsob jejich
propojení.
• Způsob zpracování musí být uveden v evaluační zprávě,
včetně stanovení míry věrohodnosti výsledků a nejistot.
• Je nutné rozlišit konkrétní výsledky od jejich výkladu
(interpretace).
• Je vhodné použít konkrétní příklady a citace.
• Nezbytná je kategorizace a triangulace výsledků.

93
Zpracování dat
Topics Quotes Findings
Parents decide on topics I think the process of
deciding would be valuable.
There was a strong feeling
that parents should be more
involved in the choice of
topics
//// //// //// //// //// //// //// ////
Cover a couple of topics per
session
Sometimes we just got into
a topic and then it was time
to leave or move to
something else.We need
more time to discuss.
Many participants (38 or 52
interviewed) thought there
should be more time for
discussion.
//// //// //// ///
Not enough time spent on
each topic
//// //// //// ///
Evaluační otázka: Byli rodiče spokojeni se školením?
IPDET © 2009

Příklad kvantitativní analýzy dat
94

Zpráva a prezentace – dle použití a uživatele
•95
Přípa
dová
studie
95

Příklad prezentace kvantitativních dat
(Další příklady v příloze)
96Zdroj: Naviga4
2
20
48
31
303
476
3244
1033
Léčba prekancerózy
Léčba rakoviny
Prekanceróza
Rakovina
Vyšetřeny v onkocentrech
Odeslané do onkocenter
Vyšetřeny v mobilních…
Účast na osvětových akcích
Vyléčeno ?

•3 roky
•11 mil CZK
3 roky
11 mil CZK
14?
žen
má šanci přežít
65?
žen
žije v beznaději
Příklad prezentace kvantitativních dat

Léčba příliš
drahá...
...a často
nesprávná
Ozařování
nedostupné
Učitelka chemie a matka, 26 let
Prekanceróza děložního čípku
Podezření na nesprávnou léčbu - a recidivu
Příklad prezentace kvalitativních dat

•99Zdroh: Inka Pibilova
Nové vedení zapojených samospráv po 1 až 2
měsících nebylo o projektech a jejich výsledcích
informováno. Většina starostů – respondentů se
velmi zajímala o možnosti budoucí spolupráce
ohledně občanské angažovanosti. Jeden to
považoval za bezpředmětné.
„Někdo, kdo stěží
dokončil třetí třídu
základní školy, mi
nebude říkat, co mám
dělat. (…) Rozpočet je
pro region, ne pro lidi.“
Nově zvolený starosta

•100
Zdroj: Inka Pibilova

Doporučení
33
36
24
16
18
20
9
11
17
22
28
13
29
0 5 10 15 20 25 30 35 40
13
12
11
10
9
8
7
6
5
4
3
2
1
Obrázek je lepší, než 1000 slov,
ale hodně „dobrých věcí“ škodí!
101

S čím potřebuji pomoci na návazném workshopu v lednu 2015:
Co plánuji udělat na základě tohoto workshopu:
102

Užitečné odkazy:
103
 Česká evaluační společnost
http://www.czecheval.cz/
 Příklady evaluací, odkazy aj.
www.evaluace.com/links/
 Mezinárodní evaluační rozcestník s nástroji a zdroji
www.betterevaluation.org
 Školení EPDET http://www.dww.cz/english.php?page=epdet1
 EC evaluation guidelines
http://ec.europa.eu/europeaid/evaluation/methodology/tools/too_en.htm
 EC/EuropeAid Project Cycle Management Guidelines (p. 126 - 136)
http://ec.europa.eu/europeaid/multimedia/publications/documents/tools/e
uropeaid_adm_pcm_guidelines_2004_en.pdf
 UNDP Handbook (p. 194 - 200) http://web.undp.org/evaluation/handbook/
 RISK, UK: How do we know it is working?
http://www.developmenteducationreview.com/issue11-review1
 Road to Results https://openknowledge.worldbank.org/handle/10986/2699

Participativní plánování, monitoring a evaluace

Recommandé

Recommandé

Contenu connexe

Similaire à Participativní plánování, monitoring a evaluace

Similaire à Participativní plánování, monitoring a evaluace (20)

Plus de Inka Pibilova

Plus de Inka Pibilova (19)

Participativní plánování, monitoring a evaluace