Peter Vagi, Seminar on Monitoring and Evaluation, Kizilcahamam, Republic of Turkey, 4-5 May 2017

© OECD
AjointinitiativeoftheOECDandtheEuropeanUnion,
principallyfinancedbytheEU
Kamu yönetimi reformu için politika
izleme, raporlama ve değerlendirme
1. gün
1. oturum: İzleme ve raporlamanın başlıca
unsurları
Peter Vági
Kıdemli Danışman, SIGMA
Kızılcahamam, 4 Mayıs 2017

1
Kamu Yönetimi Reformu (KYR) ve SIGMA
çalışmalarının başlıca altı alanı

Kamu Yönetimi İlkeleri nedir?
• İlkeler, reform sürecindeki ülkelere rehberlik sağlar ve
zaman içinde değişimin izlenmesi için analitik bir
çerçevedir.
• AB ve OECD gereklikleri, uluslararası standartlar ve
AB/OECD ülkelerindeki iyi uygulamalara dayanır
• İlkeler, iyi yönetişimin yatay unsurları için kilit
gerekliklerden ibarettir
• İlkeler hükümetin yürüttüğü tüm çalışmalara uygulanabilir.
• Bütün alanlar ve politikalar için geçerlidir (sağlık, eğitim, güvenlik,
istihdam…)
• Politikaların uygulanması için gerekenleri tanımlar
• İyi kamu yönetiminin yapı taşlarını oluşturur
2

İlkeler ışığında politika izleme ve
değerlendirme
3
Beşinci İlke: Hükümetin performansının düzenli olarak izlenmesi, kamu
denetimini olanaklı kılar ve Hükümetin hedeflerine ulaşabilmesini sağlar.
1. Hükümetin merkezi kurumları düzenli ve koordineli bir süreç ışığında ilerlemeyi gözden
geçirir.
2. Süreçler, hükümet çalışmalarının sonuçları başta olmak üzere beyan edilen politika
hedeflerini gerçekleştirmede Hükümetin ne kadar ilerleme kaydettiğini ölçer.
3. Hükümet Çalışma Planı’nın ve varsa diğer merkezi planlama belgelerinin uygulanmasına
ilişkin düzenli raporlama yapılır; raporlama süreci uyumludur ve çıktılara ilişkin kurumsal
sorumluluklar açısından yapılan atıflar nettir.
4. Hükümetin performansına ilişkin yıllık raporlar herkesin erişimine ve Parlamento’nun
denetimine açıktır.
5. Avrupa ile bütünleşme taahhütlerinin uygulanmasının izlenmesi, hükümetin taahhütlerini ve
yükümlülüklerini (örneğin, Hükümetin çalışma programı, mevzuat programı) izleme
mekanizmasına entegre edilmiştir.
6. İzleme sistemi, sektör stratejilerinin uygulanmasının hükümete raporlanmasını içerir ve bu
stratejilerin tasarlanmasının, uygulanmasının ve sonuçlarının tarafsız bir şekilde
değerlendirilmesini sağlar.

Politika geliştirme döngüsünde izleme ve
raporlamanın oynadığı başlıca rol
• Politika koordinasyonundan sorumlu
olanlara ilgili verilerin toplanması ve bilgi
alma araçları sağlar
• Karar vericilere uygulamayı temin edici
(bilgilere dayalı karar vermelerini
sağlayan) araçlar sağlar
• Dış paydaşlar için şeffaflık sağlar
• Müdahale gereken zamanlarda uyarı
verir, düzeltme ve uyarlama yapma
becerisi sağlar
• Uygulama sürecinde disiplin sağlar
4
POLİTİKA ANALİZİ:
İç ortam
Dış ortam
Sorunlar
POLİTİKA TASARIMI:
Vizyon, Seçenekler
Hedefler ve eylemler
Performans göstergeleri
POLİTİKA UYGULAMA:
İletişim
Koordinasyon
İZLEME & DEĞERLENDİRME:
Sonuçların analizi
Politika uygulama ve
iyileştirme
Genel olarak: Politika planları ve kilit hedefler tarafından
çerçevelenmiş bir politika diyaloğu için başlıca araçtır

Etkili izleme ve değerlendirme neyi gerektirir?
• Politika yönünün net olarak belirlenmesi
(SMART hedeflerle, ilgili göstergeler ve
hedeflerle ve net eylem adımlarıyla)
• Kullanıma hazır ve ilgili veri
• Net izleme ve değerlendirme sorumlulukları
ve sürece dahil herkes tarafından bunların
anlaşılması
• Ölçme ve değerlendirme için yardımcı
araçlar (bilgilerin toplanması, analizi ve
sunumu için)
5
POLICY ANALYSIS:
Internal environment
External environment
Problems
POLICY DESIGN:
Vision, Options
Objectives and action
Performance indicato
POLICY IMPLEMENTATION:
Communication
Co-ordination
MONITORING &
EVALUATION:
Analysis of results
Policy implementation and
improvement
• İşler bir yönetim yapısı (sadece raporları okuyan değil, onları
anlayıp, raporlardaki bilgiler ışığında harekete geçen bir yönetim)
• Politika döngüsünün tamamında, dahil olan herkesin sahip olduğu
kapasite (uygulayıcılar, analistler-izleme/değerlendirme görevlileri,
karar vericiler)

İzleme ve raporlama için kurumsal düzenlemeler
• KYR yönetiminin görevleri nelerdir?
 KYR koordinasyonu ve yönetimi hakkında genel organizasyonel sorumluluk
(bakan/bakan + KYR kurulu veya benzeri oluşum)
 Genel KYR koordinasyonu ve yönetimi için bireysel/yönetsel sorumluluk
(KYR birimi veya benzeri oluşum + idari düzeyde KYR koordinasyon
komitesi – karar verme yetkisi olabilir veya olmayabilir)
 Her bir KYR faaliyeti için bireysel/yönetsel sorumluluk
• Belirli izleme ve raporlama görevleri
 Veri sağlama
 Faaliyetlerin uygulanışı hakkında bilgi
 Koordinasyon ve analiz
 + sivil toplum, iş dünyası, sendikalar, vb.
• Bazı odak noktaları:
 Bilgi taleplerinde örtüşme / tekrar
 Karar verme adımlarında örtüşme / çakışma
 Aşırı karmaşık yapı (etkin işleyişi sınırlandırıcı şekilde)
 Net olarak belirlenmemiş görev ve beklentiler
6

İzleme ve raporlama çerçevesinin başlıca unsurları
• Koordinasyon ve uygulamadan sorumlu olanların görev tanımı
• İzleme kavramının tanımı (izlemenin ilkeleri, mantığı –
sonuçlar/çıktılar/vb.)
• İzleme sürecinin tanımı (bir süreç haritasıyla birlikte):
 Kim? (izleme sürecindeki görevler)
 Ne? (rapor türlerin, bilgi seviyesi/türü)
 Ne zaman? (sıklık)
• Başlıca araçların tanımlanması/getirilmesi
 İzleme için gereken bilgilerin temini, veri yönetimi ve raporlama için
şablonlar
 İzleme ve raporlama araçları (excel tabloları veya benzeri araçlar, gösterge
pasaportu (kitabı), veri yönetimi sistemi, vb.)
7

© OECD
1. gün
2. oturum: Ölçme, göstergeler
Jesper Johnsøn, SIGMA, Paris

Göstergeler
• Gösterge nedir?
• İyi bir gösterge nasıl olmalıdır?
• İyi göstergeler politika yapma sürecinde nasıl
kullanılabilir?
9

Gösterge gösterir
• Karmaşıklığı gidermek ve
verimliliği arttırmak için
her gün fark etmeden
göstergeler kullanırız
• Günümüzde politika
yapma süreci, teori
geliştirmenin, kavramsal
netliğin veya ölçmeye
odaklılığın çok az olduğu
bir alan
→ göstergelerin tamamı
yabancı geliyor
10

Bazı tipolojiler
• Yapı (sonucu tanımlayan kavram), amaç, gösterge, ölçüt, hedef
Maksat, amaçlardan yola çıkan ölçülebilir göstergelere
sahip olmaktır
• Mevcut durum, kilometre taşları, hedef
• Münferit mi bileşim mi?
• Yerine kullanılabilecek modeller?
• Mevcut mu yeni mi?
• Sonuçların seviyesi
• Ayrıştırma düzeyi
• Veri türü / ölçüm birimi
• Amaç? İzleme ve/veya değerlendirme? Karşılaştırmalı, boylamsal
veya tek bir seferlik?
11

İyi bir gösterge nasıl olmalıdır?
CREAM (gösterge geliştirilirken)
Clear (Net): göstergeler net ve
anlaşılır olmalıdır
Relevant (İlgili): konuya ve
değerlendirmeye uygun olmalıdır
Economic (ekonomik): makul bir
maliyetle edinilebilir olmalıdır
Adequate (yeterli): performansa
dair yeterli bilgi verebilmelidir
Monitorable (izlenebilir): kolay
izlenebilir ve bağımsız doğrulamaya
uygun olmalıdır 12
SPICED (gösterge kullanırken)
Participatory (katılımcı): göstergeler son
kullanıcılarla (vatandaşlarla) birlikte
geliştirilmeli ve kullanılmalıdır
Interpreted and communicable
(yorumlanmış ve aktarılabilir):
göstergelerin farklı paydaşlar için
yorumlanması veya onlara açıklanabilir
olması gerekir)
Cross-checked and compared (çapraz
kontrolü yapılmış ve karşılaştırılış):
göstergelerin geçerliliğini arttırmak
Empowering (güçlendirici): süreç,
paydaşların değişen durumu eleştirel
biçimde ele almalarını sağlar
Disaggregated (bölümlendirilebilir):
Göstergeler (cinsiyete, gelir seviyesine, vb.
göre ayrılmış) farklı gruplara göre
bölümlendirilebilir

Büyük resim
1
• Sorunun teşhisi
2
• Değerlendirme sorusu, tasarım ve
yöntemler
3
• Göstergeler
4
• Veriler
5
• Analiz, karşılaştırma, sonuçlar
13

Uygulama adımları
• Göstergelerin tanımlanması, doğrulanması ve
kullanılması
14
• Sonuç zincirinin
ince ayarının
yapılması
Müdahale
mantığının
belirlenmesi
• Değişimin
yakalanması
Göstergeleri
n
hazırlanması
• Güvenilir veri
kaynaklarının
temin edilmesi
Veri
kaynaklarının
tespiti
• Değişimin
başlangıç noktası
Temel
değerlerin
belirlenmesi
• Değişimin
sınırlarının
belirlenmesi
Hedef
koyma
• Teori ve
uygulamanın
katılımcı biçimde
kıyaslanması
Göstergeler
in teyidi • Sağlam izleme ve
değerlendirme
düzenlemelerinin
oluşturulması
Veri toplama
sistemlerinin
tasarımı

Gösterge pasaportları – yol
haritanız
• Veri toplama faaliyetini belli bir sisteme
oturtmak ve verilerin kullanıma hazır olma
durumunu ve kalitesini iyileştirmek için
uygulamaya yönelik bir çerçeve – ne kadar
sade o kadar iyi
15

Gösterge pasaportlarının
geliştirilmesi
16
• Aşağıdakileri belirleyin:
 Veri kaynakları ve veri toplama yöntemi
 Verileri kim toplayacak?
 Veri toplama sıklığı
 Veri toplamanın maliyeti
 Veri toplama faaliyeti sırasında beklenen zorluklar ve
olası çözüm yolları
 Verileri kim analiz edecek ve raporlayacak?
 Analiz yöntemi (yöntemin sınırları ve alternatif
yaklaşımlar dahil)
 Verileri kim kullanacak?

Kamu Yönetimi İlkelerini ölçmek için
SIGMA göstergeleri
17
Göstergeler tek bir amaç için geliştirildi: SIGMA
değerlendirmeleri sonucunda, yeteri kadar iyi bir kanıtlar
bütününe dayanan, güvenilir şekilde ölçülebilen, açık ve net
gerekçeleri olan geçerli ve tutarlı sonuçlar elde etmek.

Göstergeler iyi analizi teşvik eder
• Karma yöntemler
 Mülakat
 Örneklerin/numunelerin/durumların
incelenmesi
 Uygulamaların/davranışların test
edilmesi
 Anketler
 Resmi istatistikler
• Verilerin sistemli biçimde çapraz
kontrolü
 Her gösterge için olası değişkenler
 İdari kayıtlar, mülakatlar, algılar,
istatistikler, gözlemler
18
?

Kilit hususlar
İyi göstergeler…
… politikanın hedefleri/mantığı ile tutarlıdır
… tarafsızdır, iddiaları hedeflere bağlıdır
… yanlış yönlendirme yapmadan karmaşıklığı giderir
… başkalarına anlatılabilir olmalıdır, anlatılmalıdır
… genellikle birlikte analiz edilmeleri gerekir (çapraz
kontrol)
… hazırlaması uzun zaman alır
19

© OECD
1. gün
3. oturum: İzleme raporu
Egle Rimkute, Litvanya, SIGMA uzmanı

Başlarken…
• Genellikle şunları duyarız:
 Raporlar raflarda, çekmecelerde tuttuğumuz
kağıtlardan başka bir şey değil…
 Raporlar çok uzun ve formalite içeriyor, onları
kimse okumuyor…
 Raporlar karar verme sırasında elimizde olmuyor,
ya çok erken ya çok geç geliyor…
 Raporlar karar vermeye yardımcı olmuyor…
21

Ağaç çalışması
• Üç kat dalı olan bir ağaç çizin
22

Rapor yazarken akılda
bulundurulması gerekenler
• Raporun/bilginin kullanıcıları
• Raporun amacı
• İyi bir raporun özellikleri
• Raporun sıklığı
• Raporun çıkış zamanı
• Raporun nasıl sunulacağı
24

Raporun kullanıcıları
• Strateji/plan/program ile ilgili yazılan raporun
kullanıcıları kimlerdir?
 …?
 …?
 …?
25

principallyfinancedbytheEU Raporun kullanıcıları
• Raporun ayrıntı seviyesi ve uzunluğu raporu
kullanacak kişilere bağlıdır:
26
AMAÇLAR
(etkiler, sonuçlar)
AMAÇLAR, EYLEM
PLANLARI, BÜTÇE
(sonuçlar, çıktılar)
AMAÇLAR, EYLEM
PLANLARI,
KAYNAKLAR
(sonuçlar, çıktılar, girdiler)
VATANDAŞLAR, MEDYA,
PARLAMENTO, HÜKÜMET
YÖNETİM, İLGİLENEN
KURULUŞLAR
DOĞRUDAN İLGİLİ
YÖNETİCİLER, PROGAM
ÇALIŞANLARI
BİLGİNİN KULLANICILARIBİLGİ DÜZEYİ

İyi bir raporun özellikleri
• Açık, net ve kolay anlaşılır
• İyi yapılandırılmış
• Sonuç odaklı
• Gerçeklere dayalı: Raporlar, doğrulara ve
doğrulanmış bilgilere dayalı olmalı ve
doğrulukları kontrol edilmelidir
• Etik raporlama biçimine sahip
• Karar vericilerin karar verme işini kolaylaştırıcı
27

İyi yapılandırılmış rapor
• Farklı kullanıcılar için farklı yapılar geçerli
olabilir ama genel olarak iyi yapılandırılmış bir
rapor şu sırayı takip eder:
 Giriş
 Yönetici özeti (karar vericiler için)
 Analiz bölümü (hedeflerin, faaliyetlerin, amaçların
uygulanması)
 Sonuç ve öneriler
 Ekler
28

Sonuç odaklı rapor
• Raporlarla ilgili başlıca sıkıntı – süreç odaklı
olmaları
• Oysa tüm kullanıcılar sonuçları görmek ister
• Sonuçlar derken:
 Hedeflerin yerine getirilip getirilmediğine dair bilgi
 Faaliyetlerin ve harcanılan kaynakların etkisi,
sonuçları ve çıktıları
• Sonuçları ifade etmek için gerekenler:
 Kullanılabilir veri
 Analiz becerisi!
29

Örnek:
30
Süreç odaklı Sonuç odaklı
Kamu sektöründe optimizasyon
üzerine faaliyet yürüten çalışma
grubu 2015 yılında 4 kere
toplandı. Kamuda Optimizasyon
Yol Haritasını hazırladılar. Eylem
planı hazırlanırken bütün
bakanlıklar, başlıca devlet
kurumları ve sivil toplum örgütleri
ile istişare yapıldı. Yol Haritası
hükümet tarafından Eylül 2015’te
onaylandı. Üç yıllık dönemi
kapsayan yol haritası, bazı
işlevlerin birleştirilmesi veya
yeniden gözden geçirilmesini
öngören bir dizi faaliyet içeriyor.
Kamuda Optimizasyon Yol
Haritası, uygulandığı dönemin ilk
iki yılında, kamu sektöründe taşra
teşkilatı olan kurumlarda destek
hizmetlerinin %25 oranında
azaltılmasını sağladı. 2019’un
sonuna kadar bu oranın %50’yi
bulması bekleniyor. İlk iki yıl
içinde destek hizmetleri için
kullanılan bütçede 2.5 milyon avro
tasarruf edildi. 2018 sonuna kadar
tasarrufun 5 milyon avroya
ulaşması bekleniyor. .

Raporlama sıklığı aşağıdakilere
dayanır…
• Bilgi türü:
 Hedeflere karşı faaliyetler
 Sonuçlara karşı çıktılar
• Raporun kullanıcıları:
 Hükümet/bakanlar
 Yöneticiler veya program uygulayıcıları
 Medya
 Parlamento
 Sivil toplum
31

Raporlama sıklığı
32
PERFORMANS
UNSURLARI
Sıklık Belge türü Karar
verme/harekete
geçme sorumlusu
HEDEFLER Yıllık Strateji Hükümet
ETKİ/SONUÇ
GÖSTERGELERİ Yıllık/Altı aylık Strateji Hükümet
FAALİYETLER
Üç aylık Eylem planı
Hükümet, İlgili
bakanlık
Aylık Eylem planı
Uygulayıcı
personel
ÇIKTI
GÖSTERGELERİ
Üç aylık/ Yıllık Eylem planı
Hükümet, İlgili
bakanlık
Aylık Eylem planı
Uygulayıcı
personel

Raporun zamanlaması
• Genellikle raporun yayınlanma sıklığına bağlıdır:
 Aylık, üç aylık, yıllık
• Sorun – bazı hususlar üzerinde anında harekete
geçmek gerekir; bu durumda raporda yer alan
bilgiler zamanlama açısından geçerliliğini yitirir
• Raporun faydaları:
 «Geçmişe ve ileriye» bakma fırsatı
 Ders çıkarma
 Bekleyen faaliyetler hakkında hatırlatma
 Riskler
• Annual and quarterly report:
 Yıllık bütçe hazırlık sürecinde faydalı olabilir –
performans bilgilerinin elde bulunmasını sağlar
33

Rapor şablonları
• Rapor aşağıdakilerle ilgili hikayenin
anlatılmasını sağlamalıdır :
 Hedefler
 Faaliyetler
 Zorluklar ve atılması gereken adımlar
• Gerekenler:
 Talimatlar (planlama belgelerinde veya ayrı
mecrada)
 Analitik iç görüler (idari veya rutin mesajlar değil)
34

Sonuç izleme tablosunun
kullanımı
35
Performans
göstergeleri
Temel/mevcu
t durum
Hedef
Veri toplama
yöntemleri
Takvim /
sıklık
Veri
kaynakları ve
türleri
Sorumlu
kurum
Riskler
Ölçülen ne?
Mevcut
performans
düzeyi ne?
Beklenen
performans
düzeyi ne?
Veriler nasıl
toplanıyor?
Veriler ne
sıklıkta
toplanıyor?
Veriler
nereden elde
ediliyor?
Verileri kim
topluyor?
Riskler neler?

Raporlar için asgari koşullar
36
• Odaklanmış analitik bulgular (uzun metinler
halinde değil)
• Yalnızca önemli başarılar / sonuçlar
• Vuruş/karakter sayısı en fazla 1500 - 1700
Odak/
bulgular
• Sadece analitik, açıklayıcı bilgi (neden
sorusunun cevabı?)
• İdari işlere, elde edilen rutin sonuçlara
değinmeye gerek yok
Analiz
• Nicel bilgi (göstergeler, diğer istatistiksel
bilgiler)
• Uzman iç görüleriKanıtlar

Raporda kullanılacak veriler
nasıl seçilir/elenir?
• Rapor, kanıtlar kullanarak performansın
hikayesini anlatır.
• Hikayenin temeli – faaliyetler ve amaçlar
• Kanıtların temeli – göstergeler ve hedefler
37
Hikaye Kanıt
Hedefler
Göstergeler
Faaliyetler
Amaçlar

İzlemenin faydası
• İzleme / raporlama sadece
 Karar verme ve yönetimde kullanılırsa faydalı olur
• Kararlar:
 Politikaların iyileştirilmesine (kapsamlı
değerlendirme dahil)
 Bütçe tahsisine / yeniden tahsisine
 Harekete geçmek için teşvik etmeye yardımcı olur.
• Öğrenme?
38

İzleme ve raporlama için
gereken kapasite
• Analiz kapasitesi – verileri incelemek ve
muhakeme oluşturup sonuçlara varmak için
• İletişim kapasitesi – bilgileri kullanıcı dostu
biçimde sunmak için
39

© OECD
İzleme raporu örnekleri
‘bir grafik bin kelimeye / sayıya bedeldir’

Eğilimler
• Aşağıdakilerin kullanımı giderek artmaktadır:
 Grafik ve tablolar
 Stratejik iletişim araçları
• Özellikle iletişimin amaçlandığı durumlarda
metin kullanımı giderek azalıyor
41

principallyfinancedbytheEU Stratejik iletişim - Estonya
42

Okul performansı - İngiltere

Hedef: Belli bir
yaş grubundaki
nüfusun yüzde
doksanı son beş
yılda kalp damar
hastalıkları
risklerini analiz
ettirdi (Temmuz
2014’e kadar;
Temmuz 2013’e
kadar bu oran
%75).
Kalp ve diyabet kontrolleri – Yeni
Zelanda

”Kara nokta"
– son 4 yıl
içinde 500
metre
mesafede en
az 4
(yaralanma
veya can
kaybı görülen)
kazanın
gerçekleştiği
nokta.
Trafik kazalarında «kara nokta»
haritası

Karşılaştırmalı değerlendirme

Elde edilen başarılarDurumFaaliyet Sorumlu
Hükümet Programı Kapsamındaki
Eylemlerin İzlenmesi – Litvanya

Raporların faydalılığı
• Topluma, medyaya, yöneticilere açıklama
kolaylığı:
• Grafikler
• Trafik ışıkları
• Puan tabloları
• Yöneticilerin dikkati önemli unsurlara çekilir
• Şeffaflık – kurum ne tür faydalar veya
hizmetler ürettiğini gösterebilir
• Öğrenme – soru sorma fırsatı
49

Rapor hazırlamanın zorlukları
• Düşük kalite / mevcut olmayan veriler / bilgiler
• Veri toplama / temini için sorumlulukların net
bir şekilde belirlenmemiş olması
• Raporlama için net usullerin ve koşulların
(standartlar) olmaması
• Çok uzun ve birçok formalite içeren raporlar
• Zamanında hazırlama (veri toplamadan
kaynaklanabilecek bir sorun)
• İyi planlama yapılamaması!
50

İzlemeden değerlendirmeye
• İzleme ve raporlama:
 Elde edilenler ve gecikmeler hakkında veri sağlar
 Eğilimleri gösterir
 Performans ve bütçe arasında bağ kurulmasını
sağlar
• Politikada analiz edilip değerlendirilmesi
gereken eksikliklere ışık tutar
• Sorun yaşanan yerleri ve ilave
değerlendirmelerin/araştırmaların yapılması
gereken yerleri gösterir
51

© OECD
1. gün
4. oturum: Grup çalışması

53

54

© OECD
2. gün
1. oturum: Değerlendirme sürecinin tasarımı
Jesper Johnsøn, SIGMA, Paris

Politikanın
(yeniden)
tasarımı
Uygulama
öncesi
değerlendir
me
Uygulama
Ara
değerlendir
me
Uygulama
sonrası
değerlendir
me
56

OECD değerlendirme kriterleri
• İlgililik
• Verimlilik
• Etkinlik
• Etki
• Sürdürülebilirlik
57

principallyfinancedbytheEU Overview of types of evaluations
Etki
değerlendirmeleri
Program
değerlendirmeleri
Süreç
değerlendirmeleri
Odak: neden-sonuç,
özellik, etki
Yöntemler:
karşıolgusal,
karşılaştırma grupları,
istatistiksel analiz,
rastgeleleştirme
Cevap verilen soru:
Politika olmasaydı ne
olurdu?
Odak: etkinlik, katkı,
sonuçlar
Yöntemler:
karşılaştırmalı analiz,
maliyet etkinlik/fayda
analizleri,
karşılaştırmalı
değerlendirme
Cevap verilen soru:
Politika, belirtilen
amaçlara ulaşmada
etkin oldu mu?
Odak: verimlilik,
uygulama, iç
mekanizmalar, çıktılar
Yöntemler: iş akışı
analizi, planlanan ve
gerçekleştirilen
faaliyetlerin ve
çıktıların kıyaslanması.
Cevap verilen soru:
Uygulama plana göre
gerçekleşti mi ve
sonuçlar ulaşılabilir
gibi görünüyor mu?
Açık ve net
amaçlar
Göstergeler
Karma
yöntemler
Çapraz kontrol
Kontroller
Rastgeleleşti
rme
Kıyaslamalar
Temel değerler
Eğilimler

Politikanız için hangi yöntem en
iyisi?
Mülakat
veya odak
grubu
toplantıları
İdari
verilerin
analizi
Anket
İstatistiksel
verilerin
analizi
59

Örnek
• Idaho Eyalet Meclisi Performans
Değerlendirme Ofisi
• https://legislature.idaho.gov/ope/
60

Case
• Birleşik Krallık İŞ
Geliştirme Kuponları
– Davranışsal İç Görü
Ekibi ve İş Dünyasında
Yenilik ve Beceriler
Dairesinin
oluşturduğu ortak
ofis
61

Cases
• Audits in Brazil
62

Kurum içi mi dışarıdan temin mi?
• What is the objective?
 Organisational self-reflection and learning
 Proving which policy option is the most cost-
effective
 Controlling that activities and outputs have been
delivered
 Make the fire or fight the fire?
• Consider costs, capacity and time
63

Değerlendirme yaparken veya
yaptırırken dikkate alınacak ipuçları
• Gökkuşağı çerçevesi
• http://www.betterevaluation.org/
• https://openknowledge.worldbank.org/bitstream
/handle/10986/2699/52678.pdf 64

Kilit hususlar
Değerlendirme…
… kanıta dayalı politika yapma sürecinin
merkezindedir
… politika döngüsünün farklı noktalarında,
farklı şekillerde gerçekleşebilir
… tasarımı ihtiyaçlara, kaynaklara,
zamanlamaya ve politikanın doğasına bağlıdır
… öğrenme veya hesap verebilirlik amacıyla
kullanılabilir, yangınla mücadele için veya ateşi
yakmak için
… politikalarda yapılacak iyileştirmelere katkı
sağlamalıdır
65

© OECD
2. gün
2. oturum: Değerlendirme süreci

Değerlendirme süreci
• Değerlendirme soruları
• Veri toplama ve veri analizi
• İstişareler
• Rapor yazma
67

Değerlendirmelerle ilgili
söylenenler…
• Bunun için paramız yok…
• Zamanımız yok…
• Veri mevcut değil…
• Kimsenin ihtiyacı yok…
• Herkes her şeyi biliyor…
68

Değerlendirme
• Politikanın aşağıdaki etkenler açısından analizi:
 İlgililik
 Verimlilik
 Etkinlik
 Etki
 Sürdürülebilirlik
• Amaç – soruların cevabını bulmak ve politikaları
iyileştirici çözümler önermek
• Karar vericiler tarafından kolayca anlaşılamayan
oldukça bilimsel bir süreç…
69

Değerlendirilecek politikalar
nasıl seçilir?
Program / politika seçim kriterleri
70
Öncelikler
Finansma
n
Riskler Sorunlar

İdeal değerlendirmenin 6 adımı
71
ADIM 1: Müşterinin
/paydaşların
belirlenmesi :
Değerlendirmeye KİM
ihtiyaç duyuyor?
NEDEN?
ADIM 2:
Değerlendirme
sorularının
belirlenmesi:
NE bilmek istiyoruz?
Sorun NE?
ADIM 3:
Değerlendirmenin
Planlanması
HANGİ kaynaklara
sahibiz? NASIL
değerlendireceğiz? KİM
sorumlu olacak?
ADIM 4: Veri toplama ve
analizi yöntemleri:
HANGİ verilere
ihtiyacımız var? NASIL
toplarız? NASIL analiz
ederiz?
ADIM 5: Raporun
yazılması:
Raporun biçimi NE
olacak? Raporu KİM
okuyacak? NASIL
duyurulacak?
ADIM 6:
Değerlendirme
bulgularının
uygulanması: NE, NE
ZAMAN uygulanmalı?
İlerlemeyi NASIL
izleriz?

principallyfinancedbytheEU Değerlendirmenin paydaşları –
KİM?
72
Hükümet
?
?
Dış
?
?

principallyfinancedbytheEU Değerlendirme soruları
• Değerlendirmeyi kim istiyor?
 Başbakan? Bakan? Program çalışanları? Meclis? Diğer?
• Neden? Politikayla ilgili temel hususlar ne?
 İlgililik
 Verimlilik
 Etkinlik
 Etki
 Sürdürülebilirlik
• Sonuçlarla / programın mantığı ile paralel olmalı
• Bir programa veya program bileşenine
odaklanmalı
73

Değerlendirme soruları - ilgililik
74
İlgililik
Program amaçları hala
geçerli mi?
Program ihtiyaçlara cevap
veriyor mu?
İhtiyaçların ne olduğunu
biliyor muyuz?
Program faaliyetleri/çıktıları
hedeflenen soruna/amaçlara
ne derece cevap veriyor?

principallyfinancedbytheEU Değerlendirme soruları- etkinlik
75
Etkinlik
Amaçlara ne derece
ulaşılmış /
ulaşılabilecek?
Amaçlara
ulaşamamanın başlıca
sebepleri ne?
Başarı neye
dayanıyor?

Değerlendirme soruları -
verimlilik
76
Verimlilik
Yapılan müdahale /
program / faaliyet
maliyet etkin mi?
Amaçlara zamanında
ulaşıldı mı / ulaşılacak
mı?
Süreç ne kadar verimli?

principallyfinancedbytheEU Değerlendirme soruları - etki
77
Etki
Programın sonucunda
ne oldu?
Program faydalanıcıları
için neyi değiştirdi?
Hedef kitle nasıl
etkilendi?

principallyfinancedbytheEU Değerlendirme soruları -
sürdürülebilirlik
78
Sürdürülebilirlik
Programın yarattığı faydalar
uygulama tamamlandıktan
sonra da devam edecek mi?
Etkiler uzun süre devam
edecek mi?
Bunları sağlamak için ne
yapılabilir?

Eğitim teknolojileri
79
Boyut Sorular
İLGİLİLİK Program amaçları hala geçerli mi?
Program ihtiyaçlara cevap veriyor mu?
İhtiyaçların ne olduğunu biliyor muyuz?
Program faaliyetleri/çıktıları hedeflenen
soruna/amaçlara ne derece cevap veriyor?
ETKİNLİK Amaçlara ne derece ulaşılmış / ulaşılabilecek?
Amaçlara ulaşamamanın başlıca sebepleri ne?
Başarı neye dayanıyor?
VERİMLİLİK Yapılan müdahale / program / faaliyet maliyet
etkin mi?
Amaçlara zamanında ulaşıldı mı / ulaşılacak mı?
Süreç ne kadar verimli?

Değerlendirme soruları
• Değerlendirme sorularında aşağıdakilere göre belli
bir sınırınız, odak noktanız olsun:
 Müşteriniz kim?
 Ne istiyor?
 Neden bunu istiyor?
• Sadece bazı unsurlar değerlendirilebilir
80
Verimlilik
Etkinlik
İlgililik Sürdürülebilirlik
Etki

Veri toplamanın planlanması
• Değerlendirme sorularına cevap vermek
için HANGİ verilere ihtiyacımız var?
• Hangi veriler halihazırda MEVCUT ve
hangilerinin toplanması gerekiyor?
• Hangi bilgi KAYNAKLARI ve
YÖNTEMLERİ seçilecek?
• Verilere NE ZAMAN ihtiyacımız var?
• Verileri KİM toplayacak?
81

Veri toplama yöntemleri
• Masa başı araştırma
• Mülakat
• Odak grubu görüşmeleri
• Anket
• Saha ziyaretleri
82

principallyfinancedbytheEU Veri toplama yönteminin seçimi
83
• Aşağıdakilerin tamamına bağlıdır:
Zamanlama
Amaç Kaynaklar
Analiz yöntemleri

Raporun yazılması
• Rapor yapısı:
 Özet
 Değerlendirme yöntemi
 Analiz ve bulgular
 Öneriler
• Grafik, tablo, şekil kullanımı
• Mümkün olduğunca kısa
• Hatırlatıcı bilgi ve sunum kullanımı
84

İstişare
85
İlgili kurumlar
Program yararlanıcıları
Müşteri – değerlendirmeyi isteyen
Birkaç tur devam edebilir
Doğruluğu ve güvenilirliği arttırır

Değerlendirme sonucunda…
• Aşağıdakilere yönelik kararlar alınabilmelidir:
 Yeni bir program başlatma / programı durdurma /
devam ettirme
 Politikayı amaçlar, faaliyetler açısından gözden
geçirme
 Bütçeyi gözden geçirme
 Uygulama sürecinde ayarlamalar – takvim,
sorumluluklar
• Öğrenme
86

principallyfinancedbytheEU Değerlendirmenin özellikleri
87
KARMAŞIKLIK
DURUMU
ANALİZ YÖNTEMİ DEĞERLENDİRMENİN
DOĞASI
KARMAŞIK DEĞİL Masa başı araştırma
Mülakat
Kurum içi
değerlendirme
ORTA DÜZEYDE
KARMAŞIK
Masa başı araştırma
Mülakat
Odak grubu görüşmeleri
Saha ziyaretleri
Kurum içi / dış
KARMAŞIK Masa başı araştırma
Mülakat
Odak grubu görüşmeleri
Saha ziyaretleri
Anketler
Dış (genellikle)

İzleme – değerlendirme farkı
88
BOYUT İZLEME DEĞERLENDİRME
Sıklık Düzenli; Aralıklarla
İşlev Gözetim. Durum tespiti
Amaç Bilgi; Uygulamanın iyileştirilmesi. Verimlilik ve etkinliğin arttırılması.
Odak Hedefler, amaçlar, faaliyetler. Verimlilik, etkinlik, ilgililik, etki.
Yöntemler Raporların incelenmesi, tetkik Araştırma
Bilgi kaynakları İlerleme raporları, toplantlar.
Raporlar, anketler, deneylere
dayalı veriler.
Maliyet Rutin (bütçeden) Aralıklarla (ek bütçe ile)

Değerlendirmenin zorlukları
90
Neredeyse
yakaladı bizi!
Sürekli gelişimin
ne olduğunu
şimdi anladın!

Düşünülmesi gereken hususlar
• Beceriler önemlidir
• Değerlendirme zaman gerektirir
• Değerlendirme sürecinin sahibi
• Değerlendirme sonuçlarının kullanılması
• Kapasite geliştirme yaklaşımları
91

principallyfinancedbytheEU Değerlendirme için gereken
beceriler
• Analiz becerisi (istatistikleri, verileri analiz)
• Teknik bilgileri uygulamaya dönük önerilere
çevirebilme
• Ağ oluşturma becerileri
• Sunum ve iletişim becerileri
 Teknik ve karmaşık konuları sade bir dille
anlatabilme
 Sadece konu
uzmanlarının
bildiği terimlerden
kaçınma
92

principallyfinancedbytheEU Zamanlama ve sahiplenmenin
önemi
93
• Değerlendirme uzun zaman alabilir
• Değerlendirmenin zamanlaması:
 Karar verme zamanlaması ile paralel: reformlar,
bütçe planlaması
• Değerlendirmenin sahiplenilmesi:
 Kamu çalışanı – çalışma grubu - bakan
• Değerlendirmenin yönetimi:
 Değerlendirme için bir yol haritası
 Değerlendirme sonuçları için uygulama planı

Değerlendirme sonuçlarının
kullanılması
• Değerlendirme sonuçlarının kullanılmasını
etkileyenler:
 Değerlendirmenin ilgililiği
 kalitesi
 Yapılan iletişim çalışmaları
 zamanlaması
• Karar vermede kullanma
• Politikaların iyileştirilmesinde kullanma
• Hesap verebilirlik / raporlama amaçlı kullanma
• Öğrenme amaçlı kullanma 94

Uygulama ve takip
• Geniş kapsamlı değerlendirmelerde
uygulama için bir çalışma grubu oluşturun
 Grupta kimler yer alacak
 Görev alanı
• Tek bir kurum/alanla ilgili daha küçük çaplı
değerlendirmeler için bir proje grubu
oluşturun
• Veya – mevcut yönetim yapılarını kullanın
• Bulguların uygulanmasını kurumsallaştırın:
 Uygulama planı hazırlayın
 Bulguları politika planlama ve karar verme
süreçlerine yerleştirin
• Kararların uygulanışını takip edin 95

Kapasite geliştirme
• Yaparak öğrenme:
 Kurum içi değerlendirme
• Finansman sağlayıcıların yaptığı
değerlendirmelere katılım
• Uzmanlaşmış eğitimler:
 Değerlendirme süreci, yöntemler, vb.
 Analiz yöntemleri
• Kurum içi uzmanlık (ör. istatistikler)
96

Peter Vagi, Seminar on Monitoring and Evaluation, Kizilcahamam, Republic of Turkey, 4-5 May 2017

Recommandé

Recommandé

Contenu connexe

Similaire à Peter Vagi, Seminar on Monitoring and Evaluation, Kizilcahamam, Republic of Turkey, 4-5 May 2017

Similaire à Peter Vagi, Seminar on Monitoring and Evaluation, Kizilcahamam, Republic of Turkey, 4-5 May 2017 (20)

Plus de Support for Improvement in Governance and Management SIGMA

Plus de Support for Improvement in Governance and Management SIGMA (20)

Peter Vagi, Seminar on Monitoring and Evaluation, Kizilcahamam, Republic of Turkey, 4-5 May 2017