SlideShare une entreprise Scribd logo
1  sur  25
Development Analytics
31 Mektep Sokak Emirgan - Istanbul
research@developmentanalytics.org
www.developmentanalytics.org
Etki Analizi Eğitimi
1. Kısım : Etki Analizi Nedir?
Etki Analizi Eğitimi Bölümleri
www.developmentanalytics.org
1. Etki Analizi Nedir?
2. Etki Analizi Nasıl Yapılır?
3. Rastgele Dağıtım Yöntemi
4. Regresyon Süreksizliği Yöntemi
5. Fark İçinde Fark Yöntemi
6. Araç Değişkenler Yöntemi
7. Eğim Skoru Eşleme Yöntemi
8. Operasyonel Planlama ve Kapanış
Neden Değerlendirme Yapılmalıdır?
www.developmentanalytics.org
 Kalkınma program ve politikaları genellikle sonuçlarda
bir değişiklik yapmak amacıyla dizayn edilirler.
Örneğin; gelirleri artırmak, öğrenmeyi geliştirmek ya
da hastalıkları azaltmak.
 Bu değişimlerin gerçekten başarılıp başarılmadığını
anlamaksa çok önemli bir kamu politikası sorusudur.
 Etki analizleri (Impact evaluations) kanıta dayalı
politika yapmanın geniş çerçevesi içindeki bir
bölümdür.
Girdiler Süreç Çıktılar
Neden Değerlendirme Yapılmalıdır?
www.developmentanalytics.org
 Sorumluluk (Accountability)
 Öğrenme (Learning)
 Politik Sürdürülebilirlik (Political Sustainability) : The
Progresa/Oportunidades Conditional Cash Transfer
Program in Mexico
 İyileştirilmiş Kaynak Dağıtımı (Improved Resource
Allocation)
Atfetme (Attribution) ve Nedensellik
(Causal Inference)
www.developmentanalytics.org
 Etki analizi; bireylerin iyi olma hallerindeki bir
proje, program ya da politikaya atfedilebilecek
değişimleri değerlendirir.
 Atfetmeye önem verilmesi etki analizinin ayırıcı
özelliğidir. Dolayısıyla, etkili bir etki analizi
yapabilmek için aşılması gereken esas
zorluk, program ve politikalarla ilgilenilen sonuçlar
arasındaki nedensellik ilişkisinin tanımlanmasıdır.
İzleme (Monitoring)
www.developmentanalytics.org
 Kesintisiz devam eden bir süreçtir
 Bir program içerisinde neler olmakta olduğunun
takip edilmesidir
 Toplanan veriler programı bilgilendirmek için
kullanılır
 Günlük yönetim ve kararları bilgilendirir
 İdari veri kullanılır
 Program performansıyla programdan beklenen
sonuçları kıyaslar
Değerlendirme (Evaluation)
www.developmentanalytics.org
 Planlanan, sürmekte olan ya da bitmiş olan proje,
program ya da politikaların dönemsel ve objektif
değerlendirmeleridir.
 Değerlendirmeler program dizaynı, uygulaması ve
sonuçları ile ilgili belirli soruları cevaplamak için
kullanılır.
 Zaman içerisinde belli noktalarda yapılırlar.
 Genellikle program dışından olan teknik uzmanların
bakış açılarından yararlanılır.
 Dizaynları, metotları ve masrafları sorulan soru ve
kullanılan metodoloji çerçevesinde değişkenlik
gösterir.
Değerlendirme Yapmaya Karar Verme
www.developmentanalytics.org
 Tüm programlar etki analizine izin vermez:
 Değerlendirmeden elde edilecek kazançlar yüksek
olmalıdır-büyük bütçe ayrılmış programlar
 Stratejik etki göstermek için yapılan inovatif (ama küçük
ölçekli) programlar
 Yüksek kalitede bir etki analizi için gerekli olan teknik ve
finansal kaynakları mobilize etmeyi haklı gösterebilmek için,
analizi yapılacak olan programın:
 Inovatif (Innovative)
 Tekrarlanabilir (Replicable)
 Stratejik olarak alakalı (Strategically relevant)
 Test edilmemiş (Untested)
 Tesirli (Influential)
olması gerekir.
Etki Analizi Soruları
www.developmentanalytics.org
 En temel etki analizi sorusu «Bir programın
ilgilenilen çıktı üzerindeki etkisi nedir?» şeklinde
formüle edilebilir.
 Ortalama sonuçları test etmek:
«Gençlere verilen bir eğitim, girişimciliğin ve gelirlerin
artmasında etkili olmuş mudur?»
«Bir temiz su programı, güvenli su kaynaklarına erişimi
artırmış ve sağlık sonuçlarını iyileştirmiş midir?»
 Dağıtımsal etkiyi göstermek:
«Yeni müfredat kız ve erkek öğrencilerin sınav sonuçlarını
iyileştirmiş midir?»
«Gençlere verilen eğitim girişimciliğin ve gelirlerin yoksul
kesimde artmasında etkili olmuş mudur?»
Nedensellik (Causal Inference)
www.developmentanalytics.org
 Temel etki analizi sorusu bir nedensellik problemi
taşımaktadır.
 Çoğu politika sorusu neden-sonuç ilişkisi içerir:
 Öğretmenlere verilen eğitimler öğrencilerin test
sonuçlarını iyileştirir mi?
 Şartlı nakit transferi programları çocuklarda daha iyi
sağlık sonuçları alınmasını sağlar mı?
 Mesleki eğitim programları, eğitime katılanların gelirlerini
artırır mı?
Eğitime katılan kişinin eğitim sonrası gelirinde bir artış
olması nedensellik ilişkisinin kurulabilmesi için yeterli
değildir.
Programın Etkisi
www.developmentanalytics.org
 P programının Y çıktısına nedensel etkisi (causal
effect) nedir?
 Bu formül (P) programının (Y) çıktısı üzerindeki
nedensel etkisi (α)‟nın programın uygulanmış
olduğu (başka bir deyişle P=1 olduğundaki) (Y)
çıktısı ile programın uygulanmamış olduğu (P=0
olduğundaki) (Y) çıktısı arasındaki fark olduğunu
söyler.
 Mesleki eğitim programı örneği
Dünyanın iki farklı hali
www.developmentanalytics.org
 Daha başka bir şekilde söyleyecek
olursak, aynı gözlemin (bu durumda
bir kişinin) gelirini aynı anda ama
farklı iki dünya halinde ölçmek
istiyoruz.
 Rastlantının Böylesi (Sliding Doors
– Gwyneth Paltrow)
Gerçek hayatta İMKANSIZDIR.
İşte bu «karşıtgerçeklik problemi»‟dir.
Analiz birimi değişiklik
gösterebilir
www.developmentanalytics.org
 Temel etki analizi formülü analizi yapılan her tür
birim için geçerlidir (valid) - insan, hane, topluluk,
iş yeri, okul, hastane, ya da programdan
etkilenebilecek herhangi bir birim.
 Formül aynı zamanda uygulanmakta olan
programla makul bir şekilde ilgisi olan her tür
sonuç (Y) için de geçerlidir.
Program öncesi (Ex ante) ve Program
sonrası (Ex post) Değerlendirme
www.developmentanalytics.org
 Ex ante değerlendirme programın olası etkilerini
program müdahalesi gerçekleşmeden veri
kullanarak tahmin eder.
Program etkisinin bir simülasyonudur.
(Örn: Fiyatlara gelecek bir zammın hanelerin
yoksulluğuna olabilecek etkisi, çocuk bakımı
sübvansiyonunun iş gücüne katılıma olası etkisinin
simülasyonu)
 Ex post değerlendirme program uygulandıktan
sonra çıkan sonuçların değerlendirilmesidir.
Programın gerçek etkisini ölçmeye çalışır.
İki Etki Tahmini
Müdahale Etme Niyeti (ITT) ve Müdahalenin
Müdahale Görenlere Etkisi (TOT)
www.developmentanalytics.org
 Tahmin edilen etki olan α„ya “müdahale etme niyeti (intention-to-
treat)” tahmini denir. Bu, programa gerçekten katılmalarından
bağımsız olarak yalnızca programa katılmaları teklif edilmiş
birimlere temel formül uygulandığında bulunan tahmindir.
 ITT, programın hedeflediği popülasyondaki ortalama etkiyi
saptamak istediğimiz durumlar için önemlidir.
• Buna kıyasla, temel etki analizi formülü, programın teklif
edildiği ve programa gerçekten katılan birimlere
uygulandığında tahmin edilen etki α‟ya «müdahalenin
müdahale görenlere etkisi (treatment-on-the-treated)»
denir.
ITT=TOT, tüm teklif alanlar programa
katılırsa
Karşıtgerçeklik (Counterfactual)
www.developmentanalytics.org
 Karşıtgerçeklik; bir program katılımcısı için eğer
programa katılmasaydı, sonuç (Y)‟nin ne olmuş
olacağının tahminidir.
Program
katılımcıları için
sonuç (Y)
Karşıtgerçeklik
Karşıtgerçekliği
gözlemleyemeyiz,
tahmin edilmesi gerekir.
Karşıtgerçeklik tahmini
www.developmentanalytics.org
 Bunu yapabilmek için kıyas grupları kullanırız
(«kontrol grubu» da denir).
 Bu eğitimin geri kalanında karşıtgerçekliği doğru
bir şekilde yeniden üretebilecek ya da taklit
edebilecek geçerli (valid) kıyas grupları
belirlenebilmesi için kullanılabilecek çeşitli
metotlar üzerinde durulacaktır.
 Bu kıyas gruplarının belirlenmesi etki analizinin
püf noktasıdır.
 Geçerli bir karşıtgerçeklik tahmini
olmadan, programın etkisi saptanamaz.
Kıyas Grubu
www.developmentanalytics.org
Geçerli bir kıyas grubu programa katılmamış olmaları haricinde
programa katılanlarla («müdahale grubu») aynı özelliklere
sahip olmalıdır.
Geçerli bir kıyas grubu
belirlemeden
değerlendirme yapmaya
karar verirsek ne olur?
Karşıtgerçekliğin Sahte olan(Counterfeit)
İki Tahmini
Önce ve Sonrayı
Kıyaslamak
Müdahale Grubuyla
Kontrol Grubunu
Kıyaslamak
www.developmentanalytics.org
 Bir eğitim programına katılmayı
seçmiş bir grup gencin ortalama
geliriyle katılmamayı seçmiş bir
grup gencin ortalama gelirlerinin
kıyaslanması
 Diyelim ki sonuçlar programa
katılan gençlerin katılmayanlara
göre iki kat fazla kazandığını
gösteriyor olsun
Nedenselliğin kurulması
için önce-sonra
kıyaslaması neden
yeterli değildir?
Neden müdahale ve
kontrol gruplarının
kıyaslanması
nedenselliğin kurulması
için yeterli değildir?
Yanlış Örnek 1:
Önce ve Sonrayı Karşılaştıran Analiz
www.developmentanalytics.org
Programın
yaygınlaştırılmasını
önerir misiniz?
Yanlış Örnek 2:
Müdahale Grubu ile Kontrol Grubunu Karşılaştıran
Analiz
www.developmentanalytics.org
Programın
yaygınlaştırılmasını
önerir misiniz?
Yanlı Seçim (Selection Bias)
www.developmentanalytics.org
 Değerlendirmenin kıyas grubu geçerli değilse,
etkinin tahmini de geçerli olmayacaktır: programın
doğru etkisini tahmin etmeyecektir.
 İstatistiki terim kullanacak olursak, yanlı
(biased) olacaktır.
Neden programdan
yararlanacakların kendi
kendine karar verip
programa katılmaları
yanlı seçime sebep olur?
Bu durumun yaşandığı
bir örnek düşünebiliyor
musunuz?
Neden maksatlı program
yerleştirmesi yapmak
yanlı seçime sebep olur?
Bu durumun yaşandığı
bir örnek düşünebiliyor
musunuz?
Yanlı seçim = Gözlemlenemeyen
heterojenlik
www.developmentanalytics.org
B = Yanlı seçimden
dolayı yanılma
Bugün öğreneceğimiz konular:
www.developmentanalytics.org
1. Rastgele Değerlendirmeler (Randomized evaluations)
2. Eşleme yöntemleri (Matching methods), özellikle eğim skoru
eşleme (Propensity score matching)
3. Çifte Fark yöntemleri (Double-difference (DD) methods)
4. Araç değişkenler metodu (Instrumental variable (IV) methods)
5. Regresyon süreksizliği yöntemi (Regression discontinuity (RD)
design)
Tüm bu metotlar bir karşıtgerçeklik kurup programın etkisini tahmin
etmeye çalışır.
Tebrikler !
www.developmentanalytics.org
Etki Analizi Eğitimin 1. bölümünü tamamladınız.
Eğitimlerimiz ile ilgili daha detaylı bilgi almak
isterseniz bizimle kontağa geçebilirsiniz:
Development Analytics
31 Mektep Sokak Emirgan - Istanbul
research@developmentanalytics.org
www.developmentanalytics.org

Contenu connexe

Tendances

Let’s get to know Snowflake
Let’s get to know SnowflakeLet’s get to know Snowflake
Let’s get to know SnowflakeKnoldus Inc.
 
Migrating Data and Databases to Azure
Migrating Data and Databases to AzureMigrating Data and Databases to Azure
Migrating Data and Databases to AzureKaren Lopez
 
Making the Case for Legacy Data in Modern Data Analytics Platforms
Making the Case for Legacy Data in Modern Data Analytics PlatformsMaking the Case for Legacy Data in Modern Data Analytics Platforms
Making the Case for Legacy Data in Modern Data Analytics PlatformsPrecisely
 
Liberal social reforms
Liberal social reformsLiberal social reforms
Liberal social reformsmrmarr
 
Redesigning Hyperion Planning - Is going from Block Storage (BSO) to Aggregat...
Redesigning Hyperion Planning - Is going from Block Storage (BSO) to Aggregat...Redesigning Hyperion Planning - Is going from Block Storage (BSO) to Aggregat...
Redesigning Hyperion Planning - Is going from Block Storage (BSO) to Aggregat...finitsolutions
 
Data Leadership - Stop Talking About Data and Start Making an Impact!
Data Leadership - Stop Talking About Data and Start Making an Impact!Data Leadership - Stop Talking About Data and Start Making an Impact!
Data Leadership - Stop Talking About Data and Start Making an Impact!DATAVERSITY
 
Métodos para la exportación de datos de OpenStreetMap
Métodos para la exportación de datos de OpenStreetMapMétodos para la exportación de datos de OpenStreetMap
Métodos para la exportación de datos de OpenStreetMapJesús Gómez
 
Snowflake Data Governance
Snowflake Data GovernanceSnowflake Data Governance
Snowflake Data Governancessuser538b022
 
Building Audi’s enterprise big data platform
Building Audi’s enterprise big data platformBuilding Audi’s enterprise big data platform
Building Audi’s enterprise big data platformDataWorks Summit
 
Research paper on Siemens Gamesa
Research paper on Siemens GamesaResearch paper on Siemens Gamesa
Research paper on Siemens GamesaThoDesmoulin
 
Improving search experience with a taxonomy in the fashion domain
Improving search experience with a taxonomy in the fashion domainImproving search experience with a taxonomy in the fashion domain
Improving search experience with a taxonomy in the fashion domainGeorge Cushen
 

Tendances (12)

Let’s get to know Snowflake
Let’s get to know SnowflakeLet’s get to know Snowflake
Let’s get to know Snowflake
 
Migrating Data and Databases to Azure
Migrating Data and Databases to AzureMigrating Data and Databases to Azure
Migrating Data and Databases to Azure
 
Making the Case for Legacy Data in Modern Data Analytics Platforms
Making the Case for Legacy Data in Modern Data Analytics PlatformsMaking the Case for Legacy Data in Modern Data Analytics Platforms
Making the Case for Legacy Data in Modern Data Analytics Platforms
 
Liberal social reforms
Liberal social reformsLiberal social reforms
Liberal social reforms
 
Redesigning Hyperion Planning - Is going from Block Storage (BSO) to Aggregat...
Redesigning Hyperion Planning - Is going from Block Storage (BSO) to Aggregat...Redesigning Hyperion Planning - Is going from Block Storage (BSO) to Aggregat...
Redesigning Hyperion Planning - Is going from Block Storage (BSO) to Aggregat...
 
Data Leadership - Stop Talking About Data and Start Making an Impact!
Data Leadership - Stop Talking About Data and Start Making an Impact!Data Leadership - Stop Talking About Data and Start Making an Impact!
Data Leadership - Stop Talking About Data and Start Making an Impact!
 
Métodos para la exportación de datos de OpenStreetMap
Métodos para la exportación de datos de OpenStreetMapMétodos para la exportación de datos de OpenStreetMap
Métodos para la exportación de datos de OpenStreetMap
 
Snowflake Data Governance
Snowflake Data GovernanceSnowflake Data Governance
Snowflake Data Governance
 
Building Audi’s enterprise big data platform
Building Audi’s enterprise big data platformBuilding Audi’s enterprise big data platform
Building Audi’s enterprise big data platform
 
Research paper on Siemens Gamesa
Research paper on Siemens GamesaResearch paper on Siemens Gamesa
Research paper on Siemens Gamesa
 
Cloud Playbook
Cloud PlaybookCloud Playbook
Cloud Playbook
 
Improving search experience with a taxonomy in the fashion domain
Improving search experience with a taxonomy in the fashion domainImproving search experience with a taxonomy in the fashion domain
Improving search experience with a taxonomy in the fashion domain
 

Similaire à Development Analytics - Etki Analizi Eğitimi (Part 1/8)

A/B Testin Nedir? CRO Sürecinin Temelleri Nedir?
A/B Testin Nedir? CRO Sürecinin Temelleri Nedir?A/B Testin Nedir? CRO Sürecinin Temelleri Nedir?
A/B Testin Nedir? CRO Sürecinin Temelleri Nedir?Muhammed Tüfekyapan
 
ihtiyaç analizi
ihtiyaç analiziihtiyaç analizi
ihtiyaç analiziBilalTilki
 
D U R U M A N A Lİ Zİ M D
D U R U M  A N A Lİ Zİ  M DD U R U M  A N A Lİ Zİ  M D
D U R U M A N A Lİ Zİ M DMehmet DURUK
 
Mükemmeliyet Antalya MSaidYıldız 161222.pptx
Mükemmeliyet Antalya MSaidYıldız 161222.pptxMükemmeliyet Antalya MSaidYıldız 161222.pptx
Mükemmeliyet Antalya MSaidYıldız 161222.pptxMustafa Said YILDIZ
 
Saglikta Kalite Iyilestirmeye Giris
Saglikta Kalite Iyilestirmeye GirisSaglikta Kalite Iyilestirmeye Giris
Saglikta Kalite Iyilestirmeye GirisMustafa Said YILDIZ
 
Sağlık kurumlarında kalite yönetimi unite 16-altı sigma-prof.dr.halit hami öz
Sağlık kurumlarında kalite yönetimi unite 16-altı sigma-prof.dr.halit hami özSağlık kurumlarında kalite yönetimi unite 16-altı sigma-prof.dr.halit hami öz
Sağlık kurumlarında kalite yönetimi unite 16-altı sigma-prof.dr.halit hami özProf. Dr. Halit Hami Öz
 
PBR-Cilt-11-Sayı-1-SOSYALMEDYA
PBR-Cilt-11-Sayı-1-SOSYALMEDYAPBR-Cilt-11-Sayı-1-SOSYALMEDYA
PBR-Cilt-11-Sayı-1-SOSYALMEDYAElcin Tuncer
 
ÖRGÜT YÖNETİMİ VE KALİTE
ÖRGÜT YÖNETİMİ VE KALİTEÖRGÜT YÖNETİMİ VE KALİTE
ÖRGÜT YÖNETİMİ VE KALİTEÜmit Þahin
 
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna EtkisiPerformansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna EtkisiTugba Ozen
 
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna EtkisiPerformansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna EtkisiTugba Ozen
 
Bpm; and Research development
Bpm; and Research developmentBpm; and Research development
Bpm; and Research developmentBilal Dursun
 
BPM Neden? Nedir? İş Süreçlerinin İyleştirilmesi
BPM Neden? Nedir? İş Süreçlerinin İyleştirilmesiBPM Neden? Nedir? İş Süreçlerinin İyleştirilmesi
BPM Neden? Nedir? İş Süreçlerinin İyleştirilmesiBilal Dursun
 
Yeni Microsoft PowerPoint Sunusu (8).pptx
Yeni Microsoft PowerPoint Sunusu (8).pptxYeni Microsoft PowerPoint Sunusu (8).pptx
Yeni Microsoft PowerPoint Sunusu (8).pptxCelalAkman
 
Şirket Birleşmeleri Sonrası İK Entegrasyonu Çalışmaları
Şirket Birleşmeleri Sonrası İK Entegrasyonu ÇalışmalarıŞirket Birleşmeleri Sonrası İK Entegrasyonu Çalışmaları
Şirket Birleşmeleri Sonrası İK Entegrasyonu ÇalışmalarıGulsen Kilic
 
Microsoft Solutions Framework
Microsoft Solutions FrameworkMicrosoft Solutions Framework
Microsoft Solutions FrameworkNuri Cankaya
 
Musteri iliskileri Yonetimi - 7
Musteri iliskileri Yonetimi - 7Musteri iliskileri Yonetimi - 7
Musteri iliskileri Yonetimi - 7Aretiasus
 

Similaire à Development Analytics - Etki Analizi Eğitimi (Part 1/8) (20)

A/B Testin Nedir? CRO Sürecinin Temelleri Nedir?
A/B Testin Nedir? CRO Sürecinin Temelleri Nedir?A/B Testin Nedir? CRO Sürecinin Temelleri Nedir?
A/B Testin Nedir? CRO Sürecinin Temelleri Nedir?
 
Proje döngü yönetimi
Proje döngü yönetimiProje döngü yönetimi
Proje döngü yönetimi
 
ihtiyaç analizi
ihtiyaç analiziihtiyaç analizi
ihtiyaç analizi
 
D U R U M A N A Lİ Zİ M D
D U R U M  A N A Lİ Zİ  M DD U R U M  A N A Lİ Zİ  M D
D U R U M A N A Lİ Zİ M D
 
Mükemmeliyet Antalya MSaidYıldız 161222.pptx
Mükemmeliyet Antalya MSaidYıldız 161222.pptxMükemmeliyet Antalya MSaidYıldız 161222.pptx
Mükemmeliyet Antalya MSaidYıldız 161222.pptx
 
Saglikta Kalite Iyilestirmeye Giris
Saglikta Kalite Iyilestirmeye GirisSaglikta Kalite Iyilestirmeye Giris
Saglikta Kalite Iyilestirmeye Giris
 
Sağlık kurumlarında kalite yönetimi unite 16-altı sigma-prof.dr.halit hami öz
Sağlık kurumlarında kalite yönetimi unite 16-altı sigma-prof.dr.halit hami özSağlık kurumlarında kalite yönetimi unite 16-altı sigma-prof.dr.halit hami öz
Sağlık kurumlarında kalite yönetimi unite 16-altı sigma-prof.dr.halit hami öz
 
insan kaynakları ve performans değerlendirme
insan kaynakları ve performans değerlendirmeinsan kaynakları ve performans değerlendirme
insan kaynakları ve performans değerlendirme
 
PBR-Cilt-11-Sayı-1-SOSYALMEDYA
PBR-Cilt-11-Sayı-1-SOSYALMEDYAPBR-Cilt-11-Sayı-1-SOSYALMEDYA
PBR-Cilt-11-Sayı-1-SOSYALMEDYA
 
ÖRGÜT YÖNETİMİ VE KALİTE
ÖRGÜT YÖNETİMİ VE KALİTEÖRGÜT YÖNETİMİ VE KALİTE
ÖRGÜT YÖNETİMİ VE KALİTE
 
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna EtkisiPerformansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
 
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna EtkisiPerformansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
Performansa Dayalı Ücret Sisteminin Çalışanların Motivasyonuna Etkisi
 
Bpm; and Research development
Bpm; and Research developmentBpm; and Research development
Bpm; and Research development
 
BPM Neden? Nedir? İş Süreçlerinin İyleştirilmesi
BPM Neden? Nedir? İş Süreçlerinin İyleştirilmesiBPM Neden? Nedir? İş Süreçlerinin İyleştirilmesi
BPM Neden? Nedir? İş Süreçlerinin İyleştirilmesi
 
BPM ve Arge
BPM ve Arge BPM ve Arge
BPM ve Arge
 
Yeni Microsoft PowerPoint Sunusu (8).pptx
Yeni Microsoft PowerPoint Sunusu (8).pptxYeni Microsoft PowerPoint Sunusu (8).pptx
Yeni Microsoft PowerPoint Sunusu (8).pptx
 
Şirket Birleşmeleri Sonrası İK Entegrasyonu Çalışmaları
Şirket Birleşmeleri Sonrası İK Entegrasyonu ÇalışmalarıŞirket Birleşmeleri Sonrası İK Entegrasyonu Çalışmaları
Şirket Birleşmeleri Sonrası İK Entegrasyonu Çalışmaları
 
Microsoft Solutions Framework
Microsoft Solutions FrameworkMicrosoft Solutions Framework
Microsoft Solutions Framework
 
Musteri iliskileri Yonetimi - 7
Musteri iliskileri Yonetimi - 7Musteri iliskileri Yonetimi - 7
Musteri iliskileri Yonetimi - 7
 
Risk Yönetim Planı Oluşturma
Risk Yönetim Planı OluşturmaRisk Yönetim Planı Oluşturma
Risk Yönetim Planı Oluşturma
 

Development Analytics - Etki Analizi Eğitimi (Part 1/8)

  • 1. Development Analytics 31 Mektep Sokak Emirgan - Istanbul research@developmentanalytics.org www.developmentanalytics.org Etki Analizi Eğitimi 1. Kısım : Etki Analizi Nedir?
  • 2. Etki Analizi Eğitimi Bölümleri www.developmentanalytics.org 1. Etki Analizi Nedir? 2. Etki Analizi Nasıl Yapılır? 3. Rastgele Dağıtım Yöntemi 4. Regresyon Süreksizliği Yöntemi 5. Fark İçinde Fark Yöntemi 6. Araç Değişkenler Yöntemi 7. Eğim Skoru Eşleme Yöntemi 8. Operasyonel Planlama ve Kapanış
  • 3. Neden Değerlendirme Yapılmalıdır? www.developmentanalytics.org  Kalkınma program ve politikaları genellikle sonuçlarda bir değişiklik yapmak amacıyla dizayn edilirler. Örneğin; gelirleri artırmak, öğrenmeyi geliştirmek ya da hastalıkları azaltmak.  Bu değişimlerin gerçekten başarılıp başarılmadığını anlamaksa çok önemli bir kamu politikası sorusudur.  Etki analizleri (Impact evaluations) kanıta dayalı politika yapmanın geniş çerçevesi içindeki bir bölümdür. Girdiler Süreç Çıktılar
  • 4. Neden Değerlendirme Yapılmalıdır? www.developmentanalytics.org  Sorumluluk (Accountability)  Öğrenme (Learning)  Politik Sürdürülebilirlik (Political Sustainability) : The Progresa/Oportunidades Conditional Cash Transfer Program in Mexico  İyileştirilmiş Kaynak Dağıtımı (Improved Resource Allocation)
  • 5. Atfetme (Attribution) ve Nedensellik (Causal Inference) www.developmentanalytics.org  Etki analizi; bireylerin iyi olma hallerindeki bir proje, program ya da politikaya atfedilebilecek değişimleri değerlendirir.  Atfetmeye önem verilmesi etki analizinin ayırıcı özelliğidir. Dolayısıyla, etkili bir etki analizi yapabilmek için aşılması gereken esas zorluk, program ve politikalarla ilgilenilen sonuçlar arasındaki nedensellik ilişkisinin tanımlanmasıdır.
  • 6. İzleme (Monitoring) www.developmentanalytics.org  Kesintisiz devam eden bir süreçtir  Bir program içerisinde neler olmakta olduğunun takip edilmesidir  Toplanan veriler programı bilgilendirmek için kullanılır  Günlük yönetim ve kararları bilgilendirir  İdari veri kullanılır  Program performansıyla programdan beklenen sonuçları kıyaslar
  • 7. Değerlendirme (Evaluation) www.developmentanalytics.org  Planlanan, sürmekte olan ya da bitmiş olan proje, program ya da politikaların dönemsel ve objektif değerlendirmeleridir.  Değerlendirmeler program dizaynı, uygulaması ve sonuçları ile ilgili belirli soruları cevaplamak için kullanılır.  Zaman içerisinde belli noktalarda yapılırlar.  Genellikle program dışından olan teknik uzmanların bakış açılarından yararlanılır.  Dizaynları, metotları ve masrafları sorulan soru ve kullanılan metodoloji çerçevesinde değişkenlik gösterir.
  • 8. Değerlendirme Yapmaya Karar Verme www.developmentanalytics.org  Tüm programlar etki analizine izin vermez:  Değerlendirmeden elde edilecek kazançlar yüksek olmalıdır-büyük bütçe ayrılmış programlar  Stratejik etki göstermek için yapılan inovatif (ama küçük ölçekli) programlar  Yüksek kalitede bir etki analizi için gerekli olan teknik ve finansal kaynakları mobilize etmeyi haklı gösterebilmek için, analizi yapılacak olan programın:  Inovatif (Innovative)  Tekrarlanabilir (Replicable)  Stratejik olarak alakalı (Strategically relevant)  Test edilmemiş (Untested)  Tesirli (Influential) olması gerekir.
  • 9. Etki Analizi Soruları www.developmentanalytics.org  En temel etki analizi sorusu «Bir programın ilgilenilen çıktı üzerindeki etkisi nedir?» şeklinde formüle edilebilir.  Ortalama sonuçları test etmek: «Gençlere verilen bir eğitim, girişimciliğin ve gelirlerin artmasında etkili olmuş mudur?» «Bir temiz su programı, güvenli su kaynaklarına erişimi artırmış ve sağlık sonuçlarını iyileştirmiş midir?»  Dağıtımsal etkiyi göstermek: «Yeni müfredat kız ve erkek öğrencilerin sınav sonuçlarını iyileştirmiş midir?» «Gençlere verilen eğitim girişimciliğin ve gelirlerin yoksul kesimde artmasında etkili olmuş mudur?»
  • 10. Nedensellik (Causal Inference) www.developmentanalytics.org  Temel etki analizi sorusu bir nedensellik problemi taşımaktadır.  Çoğu politika sorusu neden-sonuç ilişkisi içerir:  Öğretmenlere verilen eğitimler öğrencilerin test sonuçlarını iyileştirir mi?  Şartlı nakit transferi programları çocuklarda daha iyi sağlık sonuçları alınmasını sağlar mı?  Mesleki eğitim programları, eğitime katılanların gelirlerini artırır mı? Eğitime katılan kişinin eğitim sonrası gelirinde bir artış olması nedensellik ilişkisinin kurulabilmesi için yeterli değildir.
  • 11. Programın Etkisi www.developmentanalytics.org  P programının Y çıktısına nedensel etkisi (causal effect) nedir?  Bu formül (P) programının (Y) çıktısı üzerindeki nedensel etkisi (α)‟nın programın uygulanmış olduğu (başka bir deyişle P=1 olduğundaki) (Y) çıktısı ile programın uygulanmamış olduğu (P=0 olduğundaki) (Y) çıktısı arasındaki fark olduğunu söyler.  Mesleki eğitim programı örneği
  • 12. Dünyanın iki farklı hali www.developmentanalytics.org  Daha başka bir şekilde söyleyecek olursak, aynı gözlemin (bu durumda bir kişinin) gelirini aynı anda ama farklı iki dünya halinde ölçmek istiyoruz.  Rastlantının Böylesi (Sliding Doors – Gwyneth Paltrow) Gerçek hayatta İMKANSIZDIR. İşte bu «karşıtgerçeklik problemi»‟dir.
  • 13. Analiz birimi değişiklik gösterebilir www.developmentanalytics.org  Temel etki analizi formülü analizi yapılan her tür birim için geçerlidir (valid) - insan, hane, topluluk, iş yeri, okul, hastane, ya da programdan etkilenebilecek herhangi bir birim.  Formül aynı zamanda uygulanmakta olan programla makul bir şekilde ilgisi olan her tür sonuç (Y) için de geçerlidir.
  • 14. Program öncesi (Ex ante) ve Program sonrası (Ex post) Değerlendirme www.developmentanalytics.org  Ex ante değerlendirme programın olası etkilerini program müdahalesi gerçekleşmeden veri kullanarak tahmin eder. Program etkisinin bir simülasyonudur. (Örn: Fiyatlara gelecek bir zammın hanelerin yoksulluğuna olabilecek etkisi, çocuk bakımı sübvansiyonunun iş gücüne katılıma olası etkisinin simülasyonu)  Ex post değerlendirme program uygulandıktan sonra çıkan sonuçların değerlendirilmesidir. Programın gerçek etkisini ölçmeye çalışır.
  • 15. İki Etki Tahmini Müdahale Etme Niyeti (ITT) ve Müdahalenin Müdahale Görenlere Etkisi (TOT) www.developmentanalytics.org  Tahmin edilen etki olan α„ya “müdahale etme niyeti (intention-to- treat)” tahmini denir. Bu, programa gerçekten katılmalarından bağımsız olarak yalnızca programa katılmaları teklif edilmiş birimlere temel formül uygulandığında bulunan tahmindir.  ITT, programın hedeflediği popülasyondaki ortalama etkiyi saptamak istediğimiz durumlar için önemlidir. • Buna kıyasla, temel etki analizi formülü, programın teklif edildiği ve programa gerçekten katılan birimlere uygulandığında tahmin edilen etki α‟ya «müdahalenin müdahale görenlere etkisi (treatment-on-the-treated)» denir. ITT=TOT, tüm teklif alanlar programa katılırsa
  • 16. Karşıtgerçeklik (Counterfactual) www.developmentanalytics.org  Karşıtgerçeklik; bir program katılımcısı için eğer programa katılmasaydı, sonuç (Y)‟nin ne olmuş olacağının tahminidir. Program katılımcıları için sonuç (Y) Karşıtgerçeklik Karşıtgerçekliği gözlemleyemeyiz, tahmin edilmesi gerekir.
  • 17. Karşıtgerçeklik tahmini www.developmentanalytics.org  Bunu yapabilmek için kıyas grupları kullanırız («kontrol grubu» da denir).  Bu eğitimin geri kalanında karşıtgerçekliği doğru bir şekilde yeniden üretebilecek ya da taklit edebilecek geçerli (valid) kıyas grupları belirlenebilmesi için kullanılabilecek çeşitli metotlar üzerinde durulacaktır.  Bu kıyas gruplarının belirlenmesi etki analizinin püf noktasıdır.  Geçerli bir karşıtgerçeklik tahmini olmadan, programın etkisi saptanamaz.
  • 18. Kıyas Grubu www.developmentanalytics.org Geçerli bir kıyas grubu programa katılmamış olmaları haricinde programa katılanlarla («müdahale grubu») aynı özelliklere sahip olmalıdır. Geçerli bir kıyas grubu belirlemeden değerlendirme yapmaya karar verirsek ne olur?
  • 19. Karşıtgerçekliğin Sahte olan(Counterfeit) İki Tahmini Önce ve Sonrayı Kıyaslamak Müdahale Grubuyla Kontrol Grubunu Kıyaslamak www.developmentanalytics.org  Bir eğitim programına katılmayı seçmiş bir grup gencin ortalama geliriyle katılmamayı seçmiş bir grup gencin ortalama gelirlerinin kıyaslanması  Diyelim ki sonuçlar programa katılan gençlerin katılmayanlara göre iki kat fazla kazandığını gösteriyor olsun Nedenselliğin kurulması için önce-sonra kıyaslaması neden yeterli değildir? Neden müdahale ve kontrol gruplarının kıyaslanması nedenselliğin kurulması için yeterli değildir?
  • 20. Yanlış Örnek 1: Önce ve Sonrayı Karşılaştıran Analiz www.developmentanalytics.org Programın yaygınlaştırılmasını önerir misiniz?
  • 21. Yanlış Örnek 2: Müdahale Grubu ile Kontrol Grubunu Karşılaştıran Analiz www.developmentanalytics.org Programın yaygınlaştırılmasını önerir misiniz?
  • 22. Yanlı Seçim (Selection Bias) www.developmentanalytics.org  Değerlendirmenin kıyas grubu geçerli değilse, etkinin tahmini de geçerli olmayacaktır: programın doğru etkisini tahmin etmeyecektir.  İstatistiki terim kullanacak olursak, yanlı (biased) olacaktır. Neden programdan yararlanacakların kendi kendine karar verip programa katılmaları yanlı seçime sebep olur? Bu durumun yaşandığı bir örnek düşünebiliyor musunuz? Neden maksatlı program yerleştirmesi yapmak yanlı seçime sebep olur? Bu durumun yaşandığı bir örnek düşünebiliyor musunuz?
  • 23. Yanlı seçim = Gözlemlenemeyen heterojenlik www.developmentanalytics.org B = Yanlı seçimden dolayı yanılma
  • 24. Bugün öğreneceğimiz konular: www.developmentanalytics.org 1. Rastgele Değerlendirmeler (Randomized evaluations) 2. Eşleme yöntemleri (Matching methods), özellikle eğim skoru eşleme (Propensity score matching) 3. Çifte Fark yöntemleri (Double-difference (DD) methods) 4. Araç değişkenler metodu (Instrumental variable (IV) methods) 5. Regresyon süreksizliği yöntemi (Regression discontinuity (RD) design) Tüm bu metotlar bir karşıtgerçeklik kurup programın etkisini tahmin etmeye çalışır.
  • 25. Tebrikler ! www.developmentanalytics.org Etki Analizi Eğitimin 1. bölümünü tamamladınız. Eğitimlerimiz ile ilgili daha detaylı bilgi almak isterseniz bizimle kontağa geçebilirsiniz: Development Analytics 31 Mektep Sokak Emirgan - Istanbul research@developmentanalytics.org www.developmentanalytics.org