1.
プログラム評価セミナーⅠ アーバン・インスティテュート ( The Urban Institute ) 開発・原作 ： レイモンドＪ．ストライク ( Directed by Raymond J. Struyk ) 構成・提供 ： 上野真城子 ( Presented by Makiko Ueno )

2.
プログラム評価：概論 Program Evaluation : An Overview

3.
トピック <ul><li>はじめに - 目的、歴史、的確な「質問」 </li></ul><ul><li>プロセス評価又は実施評価 </li></ul><ul><li>インパクト（影響・効果）評価 </li></ul><ul><li>費用対効果分析 </li></ul><ul><li>終わりに </li></ul>

4.
１．はじめに - 目的、歴史、的確な「質問」 >> Section 1 <<

5.
政策プログラム（施策・事業）の事業活動･内容、 そしてその達成成果に関する情報の 系統だった システマチックな収集、まとめ これらはプログラムに判定判断を下し、プログラムの効果を改善し、そして / または将来のプログラム形成についての決定に情報提供するもの プログラム評価の定義 << プログラム評価①

6.
評価の「質問」は何か？ 評価で「何」を問うのか？ <ul><li>プログラム（政策介入）は目的とする対象層に到達しているか ? </li></ul><ul><li>プログラムは上手く実施されているか ? 意図したサービスは供給されているか ? </li></ul><ul><li>プログラムは期待する目標（便益）達成のために効果的なものか ? </li></ul><ul><li>プログラムの費用はいくらか ? </li></ul><ul><li>プログラムの費用は効果と便益という点で妥当か ? </li></ul><< プログラム評価①

7.
なぜプログラム評価が必要か？ <ul><li>フィードバックしプログラムを改善すること </li></ul><ul><li>説明責任（アカウンタビリティー）を高める </li></ul><ul><li>プログラム資金・経費の増減の判断に用いる </li></ul><ul><li>オーナ－シップ（所有感覚）を高める </li></ul><ul><li>評価結果は政策にインパクト（影響）を与えられる </li></ul><< プログラム評価①

8.
－評価小史－ <ul><li>アメリカでは初めての政策評価は教育と公衆衛生に関するもので、第一次世界大戦前に行われていた </li></ul><ul><li>第二次世界大戦後は住宅や職業訓練、国際援助プログラム関係、新しいプログラムの評価が盛んに行われた </li></ul><ul><li>社会実験・パイロットプログラムの興隆 </li></ul><< プログラム評価①

9.
－評価小史－ （続き） <ul><li>1970 年代初頭、 “評価”は学界での独立した分野になった </li></ul><ul><li>1960 年代半ばより、連邦政府省庁内に 政策開発 / 調査 / 評価局が作られた </li></ul><ul><ul><li>供給者としてのシンクタンク </li></ul></ul><ul><ul><li>顧客としての議会のスタッフと省庁 </li></ul></ul><< プログラム評価①

10.
的確な質問をつくること <ul><li>＜間違った始め方＞ </li></ul><ul><ul><li>評価者がクライアントに評価の目的や </li></ul></ul><ul><ul><li>分析方法を示すこと </li></ul></ul><ul><li>＜正しいすすめ方＞ </li></ul><ul><ul><li>プログラムに関わるステークホルダー（利害関係者）が プログラムについて欲しいと思う「質問をつくり出す」 </li></ul></ul><ul><ul><li>プロセス（過程、手順と時間）があること </li></ul></ul><< プログラム評価①

11.
評価において “ ステークホルダー ” とは誰か？ <ul><li>“ 基本的に意図する「評価」ユーザーとは” ・・・プログラムを変えることが出来る人 </li></ul><ul><ul><li>資金を出す人は評価ユーザーか </li></ul></ul><ul><ul><li>プログラムの実施管理者－上部管理者と現場第一線職員の両方 </li></ul></ul><ul><ul><li>顧客／受益者 特にプログラムへの参加率が低い場合 </li></ul></ul><< プログラム評価①

12.
プログラム評価セミナーⅠ アーバン・インスティテュート ( The Urban Institute ) 開発・原作 ： レイモンドＪ．ストライク ( Directed by Raymond J. Struyk ) 構成・提供 ： 上野真城子 ( Presented by Makiko Ueno )

13.
２．プロセス評価又は実施評価 >> Section 2 <<

14.
実施評価・プロセス評価 ＜実施・評価・プロセス評価とは・・・＞ プログラムが意図した通りに機能しているか、あるいは 適切な基準に沿っているかなどを示唆するプログラムの 業績についての系統的な記録・文書化 評価は、 （１）プログラムの行うサービスの実施行政局面 と （２）プログラム実施の組織と運営運用の局面 について一般に行われる << プログラム評価②

15.
評価とは 「判定的」 （ Judgmental ） なものである <ul><li>基準判断／判定の拠り所としては： </li></ul><ul><ul><li>プログラムの規定 ・・・ 資格認定基準の誤差率 </li></ul></ul><ul><ul><li>類似したプログラムの経験 ・・・ 参加率 ローンの返済率 </li></ul></ul><< プログラム評価②

16.
1) サービスの実施局面についての 評価の質問として～ <ul><li>サービスを受けている人がどのくらいいるか？ （受益者数）被サービス者数 </li></ul><ul><li>これらのサービスは意図した対象層であるか。 （偏りは？） </li></ul><ul><li>ターゲット層の構成メンバーはこのプログラム を知っているか？ </li></ul><< プログラム評価②

17.
ロシアの住宅手当のプログラム 受益者範囲とサービス対象層 （プログラム対象者） ( サービスの実施評価の事例） << プログラム評価②

18.
評価項目 質問 <ul><li>どのくらいの世帯が、実際にプログラムに参加したか？ </li></ul><ul><li>サービスは貧しい世帯に集中しているのか？ </li></ul><ul><li>参加者は行政機関の管理･対応に満足しているか？ </li></ul><< プログラム評価②

19.
背景 <ul><li>８０％の都市住宅は国に属していた （地方政府への所有権移譲） </li></ul><ul><li>１９９３年、厳しい家賃統制、膨大な補助金、 緊迫した地方政府予算 </li></ul><ul><li>１９９４年、賃貸料の値上げを許可 ただし住宅手当てがあった場合のみ </li></ul><< プログラム評価②

20.
プログラムの組み立て S = 手当額 MSR = 最大社会家賃 Ｙ = 世帯所得 ｔ = 受益前の住宅費への所得負担率 <ul><li>便益 : S = MSR – tY </li></ul><ul><li>資格 : (a) Y < Y* Y* = MSR/t (b) 国営またはコープ住宅 ：地方により他の保有形態の住宅 </li></ul><< プログラム評価②

21.
データ収集 <ul><li>“ 早期にプログラムが開始された”２つの都市 ・・・ Vladimir 市と Gorodetz 市 </li></ul><ul><li>調査対象の母集団のサンプル ・・・３００＆５００世帯 </li></ul><ul><li>プログラム参加者の追加サンプル </li></ul><ul><li>１９９４年の結果により１９９５年に繰り返し評価 </li></ul><< プログラム評価②

22.
住宅手当評価の結果：参加率について << プログラム評価② Vladimir 市 Gorodetz 市 年 1994 1995 1994 1995 “ t” .10 .15 .025-.10 .15 該当世帯（％） 46 45 55 19 該当世帯の参加率（％） 2.1 20.4 3.6 37.8

23.
収入別（５分割）による参加者の分布 << プログラム評価② 所得階層分類 Vladimir 市 Gorodetz 市 1 （最低所得） 63 58 2 23 37 3 11 4 4 2 - 5 ( 最高所得） 1 1

24.
クライアント（顧客利用者）の満足度 << プログラム評価② もっとも多く接触した担当職員の対応の評価 Vladimir 市 Gorodetz 市 Fully satisfied 全く満足 62 62 Satisfied 満足 23 27 More or less satisfied どちらともいえない 7 11 Not satisfied 不満 4 1 Not satisfied at all 全く不満 2 - No answer 2 -

25.
2) 組織と運営・運用局面 についての質問 <ul><li>必要なプログラムの機能が適切に果たされ実施されているか？ </li></ul><ul><li>プログラムの職員配備は機能を果たすために 人数と能力において十分なものか？ </li></ul><ul><li>プログラムに関わる他の機関と効率的に共同作業（コーディネーション）が行われているか？ </li></ul><ul><li>プログラムの資金・資源は効果的にそして効率的に使われているか？ </li></ul><< プログラム評価②

26.
( プログラム運営評価の事例） << プログラム評価② アメリカでの福祉改革の実施後のフードスタンプ（食料券）プログラムにおける参加率の変化

27.
新福祉制度：その１ <ul><li>旧来の福祉プログラム（ＡＦＤＣ）は、貧困母子世帯に現金扶助。フードスタンプと合わせて実施されていた </li></ul><ul><li>新しいプログラム（ＴＡＮＦ）はある期限付きの援助をする一方、福祉受益者を就労させることに重点を置くもの </li></ul><< プログラム評価②

28.
新福祉制度：その２ <ul><li>実施後： </li></ul><ul><ul><li>フードスタンプの利用者数が減った </li></ul></ul><ul><ul><li>“ 便益へのアクセス、サービスの受け易さ”への 疑問が浮上 </li></ul></ul><ul><li>評価の目的： </li></ul><ul><ul><li>プログラム運営行政の変化がフードスタンプの利用者数を減らす事につながったのかを判定すること </li></ul></ul><< プログラム評価②

29.
評価：フィールドワーク <ul><li>２つのプログラムの運営運用局面に関する詳しい分析 </li></ul><ul><li>２４オフィス：８州、それぞれ３つの福祉事務所 </li></ul><ul><li>チームは顧客サービスを調査する </li></ul><ul><ul><li>プログラムへのアクセスのしやすさ </li></ul></ul><ul><ul><li>サービスの質 </li></ul></ul><ul><ul><li>受益者（顧客）の雇用に向けたサポートサービスの 受け易さ </li></ul></ul><< プログラム評価②

30.
評価：フィールドワーク（続き） <ul><li>州政府機関のスタッフのインタビュー </li></ul><ul><li>地方政府のスタッフのインタビュー： </li></ul><ul><ul><li>ディレクター、ケースワーカーの管理者 </li></ul></ul><ul><ul><li>ケースワーカープログラム統括責任者 </li></ul></ul><ul><li>サービス提供者、事業所、クライアント代弁者（ NPOs,NGOs ）とのフォーカス・グループ （グループ・ディスカッション） </li></ul><< プログラム評価②

31.
評価分析結果 新しい運営制度はフードスタンププログラムの申請を妨げている <ul><li>フードスタンプ申請前に雇用関係のスタッフとの多数のインタビュー </li></ul><ul><li>フードスタンプ申請前に雇用オフィスを尋ねることが必要条件 </li></ul><ul><li>新福祉制度のもとでのルール違反フードスタンプ利用者に対する制裁の強化 </li></ul><< プログラム評価②

32.
プログラム評価セミナーⅠ アーバン・インスティテュート ( The Urban Institute ) 開発・原作 ： レイモンドＪ．ストライク ( Directed by Raymond J. Struyk ) 構成・提供 ： 上野真城子 ( Presented by Makiko Ueno )

33.
３．インパクト（影響・効果）評価 (1) >> Section 3-1 <<

34.
1) インパクト評価 介入プログラムの純成果 ＝総成果（グロス・アウトカム） － 他の要因による効果（交絡要因） << プログラム評価③

35.
影響を与える交絡要因 <ul><li>選択におけるバイアス </li></ul><ul><ul><li>コントロール（対照）集団と処理集団の違い </li></ul></ul><ul><li>社会変化要因 </li></ul><ul><ul><li>長期的傾向 （例）出生率、持ち家率、世帯収入 </li></ul></ul><ul><li>阻害要因 </li></ul><ul><ul><li>自然災害によるプロジェクトの質の低下 </li></ul></ul><ul><li>ホーソン効果 </li></ul><< プログラム評価③

36.
「評価」デザインの方法 <ul><li>ランダムアサインメント・コントロール </li></ul><ul><ul><li>対象者は、２つの集団、プログラム介入を受ける実験 集団と、介入を受けない対照集団に振り分けられる </li></ul></ul><ul><li>準実験法 </li></ul><ul><ul><li>１．マッチング・コントロール 実験集団と対照集団を「等質」とする </li></ul></ul><< プログラム評価③

37.
「評価」デザインの方法（続き） <ul><li>準実験法（続き） </li></ul><ul><ul><li>２．統計的等化コントロール 参加・非参加層を統計手法によって比較する </li></ul></ul><ul><ul><li>３．再帰（回顧）コントロール プログラム受益グループ自身の受益前と受益後 を比較する。 </li></ul></ul><< プログラム評価③

38.
ランダム・アサインメント ～ケース・スタディ～ （例）青年職業訓練隊 ジョブコープログラム評価 <ul><li>青年職業訓練 ： 組織ベース </li></ul><ul><li>質問： </li></ul><ul><ul><li>プログラムは参加者の雇用促進や収入増加につながっているか？ </li></ul></ul><< プログラム評価③

39.
ランダム・アサインメント ～ケース・スタディ～ ジョブコープログラム評価（続き） <ul><li>デザイン： １９９４、１９９５年の全米の有資格応募者に ついて、ランダムのサンプルをとり実験集団と対照集団 を作った </li></ul><ul><li>４年以上にわたり追跡調査、複数回のインタビューを 両グループに行う </li></ul><ul><li>トレ－ニングセンターでの実地調査と、インタビュー調査を行う </li></ul><< プログラム評価③

40.
<ul><li>プログラムサービスは全米のセンターにおいて総合的に 一貫性をもって行われていた </li></ul><ul><li>プログラムは参加者の教育や職業訓練を１，０００時間 増やした（学校教育と同時間） </li></ul><ul><li>プログラム参加後 4 年目に、参加者は対象集団に比べ 年間＄１，１５０以上多く（１２％高）稼いだ </li></ul><< プログラム評価③ ランダム・アサインメント ～ケース・スタディ～ ジョブコープログラム成果

41.
<ul><li>プログラムは犯罪（１６％）や生活保護にまきこまれる割合を明らかに減らした </li></ul><ul><li>薬物使用や出生率には影響が見られなかった </li></ul><ul><li>参加者一人当たり約１４，０００ドル費用がかかったものの費用に対しては効果は高かった </li></ul><< プログラム評価③ ランダム・アサインメント ～ケース・スタディ～ ジョブコープログラム成果（続き）

42.
プログラム評価セミナーⅠ アーバン・インスティテュート ( The Urban Institute ) 開発・原作 ： レイモンドＪ．ストライク ( Directed by Raymond J. Struyk ) 構成・提供 ： 上野真城子 ( Presented by Makiko Ueno )

43.
３．インパクト（影響・効果）評価 (2) >> Section 3-2 <<

44.
2) 統計的手順を用いた 等化グループ比較ということ－要点 準実験のデザインのための基本的アプローチ 回帰分析の結果を用いる意味： 他の要因を管理すれば、独立変数（処置）の係数は従属変数（結果・アウトカム）にインパクトを与える << プログラム評価③

45.
統計的コントロール ～ケース・スタディー～ 兄姉メンター（良き師）プログラム <ul><li>集中的個人指導メンタープログラムは問題を抱えた青少年を学校に通わせ非行に走らないようにデザインされた </li></ul><ul><li>メンタ－と青少年はプログラムに適当であるかどうか審査される </li></ul><ul><li>メンタ－と青少年は月２－４回、３－４時間会う </li></ul><ul><li>活動は学校につなぐものではなく、 スポーツイベントの参加や食事といった多様な活動を通して行われる </li></ul><< プログラム評価③

46.
兄姉メンタ－プログラム 「評価」デザイン <ul><li>８都市のプログラム </li></ul><ul><li>プログラムの応募者はランダムに実験集団と対照集団に指定された </li></ul><ul><li>１，１３８人が研究登録され、彼らの行動は１８ヶ月以上モニターされた </li></ul><< プログラム評価③

47.
兄姉メンタ－プログラム 統計モデル <ul><li>回帰分析はプログラム加入時点での状況、機関の違い、プログラム参加の期間など差をコントロールするために用いられた </li></ul><ul><li>コントロール変数の例 : 年、性別、人種、落第年数、虐待の有無、家族の特徴（収入、福祉受益者） </li></ul><ul><li>プログラムはダミー（０ / １）係数によって効果の有無が計られた </li></ul><< プログラム評価③

48.
兄姉メンタ－プログラム 評価結果 <ul><li>このプログラムの受け手グループはドラッグを使用し始める傾向が 45 ％低い </li></ul><ul><li>このプログラムの受け手グループは 32 ％暴力を振るわない傾向にある </li></ul><ul><li>このプログラムの受け手グループは両親のより強い絆がある </li></ul><ul><li>社会活動や文化活動の参加の頻繁さなどにおいて明らかな違いは見られない </li></ul><< プログラム評価③

49.
3) 再帰コントロール ～ケース・スタディー～ 民間営利企業による住宅管理サービス委託プログラム <ul><li>モスクワでの民間企業による住宅管理サービス・コントラクトの生活環境の質向上の効果 － 民間企業が公共自治体機関より 良い仕事をするであろう － </li></ul><< プログラム評価③

50.
民間企業による 住宅管理サービスプログラム 背景 <ul><li>モスクワの住宅の９０％は市によって維持管理されている （民営化によって所有割合は減少） </li></ul><ul><li>１９９３年では全ての住宅は市営維持管理会社によって管理されていた（無競争） </li></ul><ul><li>住宅内の公共のスペースはとても汚く、住人が改善を要求していた </li></ul><ul><ul><li>遅い返答、仕事の質が悪い、支払いが悪い </li></ul></ul><< プログラム評価③

51.
パイロット・プロジェクト <ul><li>民間企業のみの入札コンペ </li></ul><ul><li>維持サービスを提供する企業（マネージメントではなく） </li></ul><ul><li>１９９３年３月： </li></ul><ul><ul><li>３グループ（典型的な 2000 戸）、３会社が落札 </li></ul></ul><ul><li>１９９３年９月： </li></ul><ul><ul><li>４グループ（良質な 5000 戸）、２企業が落札し、 各々２ヶ所ずつ担当 </li></ul></ul><< プログラム評価③

52.
テナントを使った 再帰コントロール・デザイン <ul><li>＜３月のプロジェクト＞ </li></ul><ul><ul><li>調査は３００世帯を対象に１９９３年の２月、５月、１１月に 行われた </li></ul></ul><ul><li>＜９月のプロジェクト＞ </li></ul><ul><ul><li>調査は３７９世帯１９９３年の９月（前）、１９９４年の１月に行われた </li></ul></ul><ul><li>各回、同じ人（世帯）にインタビューを行った </li></ul><< プログラム評価③

53.
結果 － ３月グループ <ul><li>修理 </li></ul><ul><ul><li>３月～５月：明らかな改善が見られた </li></ul></ul><ul><ul><li>５月～１１月：少し改善度合いは減少したが それでも良くなっている </li></ul></ul><ul><li>維持 </li></ul><ul><ul><li>３月～５月まで広範囲での改善が見られた 特に１１のうち９分野で著しく良くなった </li></ul></ul><ul><ul><li>５月～１１月：混合した結果 </li></ul></ul><< プログラム評価③

54.
結果 － ９月グループ <ul><li>修理 </li></ul><ul><ul><li>入り混じった結果：例 </li></ul></ul><ul><ul><ul><li>最初の臨検での修理の完了は徹底した修復で良くなっていた </li></ul></ul></ul><ul><ul><ul><li>しかし、修理に完全に満足していた回答者は少ない </li></ul></ul></ul><ul><li>維持 </li></ul><ul><ul><li>パフォーマンス（業績）については少なくとも市営会社と同じ </li></ul></ul><ul><ul><li>１１のうち８の分野で改善が見られた </li></ul></ul><ul><ul><li>しかし２つの重要な点で劣化 : 入り口の状態と電灯がきれていない </li></ul></ul><< プログラム評価③

55.
評価の結論 <ul><li>民間会社は市営会社よりも建物管理において、やや勝る </li></ul><ul><li>民間会社の方が費用がかからない </li></ul><ul><li>結果は </li></ul><ul><ul><li>競争入札を通して管理会社を決める事をモスクワ市と他の市が確認 </li></ul></ul><ul><ul><li>連邦政府が国の政策として競争購入を採用することを奨励 </li></ul></ul><< プログラム評価③

56.
プログラム評価セミナーⅠ アーバン・インスティテュート ( The Urban Institute ) 開発・原作 ： レイモンドＪ．ストライク ( Directed by Raymond J. Struyk ) 構成・提供 ： 上野真城子 ( Presented by Makiko Ueno )

57.
４．費用対効果分析 >> Section 4 <<

58.
定義 費用対効果分析は 実用的で系統的手順の一組の方法であり 、評価者はプログラムの総費用と便益を現金価値で置き換え示すことに使うことができる 効率的なプログラムとは得られたすべての便益がかかった全ての費用を上回るもの B ／ C ＞１ （ B ：便益、 C ：費用） << プログラム評価④

59.
費用対効果分析 <ul><li>評価者がプログラム便益を 現金価格に置き換えられない がしかしプログラムの目的が明確で単一であるかまたは目的間の関係が十分明らかである場合に用いられる </li></ul><ul><li>例： </li></ul><ul><ul><li>車のシートベルトの設置によって救われる命あたりの 設置コスト </li></ul></ul><< プログラム評価④

60.
費用対効果分析の主要な問題 <ul><li>複数の便益を持つプログラムを取り扱うのは難しい </li></ul><ul><li>単に B/C 率だけでは結論づけできない </li></ul><< プログラム評価④

61.
費用対効果分析の問題と限界 －まとめ－ <ul><li>測定の問題－ 仮説仮定の必要性 </li></ul><ul><li>実体のないものは重要な費用対効果率に含まれない </li></ul><ul><li>分配の問題は無視されるー便益を受けたのは誰か、支払っているのは誰か </li></ul><ul><li>因果関係－ 結果対インパクト </li></ul><ul><li>分析の適用に一貫性の欠如 </li></ul><ul><li>結果を操作する事ができる </li></ul><< プログラム評価④

62.
５．終わりに >> Section 5 <<

63.
プログラム評価 －終わりに－ <ul><li>評価への積極的な取り組みを </li></ul><ul><li>的確な設問をつくること </li></ul><ul><li>評価の質を維持する </li></ul><ul><li>外部の評価を促進する </li></ul><ul><li>よい評価は安価ではない </li></ul><< プログラム評価⑤