Recommandé
Contenu connexe
Tendances
Tendances (20)
Plus de takehikoihayashi
Plus de takehikoihayashi (8)
環境分野における"EBPM"の可能性と危うさ：他山の石として
- 2. ⾃⼰紹介｜どんな研究をしているのか ⽣態リスク評価、確率的リスク分析、因果推論 Yij θAlgae σjMeans SDθFish Sensitivity differences among taxonomic groups Normal distributions Log(NOEC) Parameters were estimated by MCMC simulations θInvertebrate 階層ベイズモデルとモンテカルロシミュレーションを ⽤いた化学物質の⽣態リスクの定量化とリスク⽐較 Hayashi & Kashiwagi (2009) Hayashi & Kashiwagi (2010) Monte Carlo Analysis EPAF = F µECD - µSSD sECD 2 + sSSD 2 æ è ç ç ö ø ÷ ÷ µECD µSSDsECD sSSD Calculation of predictive distribution of EPAF Posterior distributions of ECD parameters Posterior distributions of SSD parameters Results: Quantitative Risk Comparison Median and 90% range of EPAF log10(EPAF) Large Risk→←Small Risk Chemicals Ammonia Copper Nickel Zinc Hayashi and Kashiwagi (2011)
- 3. ⾃⼰紹介｜どんな研究をしているのか 『はじめてのバックドア基準』 （Pearlの関数的因果モデルの解説） ⽣態リスク評価、確率的リスク分析、因果推論 ネオニコチノイド系農薬の ⾚トンボへの影響の因果推論 !",$ = &",$ − &"(),$ &"(),$ = +) ,-./)," − ,-./),"() + ⋯ + +2 ,-./2," − ,-./2,"() ++" 3-45" + 6)7)," + ⋯ + 6878," 背景知識からの因果モデルの構築 バックドア基準に基づく 統計モデルの構築 因果効果の推定
- 6. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか？ 序. 背景として考えていること：”エビデンス は棍棒ではない” 結. 結局のところ背景として考えていること： “エビデンス、コンテクスト／ナラティブ、規 範的検討のベストミックスへ”
- 7. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか？ 序. 背景として考えていること：”エビデンス は棍棒ではない” 結. 結局のところ背景として考えていること： “エビデンス、コンテクスト／ナラティブ、規 範的検討のベストミックスへ”
- 8. 2019/3/11 14:00-16:45@国⽴環境研究所 エビデンスは棍棒ではない --- われわれは価値／規範と公共政策に ついていかに語りうるのか (0) 林岳彦（国⽴環境研・環境リスク健康研究センター） 『規範的リスク分析を待ちながら --- 趣旨説明』 (1) 佐野亘（京都⼤学・地球環境学堂） 『なぜ規範的政策分析か？−公共政策学における価値と規範』 (2) 江守正多（国⽴環境研・地球環境研究センター） 『気候科学は社会の価値にどう向き合うか』 (3) 加納寛之（⼤阪⼤学・⼈間科学研究科） 『環境分野におけるエビデンスに基づく政策形成の適⽤に向けて: エビデンス概念 の整理と評価軸の検討』 (4) 村上道夫（福島県⽴医科⼤学医学部健康リスクコミュニケーション学講座） 『リスクと"価値"：福島災害後の経験から』
- 17. と思っていた時期もありました
- 21. 本当にそれでよいのか？
- 35. 集会当⽇の趣旨説明 （ここまで）
- 36. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか？ 序. 背景として考えていること：”エビデンス は棍棒ではない”（Science-Policy Interface） 結. 結局のところ背景として考えていること： “エビデンス、コンテクスト／ナラティブ、規 範的検討のベストミックスへ”
- 37. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか？ 序. 背景として考えていること：”エビデンス は棍棒ではない”（Science-Policy Interface） 結. 結局のところ背景として考えていること： “エビデンス、コンテクスト／ナラティブ、規 範的検討のベストミックスへ”
- 38. ⼤阪⼤学⼤学院 ⼈間科学研究科 環境分野へのEBPMの導⼊に向けての 概念とフレームワークの整備 加納寛之 国⽴環境研究所 環境リスク・健康センター 林岳彦 I. ＊同内容の英語論⽂をEnvironmental Science and Policy誌に投稿中
- 39. 課題発⾒のための視点×制度化段階マトリックス （⼀枚紙の配布資料） Phase 前制度化段階 制度化段階 ポスト制度化段階 フレームワークの運⽤ Perspective ⽅法論的厳格性 問題の学術的な理解について不明瞭な点が多い。(Pre- R) 問題の学術的な標準的な理解が確⽴する。 (Mid-R) 研究がさらに進み、問題の細部の解明が進む。 (Post-R) エビデンスの提供者(科 学者・専⾨家等)がエビ デンスを評価・伝達す る際に念頭に置く必要 のある参照項⽬ 当該問題に関わるそのとき得られる知⾒が、どのような⼿法によって得られた ものかを明⽰し、エビデンスとしての有効性を評価しているか？ エビデンスを創出する科学的⽅法論や研究デザインの強みと限界を明⽰してい るか？ ⼀貫性 エビデンス間の関係性を検討できるほど学術研究が進展 していない。(Pre-C) エビデンス間の関係性が検討できるようになる。 (Mid-C) より詳細にエビデンス間の関係性を検討することが可能 になる。 (Post-C) 研究の進展に応じて、エビデンスの主張、不確実性、影響・被影響関係の整合 性の把握に努めているか？ 最終的な結論を⽀持/留保する論拠の各々に対し、関連するエビデンスの主張、 不確実性、影響・被影響関係を体系的に把握しようと努めているか？ 近接性 科学的知⾒の政策的意義が不明確であり、研究成果が政 策形成に結びつき難い。(Pre-P) 研究が進むことでエビデンスの基準が確⽴し、研 究成果と政策対象の関連性が把握しやすくなる。 それに伴い、政策的対応のガイドラインが整備さ れる。(Mid-P) 問題がプロトコルやガイドラインに則って理解されるこ とで、そこから逸脱する事象が切り捨てられる傾向が⾒ られるようになる。(Post-P) エビデンスの提供者が、 エビデンスを政策に適 ⽤に際し、活⽤者と協 調するために念頭に置 く必要がある参照項⽬エビデンスの内容と政策対象の関連性はあるか？ 近接性が想定できない場合、近接性の⽋如に⾃覚的か？ エビデンスの内容と政策対象の関連性はあるか？ 近接性の射程について⾃覚 し、射程の外部に対して総合的な考慮をしているか？ 社会的適切性 当該問題に関するエビデンスが⼗分にない状況において、 個別ケースごとに科学者や研究グループの社会的価値判 断が要求される。(Pre-A) エビデンスの⽣産に関わる科学的⽅法論やエビデ ンス基準に社会的価値判断が反映される。(Mid-A) 制度設計の⽔準に社会的価値判断が反映される。(Post- A) エビデンスの提供者が エビデンスの創出・活 ⽤に際し、念頭に置く 必要のある参照項⽬ エビデンスの欠如を理由に、過小な政策的対応になって いないか？ある仮説を採用、棄却、保留する判断を、そ の判断が招く社会的帰結の深刻度を考慮して決定してい るか？ 型に嵌った判断に終始しないで、その都度、当該 問題に対する研究デザインの意義を検討している か？ フレーミングの限界を認識し、必要に応じて再課題化を 促しているか？ 正統性 研究者による⾃発的な研究や、原因究明のための委託研 究に対する政治的関与のあり⽅が問われる。(Pre-L) エビデンスの基準の設定と運⽤に対する政治的関 与のあり⽅が問われる。(Mid-L) 科学的⾒解の統制における議論の進め⽅や研究者の選定 の仕⽅に対する政治的影響のあり⽅が問われる。(Post- L) エビデンスの提供者が、 エビデンスの創出と運 ⽤が置かれる環境に関 し、念頭に置く必要の ある参照項⽬ 当該問題の理解を深めるために様々な可能性を顕在化し ようと働きかけているか？過剰なエビデンスの⽔準が課 されることで、政策的対応の不作為が免れていないか？ エビデンスの要求レベルを不当に操作することで、 過剰な政治的⾃律性が許容されていないか？利益 相反に注意を払っているか？ 都合の良い専⾨家の選別を通して、特定の政策路線の強 化を促していないか？ 軸の関係性 エビデンスの⽅法論的厳格性や⼀貫性に関し不明瞭な点 が多いため、エビデンスと政策対象との近接性が測り難 い。この段階では、エビデンスレベルに縛られない予防 的対策も考慮する必要があり、社会的適切性と正統性は しばしば緊張関係にある。すなわち、政策決定の根拠と して科学者の社会的価値判断を重視することは正統性を 侵⾷する危険性があるが、政策判断を科学者側に課すこ とで説明責任の転化を招く危険性もある。 ⽅法論的厳格性と⼀貫性の点でエビデンスの質が 向上することで、近接性の判断も可能になる。た だし、エビデンスの質と近接性はしばしばトレー ドオフの関係にある。これら前者⼆つの科学的視 点と近接性のバランスは純粋に科学的に決められ るわけではなく、社会的適切性や正統性の視点に 照らし合わされて決まられる。 研究が進み⽅法論的厳格性と⼀貫性に関して質の⾼いエ ビデンスの創出が可能になることで、より詳細に近接性 を測れたり、適切な課題設定が可能になる。ただし、気 候変動問題のように、問題の性質によっては正統性の視 点が他の視点に⽐べ前⾯に出ることで、近接性や社会的 適切性に関する問題の捉え⽅をも規定するようになる。 (※フレームワーク⾃体が政 策プロセスを評価する第三 者のための参照項⽬として 機能することを想定してい る)
- 40. 背景｜ ”EBPM”の世界的なムーブメント 参考⽂献：三菱UFJリサーチ＆コンサルティング（2016) 『エビデンスで変わる政策形成』 英国での動き（“EBPM”の前段的活動） ・EBM; コクラン共同計画（1993-） RCTを中⼼とした臨床試験等の系統的レビューに より、有効な治療施策の情報を統合 「根拠に基づく医療（Evidence-Based Medicine） 」に よる医療実践の標準化と普及へ - - ・キャンベル共同計画（1999-） 社会政策（教育・刑事司法・社会福祉）の分野に おける⽐較試験の系統的レビューによる統合 -
- 41. 背景｜ ”EBPM”の世界的なムーブメント 政策効果に関するエビデンスの構築・伝達・利⽤を 促進するための“What Works Centre”を設置・拡⼤ 英国での動き（“EBPM”の導⼊と拡⼤） 労働党ブレア政権（1997年-）から導⼊され、保守 党キャメロン政権でも継続（背景に財政難もあり） ■ ■ ・取り扱っている政策分野は、教育、貧困・格 差解消、地域経済活性化、福祉等 ・予算は政府機関から出資されていることが多 いが、政府とは独⽴した運営形態 (“Arm’s Length”の距離感） 参考⽂献：三菱UFJリサーチ＆コンサルティング（2016) 『エビデンスで変わる政策形成』
- 43. 背景｜ ”EBPM”の世界的なムーブメント ・2017年に超党派の動きにより『エビデンスに基づく 政策形成のための基盤法』が導⼊ 今後、各省庁は毎年「エビデンス構築計画」を⽴て 主任データ官と主任評価官の任命を⾏うこととなる (Foundations for Evidence-Based Policymaking Act of 2017) ⽶国での動き（“EBPM”の導⼊と拡⼤） オバマ政権&OMBの主導で事業への補助⾦の分配や 予算要求等において質の⾼いエビデンスを要件とす る取り組みが導⼊ "No evidence, no money"という新たな⾏政的ルール が⼀部定着しつつある ・ 参考⽂献：三菱UFJリサーチ＆コンサルティング（2016) 『エビデンスで変わる政策形成』
- 49. (1) 特徴｜“近年流⾏している”EBPMの特徴（1/2） ■ 狭義の／広義の”EBPM概念”が併存・混在する “EBPM”の定義 by OECD (2007)(1) 政策オプションの中から決定し選択する際に、現在最 も有益なエビデンスを誠実かつ明確に活⽤すること OECD (2007) Knowledge Management: Evidence in Education ‒ Linking Research and Policy より引⽤ “EBPM”の定義 by 内閣官房⾏政改⾰推進本部(2) https://www.kantei.go.jp/jp/singi/toukeikaikaku/kanjikai/dai5/siryou1.pdfより引⽤（下線部ママ） 証拠に基づく政策⽴案(EBPM)とは、(1)政策⽬的を明確 化させ、(2)その⽬的のため本当に効果が上がる⾏政⼿ 段は何かなど、「政策の基本的な枠組み」を証拠に基 づいて明確にするための取組
- 50. (1) 特徴｜“近年流⾏している”EBPMの特徴（1/2） ■ ⾮常に狭い概念範囲が想定されることも多い ⾮常に限定された"エビデンス"概念の使⽤・ ⾮常に限定された"政策形成"概念の使⽤・ 本報告では上記の狭い概念定義に基づくEBPMを ”狭義のEBPM ”と呼ぶ エビデンス＝政策効果に関する統計的因果推論に よる分析結果（ランダム化⽐較試験によるものを理想とする） （ “政策形成”は本来とても広い概念であるのに） 「政策効果のインパクト評価」のみが考慮内 「政策形成」全体からみると「効果の評価・検証」のフェーズはそのほんの⼀ 部に過ぎないので、"EBPM"というより"EBPT(esting)"のほうがより実態に近い EBPM推進の予算配分ではしばしば狭いエビデンス概念に基づく要件化が⾏われる
- 51. (1) 特徴｜"近年流⾏している"EBPMの特徴（2/2） ■ “エビデンスヒエラルキー”がとかく強調されがち エビデンスの質 = 因果関係の特定能⼒ 序列化可能で⼀次元的な“エビデンス観”が根強い ・ 質が低い 質が⾼い ランダム化⽐較試験・メタアナリシス 擬似実験・⾃然実験 純粋な観察研究 専⾨家意⾒
- 53. (2) 種類と役割｜環境分野のエビデンスの特徴（1/3） ■ 多様な"政策に資するエビデンス"がある “エビデンスヒエラルキー”の外側にあるもの・ 政策効果そのものに関わるものではないもの・ - 気候モデルを使ったシミュレーションの結果 - 蜜や花粉への農薬残留濃度データからのモンテカルロ シミュレーションによる曝露濃度推定の結果 etc... - 地表気温、対流圏気温、成層圏オゾン等の観測データ - ⽣物毒性試験、毒性機序の⽣理学的知⾒、放射性物質 の環境中動態測定 etc... 狭い“エビデンス”概念では捉えきれない要素が多い
- 54. (2) 種類と役割｜環境分野のエビデンスの特徴（2/3) ■ “多様なエビデンス”が総合的に判断される - 多様なエビデンスを網羅的に参照し、メリットとデメ リット、不確実性をオープンにしながら、専⾨家によ る総合的な判断により最終的な結論を導出 環境政策における意思決定ではエビデンスヒエラ ルキーだけが重視されての判断は⼀般に稀である ・ “Weight of Evidence” アプローチ 制度化の進展した分野では「良いエビデンス」を 規定する合意されたプロトコルによる判断も多⽤ ・ ⾮ヒエラルキー的・多次元的な“エビデンス観” e.g., WHO (2009) （⼀⽅で、不明瞭な意思決定を⽣み出す要因となりうる）
- 55. (2) 種類と役割｜環境分野のエビデンスの特徴（3/3) ■ “⽴法事実型”エビデンスが中⼼ “効果検証型”エビデンス：政策アウトカムの検証・ - 環境分野でのエビデンスは”評価・検証”以前の 政策形成過程で役割を果たすことが多い “狭義のEBPM”で念頭に置かれるエビデンスはこちら “⽴法事実型”エビデンス：政策形成・実施の⼟台・ -「現状がどのようで、これからどのように、何が起こ り得るか」の認識の共有に資する - 殆どの⼈の「”エビデンス”が重要」はこちらを念頭 （また現実として先ず危機的な事態なのもこちら） -「What Works (何が有効か)」がモットー
- 59. (3) 評価の視点軸｜先⾏研究 • 科学的知⾒の⽣産に着⽬ CRELE: Credibility Relevance Legitimacy ACTA: Applicability Comprehensiveness Timing Accessibility Cash et al. 2003 など • 科学的知⾒の活⽤に着⽬ Dunn and Laing 2017 など 科学-政策境界(SPI)の研究では、エビデンスの有効性 を広い視点から考える重要性が指摘されてきた ■ 知識の信頼性(=質)の他に、 政策課題との関連性や、知識 ⽣産が特定の利害に与してい ないことが重要 活⽤者の視点から、知識 の応⽤可能性や包括性、 知識獲得のタイミング、 アクセス性を考慮するこ とが重要 エビデンス評価は”⽣産”と”利⽤”の双⽅に関わる
- 60. (3) 評価の視点軸｜概念軸の全体像 ■■ 先⾏研究を踏まえた上で以下の5軸を考慮 ①⽅法論的厳格性 ②総体的⼀貫性 ③⽂脈的近接性 ④社会的適切性 ⑤政治的正統性 Scientificな視点 Social/Poli^calな視点 エビデンスの⽣産から活⽤に渡り“ヌケモレ”の ないエビデンス検討の基盤が必要 ・
- 61. (3) 評価の視点軸｜⽅法論的厳格性 ■⽅法論的厳格性：「科学的⽅法論の質」の視点 科学的⽅法論の質の違いを認識することが重要 帰納的推論の質：“エビデンスヒエラルキー” - 帰納的推論に関する⽅法論的厳格性 ・ 理論・シミュレーション研究の質・ 計測の質・ - 演繹的論理の内的整合性（体系内部での⾃⼰検証はしばしば困難） - 計測に関する⽅法論的・技術的適切性 ⼀貫性・近接性・適切性・正当性を保証しない（後述） 独⽴な観察事実等との整合による検証（→”総体的⼀貫性”） 技術認証やガイダンス等による標準化による質の担保
- 62. (3) 評価の視点軸｜総体的⼀貫性 ■総体的⼀貫性：「複数の知⾒の整合性」の視点 多様なエビデンスの相互関係の頑健な評価が重要 質的に異なりうる複数のエビデンスの”アンサンブ ル評価” ・ - 多様なエビデンスを網羅的に参照し、メリットとデメ リット、不確実性をオープンにしながら、専⾨家によ る総合的な判断により最終的な結論を導出 “Weight of Evidence” アプローチ e.g., WHO (2009) - シミュレーション結果と、独⽴に得られた観察事実の 整合をもってエビデンスの総体的な頑健性を評価 ロバストネス評価
- 65. (3) 評価の視点軸｜社会的適切性 ■社会的適切性：「ELSIやメタ的合⽬的性」の視点 エビデンス創出・活⽤のEthical, Legal, Social Issues・ メタ的合⽬的性とフレーミングの適切性・ - （例）動物実験によるデータ取得の認可 - （例）統計検定で偽陰性/偽陽性のどちらを避けるかの判 断は過⼩/過剰規制の問題と直結する - 階層的なズレ: 上位⽬標と個別政策の⽬標の不⼀致 - ⽔平的なズレ: 特定の政策⽬標の追求と他の価値・利害と の衝突（例：集団平均効果では有効だが⼀部のヒトに強く有害） EBPMではtacticsの話に終始しがちだがそもそもの Strategy/フレーミング設定の適切性の吟味が重要
- 67. (3) 評価の視点軸｜政治的正統性 ■政治的正統性：「運⽤のガバナンス」の視点 ポピュリズムと専⾨家⽀配の間のバランスと ⼿続き的公正性を認識することが重要 市⺠／政策⽴案者／専⾨家の⾮対称性とバランス・ 政治的正統化の正と負の側⾯・ - エビデンスの偏重は専⾨家⽀配による弊害をもたらしうる - ⼀⽅、エビデンスの軽視は⾮合理的な意思決定や責任者不 在のポピュリズムの原因となりうる - 財政的な援助や、国等の統計調査が豊富にあることは政策 の基盤となるエビデンスを充実させる - ⼀⽅、政治的な意図をもった援助は”Policy-Based Evidence Making”へと転倒しうる
- 69. (3) 評価の視点軸｜考察 (1/2) ■■ “狭義のEBPM”の射程を⾒極めることが重要 ②総体的⼀貫性 ③⽂脈的近接性 ④社会的適切性 ⑤政治的正統性 Scientificな視点 Social/Poli^calな視点 ①⽅法論的厳格性 個々のエビデンスの⽅法論的 厳格性の考慮は重要であり 研究者はその質の吟味に対し て⼤きな責任を果たすべき であると同時に それはエビデンスの捉える上 での諸観点のうちの⼀つでし かないことの⾃覚も重要
- 70. (3) 評価の視点軸｜考察 (2/2) ■ 科学と政策の双⽅との関連性をいかに担保するかと いう視点が、政策形成の中で意識される必要がある ②総体的⼀貫性 ①⽅法論的厳格性 ④社会的適切性 ⑤政治的正統性 Scientificな視点 Social/Politicalな視点 ③⽂脈的近接性 環境分野の”エビデンス”を議論する上ではレギュ ラトリーサイエンスに関わるこの部分が特に重要
- 72. (4) 科学の制度化｜科学と政治の相互作⽤段階 前パラダイム段階: 問題の学術的・社会的な外延が不明瞭 パラダイム段階: 問題の学術的解明が終わり、制度化が進⾏ ポストパラダイム段階: 制度外の問題の再認知と再調査 エビデンスの活⽤が置かれる状況は科学の制度化の 段階に依存する。化学物質過敏症の場合(cf. ⽴⽯ 2011) ・ ・ ・ - エビデンスに関するプロトコルが確⽴する。(プロトコルの外部が切り 捨てられる) - 診断基準の確⽴、症状を誘発する物質の特定、化学物質濃度の測定技 術の確⽴、化学物質に対する規制、標準的な治療法の確⽴が進む。 - 様々な可能性を表に出すために⾊々なエビデンスが検討対象になる - これまでの治療・対策の枠組みで溢れ落ちてきたアレルギーや⼼⾝疾 患、慢性疲労性症候群と化学物質過敏症の関連性が指摘される - 確⽴したエビデンスのプロトコルが運⽤される。 - 原因物質や判断基準が明確になったことで、「基準値を満たす」ことが 「化学物質過敏症ではない」こととして扱われることが問題となる。 ■ EBPMの実装における論点は制度化段階により異なる（次⾴）
- 73. 課題発⾒のための視点×制度化段階マトリックス （⼀枚紙の配布資料） Phase 前制度化段階 制度化段階 ポスト制度化段階 フレームワークの運⽤ Perspective ⽅法論的厳格性 問題の学術的な理解について不明瞭な点が多い。(Pre- R) 問題の学術的な標準的な理解が確⽴する。 (Mid-R) 研究がさらに進み、問題の細部の解明が進む。 (Post-R) エビデンスの提供者(科 学者・専⾨家等)がエビ デンスを評価・伝達す る際に念頭に置く必要 のある参照項⽬ 当該問題に関わるそのとき得られる知⾒が、どのような⼿法によって得られた ものかを明⽰し、エビデンスとしての有効性を評価しているか？ エビデンスを創出する科学的⽅法論や研究デザインの強みと限界を明⽰してい るか？ ⼀貫性 エビデンス間の関係性を検討できるほど学術研究が進展 していない。(Pre-C) エビデンス間の関係性が検討できるようになる。 (Mid-C) より詳細にエビデンス間の関係性を検討することが可能 になる。 (Post-C) 研究の進展に応じて、エビデンスの主張、不確実性、影響・被影響関係の整合 性の把握に努めているか？ 最終的な結論を⽀持/留保する論拠の各々に対し、関連するエビデンスの主張、 不確実性、影響・被影響関係を体系的に把握しようと努めているか？ 近接性 科学的知⾒の政策的意義が不明確であり、研究成果が政 策形成に結びつき難い。(Pre-P) 研究が進むことでエビデンスの基準が確⽴し、研 究成果と政策対象の関連性が把握しやすくなる。 それに伴い、政策的対応のガイドラインが整備さ れる。(Mid-P) 問題がプロトコルやガイドラインに則って理解されるこ とで、そこから逸脱する事象が切り捨てられる傾向が⾒ られるようになる。(Post-P) エビデンスの提供者が、 エビデンスを政策に適 ⽤に際し、活⽤者と協 調するために念頭に置 く必要がある参照項⽬エビデンスの内容と政策対象の関連性はあるか？ 近接性が想定できない場合、近接性の⽋如に⾃覚的か？ エビデンスの内容と政策対象の関連性はあるか？ 近接性の射程について⾃覚 し、射程の外部に対して総合的な考慮をしているか？ 社会的適切性 当該問題に関するエビデンスが⼗分にない状況において、 個別ケースごとに科学者や研究グループの社会的価値判 断が要求される。(Pre-A) エビデンスの⽣産に関わる科学的⽅法論やエビデ ンス基準に社会的価値判断が反映される。(Mid-A) 制度設計の⽔準に社会的価値判断が反映される。(Post- A) エビデンスの提供者が エビデンスの創出・活 ⽤に際し、念頭に置く 必要のある参照項⽬ エビデンスの欠如を理由に、過小な政策的対応になって いないか？ある仮説を採用、棄却、保留する判断を、そ の判断が招く社会的帰結の深刻度を考慮して決定してい るか？ 型に嵌った判断に終始しないで、その都度、当該 問題に対する研究デザインの意義を検討している か？ フレーミングの限界を認識し、必要に応じて再課題化を 促しているか？ 正統性 研究者による⾃発的な研究や、原因究明のための委託研 究に対する政治的関与のあり⽅が問われる。(Pre-L) エビデンスの基準の設定と運⽤に対する政治的関 与のあり⽅が問われる。(Mid-L) 科学的⾒解の統制における議論の進め⽅や研究者の選定 の仕⽅に対する政治的影響のあり⽅が問われる。(Post- L) エビデンスの提供者が、 エビデンスの創出と運 ⽤が置かれる環境に関 し、念頭に置く必要の ある参照項⽬ 当該問題の理解を深めるために様々な可能性を顕在化し ようと働きかけているか？過剰なエビデンスの⽔準が課 されることで、政策的対応の不作為が免れていないか？ エビデンスの要求レベルを不当に操作することで、 過剰な政治的⾃律性が許容されていないか？利益 相反に注意を払っているか？ 都合の良い専⾨家の選別を通して、特定の政策路線の強 化を促していないか？ 軸の関係性 エビデンスの⽅法論的厳格性や⼀貫性に関し不明瞭な点 が多いため、エビデンスと政策対象との近接性が測り難 い。この段階では、エビデンスレベルに縛られない予防 的対策も考慮する必要があり、社会的適切性と正統性は しばしば緊張関係にある。すなわち、政策決定の根拠と して科学者の社会的価値判断を重視することは正統性を 侵⾷する危険性があるが、政策判断を科学者側に課すこ とで説明責任の転化を招く危険性もある。 ⽅法論的厳格性と⼀貫性の点でエビデンスの質が 向上することで、近接性の判断も可能になる。た だし、エビデンスの質と近接性はしばしばトレー ドオフの関係にある。これら前者⼆つの科学的視 点と近接性のバランスは純粋に科学的に決められ るわけではなく、社会的適切性や正統性の視点に 照らし合わされて決まられる。 研究が進み⽅法論的厳格性と⼀貫性に関して質の⾼いエ ビデンスの創出が可能になることで、より詳細に近接性 を測れたり、適切な課題設定が可能になる。ただし、気 候変動問題のように、問題の性質によっては正統性の視 点が他の視点に⽐べ前⾯に出ることで、近接性や社会的 適切性に関する問題の捉え⽅をも規定するようになる。 (※フレームワーク⾃体が政 策プロセスを評価する第三 者のための参照項⽬として 機能することを想定してい る)
- 74. まとめと私的雑感 狭義の／広義の”EBPM概念”が併存・混在するが、 しばしば⾮常に狭い”Evidence“と”Policy Making”の 範囲にスコープが限定されている “EBPM”概念は現状かなり”ill-defined”である ■■ “狭義のEBPM” については”What Works”という 語で表した⽅が適切＆機能的であると思う ・ ・ 英国では実際そういう⽤法になっている 広くとると「そりゃそうですよね」という⼀般論 狭くとると「その話が通⽤するの特定範囲の政策課題だけだよね」
- 76. まとめと私的雑感 エビデンスの政策利⽤のあり⽅は、科学-政治の 制度化段階を踏まえての理解と検討が必要 ■ 狭義と広義のEBPM概念が混線すると、 What Works的な狭 い相場観がその適⽤可能範囲外にも持ち込まれることに よる実害が⽣じうる “狭義のエビデンス”がなくても対応すべき局⾯はいくら でもある c.f., 課題発⾒のための視点×制度化段階マトリックス そもそも（⽔俣病などをルーツにもつ）環境分野において は「何をエビデンスと呼ぶか」は政治／権⼒的に極めて sensitiveな含意を持ちうる問題という認識があり、その感 覚から⾒ると正直なところ⼀部の社会科学者／経済学者の エビデンス観は⾮常にナイーブで危ういものに⾒える
- 77. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか？ 序. 背景として考えていること：”エビデンス は棍棒ではない” 結. 結局のところ背景として考えていること： “エビデンス、コンテクスト／ナラティブ、規 範的検討のベストミックスへ”
- 81. (on web)
- 82. II. EBPMにおけるRCTの捉えられ⽅を考える:⽬次 Evidence-Based Policy Makingの”往路”と”復路” 往路におけるRCTの最強性、と幾つかの但し書き 復路におけるRCT：”内弁慶”は外に出れるか ”スナップショット”としてのRCTの限界・ EBMよりもかなり⾼い外的妥当性の壁・ 不均⼀性, 交互作⽤, 媒介・ “ジャーナル共同体”の中から⾒るか、外から⾒るか 測定エンドポイントの政策的有効性・ “Treatment”の実質的な再現可能性・ メカニズム的⻫⼀性、概念的同⼀性・
- 83. Evidence-Based Policy Makingの”往路”と”復路” 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量“往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … 復路では移設可能性／外的 妥当性が問題となる EBPMは個⼈→集団→個⼈をわたる過程である■
- 85. 復路におけるRCT：”内弁慶”は外に出れるか ■ EBMよりもかなり⾼い外的妥当性の壁 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量 “往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … 元ネタのEBMedicineは⼀定の ⽣物学的⻫⼀性を想定しうる 点で、EBPMと⼤きく異なる ＊ ? ? ? ? ?
- 87. 復路におけるRCT：”内弁慶”は外に出れるか ■ EBMよりもかなり⾼い外的妥当性の壁 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量 “往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … 元ネタのEBMedicineは⼀定の ⽣物学的⻫⼀性を想定しうる 点で、EBPMと⼤きく異なる 「往路最強」かもしれないが、その強みのモデルフリー 性⾃体が”復路”での⼤きな脆弱性を⽣む ＊ ⼀般にRCTの内部には異なる状況 間の”距離”に対する情報が皆無 ? ? ? ? ?
- 90. 復路におけるRCT：”内弁慶”は外に出れるか メカニズムと媒介の重要性■ 1747年 対照実験によりシトラスが船員の壊⾎病を防ぐ 効果が確認 シトラス→”酸味”→壊⾎病（の防⽌） Pearl and Mackenzie (2018)の記述に基づく 1800’s 英国海軍ではシトラス積載により壊⾎病は過去 のものに しかしmediatorの取り違えにより悲劇が・・・ シトラス→レモン→ライム→加熱濃縮ライムジュース へと代替されていった（代替のたびにビタミンが減っていく・・） 1900年前後の極地探検にて壊⾎病による死者が多発 本当のmediatorはビタミンC 柑橘の効果⾃体が疑問視され無視されるように・・
- 91. 復路におけるRCT：”内弁慶”は外に出れるか メカニズムと媒介の重要性■ シトラス→”酸味”→壊⾎病（の防⽌） しかしmediatorの取り違えにより悲劇が・・・ シトラス→レモン→ライム→加熱濃縮ライムジュース へと代替されていった（代替のたびにビタミンが減っていく・・） 状況が多様な“復路”の現場において”処理”の同⼀ 性の担保は必ずしも簡単な話ではない e.g., RCTが⾏われた”意識の⾼い”学校と同⼀の ”処理”を普通の学校で実現できるのか？ 異なる対象／⽂脈における“処理”の同⼀性の担保 は質的な理解度（”why it works”）に依存する Pearl and Mackenzie (2018)の記述に基づく
- 92. 復路におけるRCT：”内弁慶”は外に出れるか ■ 測定エンドポイントの政策的有効性 RCTで測定したもの／測定可能なものがベスト／ 重要な⽅策とは限らない 深く考えずに「測定されたものを優先」する ことは、しばしばPolicy-Based Evidence Making の温床となる（「何を測定するか」はしばしば強い 政治性を帯びうることに強い注意が必要！） 結局のところ「何を測定すべきか」を適切に判 断するためには確かな質的な知識が必要である c.f., ⼤学改⾰
- 93. 復路におけるRCT：”内弁慶”は外に出れるか ■ 介⼊のコンテクスト／ナラティブ的な意味の重要性 個人 集団A 集団A’ 集団Σ 集団因果効果の 推定量 “往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … トークンto タイプ タイプto トークン 例えばリスク・コミュニケーションの 現場では「数値」のナラティブ内での 位置づけまでの考慮が必要となる 往路で”誤差”として⽚付けた「断⽚的なもの」に ”復路”でふたたび向き合うべきときがある
- 94. “ジャーナル共同体”の中から⾒るか、外から⾒るか ■「往路における確かな前進」というレトリック 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量“往路” “復路” 論⽂を書くことを⽣業とする「研究者」 という⼈種はしばしば”往路”までのこと しか真剣に考えていない 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … トークンto タイプ タイプto トークン 研究者は”丘の上”で論⽂を書く 本来は、EBPMの質はその”weakest chain”に規定される
- 96. (on web)
- 97. II. EBPMにおけるRCT：まとめ 単体のRCTだけから”what works”について強く⾔ えることは実はそんなにない メカニズムやmodifierや対象集団についての適切 な質的理解(“why it works”)と紐付けば強⼒ “エビデンスヒエラルキーの最上位”であること が政策形成における重要さにリニアに結びつく と考えるのはあまりにも短絡的 本来はEBPMの質はその”weakest chain”で規定される RCTは強⼒な⼿法であることは間違いない （がハイプの引き倒しはよろしくない）
- 98. I. 環境分野へのEBPM導⼊に向けての概念と フレームワークの整備 本⽇の構成 II. EBPMにおけるRCTの捉えられ⽅を考える : ハイプなのか、リアルなのか？ 序. 背景として考えていること：”エビデンス は棍棒ではない” 結. 結局のところ背景として考えていること： “エビデンス、コンテクスト／ナラティブ、規 範的検討のベストミックスへ”
- 99. (再)Evidence-Based Policy Makingの”往路”と”復路” 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量“往路” “復路” 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … 復路では移設可能性／外的 妥当性が問題となる EBPMは個⼈→集団→個⼈をわたる過程である■
- 100. (再)“ジャーナル共同体”の中から⾒るか、外から⾒るか ■「往路における確かな前進」というレトリック 個人 集団A 集団A’ 集団Σ 集団因果効果等の 推定量“往路” “復路” 論⽂を書くことを⽣業とする「研究者」 という⼈種はしばしば”往路”までのこと しか真剣に考えていない 𝛼, 𝛽, 𝛾 … エビデンス の⽣産 個人個人 エビデンス の利⽤ 𝑎, 𝑏, 𝑐 … 𝑠, 𝑡, 𝑢 … トークンto タイプ タイプto トークン 研究者は”丘の上”で論⽂を書く 本来は、EBPMの質はその”weakest chain”で規定される
- 101. （再）課題発⾒のための視点×制度化段階マトリックス （⼀枚紙の配布資料） Phase 前制度化段階 制度化段階 ポスト制度化段階 フレームワークの運⽤ Perspective ⽅法論的厳格性 問題の学術的な理解について不明瞭な点が多い。(Pre- R) 問題の学術的な標準的な理解が確⽴する。 (Mid-R) 研究がさらに進み、問題の細部の解明が進む。 (Post-R) エビデンスの提供者(科 学者・専⾨家等)がエビ デンスを評価・伝達す る際に念頭に置く必要 のある参照項⽬ 当該問題に関わるそのとき得られる知⾒が、どのような⼿法によって得られた ものかを明⽰し、エビデンスとしての有効性を評価しているか？ エビデンスを創出する科学的⽅法論や研究デザインの強みと限界を明⽰してい るか？ ⼀貫性 エビデンス間の関係性を検討できるほど学術研究が進展 していない。(Pre-C) エビデンス間の関係性が検討できるようになる。 (Mid-C) より詳細にエビデンス間の関係性を検討することが可能 になる。 (Post-C) 研究の進展に応じて、エビデンスの主張、不確実性、影響・被影響関係の整合 性の把握に努めているか？ 最終的な結論を⽀持/留保する論拠の各々に対し、関連するエビデンスの主張、 不確実性、影響・被影響関係を体系的に把握しようと努めているか？ 近接性 科学的知⾒の政策的意義が不明確であり、研究成果が政 策形成に結びつき難い。(Pre-P) 研究が進むことでエビデンスの基準が確⽴し、研 究成果と政策対象の関連性が把握しやすくなる。 それに伴い、政策的対応のガイドラインが整備さ れる。(Mid-P) 問題がプロトコルやガイドラインに則って理解されるこ とで、そこから逸脱する事象が切り捨てられる傾向が⾒ られるようになる。(Post-P) エビデンスの提供者が、 エビデンスを政策に適 ⽤に際し、活⽤者と協 調するために念頭に置 く必要がある参照項⽬エビデンスの内容と政策対象の関連性はあるか？ 近接性が想定できない場合、近接性の⽋如に⾃覚的か？ エビデンスの内容と政策対象の関連性はあるか？ 近接性の射程について⾃覚 し、射程の外部に対して総合的な考慮をしているか？ 社会的適切性 当該問題に関するエビデンスが⼗分にない状況において、 個別ケースごとに科学者や研究グループの社会的価値判 断が要求される。(Pre-A) エビデンスの⽣産に関わる科学的⽅法論やエビデ ンス基準に社会的価値判断が反映される。(Mid-A) 制度設計の⽔準に社会的価値判断が反映される。(Post- A) エビデンスの提供者が エビデンスの創出・活 ⽤に際し、念頭に置く 必要のある参照項⽬ エビデンスの欠如を理由に、過小な政策的対応になって いないか？ある仮説を採用、棄却、保留する判断を、そ の判断が招く社会的帰結の深刻度を考慮して決定してい るか？ 型に嵌った判断に終始しないで、その都度、当該 問題に対する研究デザインの意義を検討している か？ フレーミングの限界を認識し、必要に応じて再課題化を 促しているか？ 正統性 研究者による⾃発的な研究や、原因究明のための委託研 究に対する政治的関与のあり⽅が問われる。(Pre-L) エビデンスの基準の設定と運⽤に対する政治的関 与のあり⽅が問われる。(Mid-L) 科学的⾒解の統制における議論の進め⽅や研究者の選定 の仕⽅に対する政治的影響のあり⽅が問われる。(Post- L) エビデンスの提供者が、 エビデンスの創出と運 ⽤が置かれる環境に関 し、念頭に置く必要の ある参照項⽬ 当該問題の理解を深めるために様々な可能性を顕在化し ようと働きかけているか？過剰なエビデンスの⽔準が課 されることで、政策的対応の不作為が免れていないか？ エビデンスの要求レベルを不当に操作することで、 過剰な政治的⾃律性が許容されていないか？利益 相反に注意を払っているか？ 都合の良い専⾨家の選別を通して、特定の政策路線の強 化を促していないか？ 軸の関係性 エビデンスの⽅法論的厳格性や⼀貫性に関し不明瞭な点 が多いため、エビデンスと政策対象との近接性が測り難 い。この段階では、エビデンスレベルに縛られない予防 的対策も考慮する必要があり、社会的適切性と正統性は しばしば緊張関係にある。すなわち、政策決定の根拠と して科学者の社会的価値判断を重視することは正統性を 侵⾷する危険性があるが、政策判断を科学者側に課すこ とで説明責任の転化を招く危険性もある。 ⽅法論的厳格性と⼀貫性の点でエビデンスの質が 向上することで、近接性の判断も可能になる。た だし、エビデンスの質と近接性はしばしばトレー ドオフの関係にある。これら前者⼆つの科学的視 点と近接性のバランスは純粋に科学的に決められ るわけではなく、社会的適切性や正統性の視点に 照らし合わされて決まられる。 研究が進み⽅法論的厳格性と⼀貫性に関して質の⾼いエ ビデンスの創出が可能になることで、より詳細に近接性 を測れたり、適切な課題設定が可能になる。ただし、気 候変動問題のように、問題の性質によっては正統性の視 点が他の視点に⽐べ前⾯に出ることで、近接性や社会的 適切性に関する問題の捉え⽅をも規定するようになる。 (※フレームワーク⾃体が政 策プロセスを評価する第三 者のための参照項⽬として 機能することを想定してい る)