2020/12/18 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. Explainable Reinforcement Learning:
A Survey Ryo Okada 岡田 領
1

2. Explainable Reinforcement Learning: A Survey
● CD-MAKE 2020
● Erika Puiutta, Eric MSP Veith
▸ OFFIS
● arxivに投稿: 2020/5
● 強化学習の解釈性を扱った論文のサーベイ論文
● ※2020/9にも似たようなテーマのサーベイ論文が出ている
▸ Explainability in Deep Reinforcement Learning
✓ arxivに投稿: 2020/8
書誌情報
2

3. ● XAI
▸ 説明性が得られるタイミング
✓ 本質的解釈
● 特定のモデル向け
✓ 事後的解釈
● 元のモデルを説明するために第２のモ
デルを作成して分析
● 特定のモデルに囚われない
● （一部特定のモデル向け）
▸ 解釈性の範囲
✓ グローバル（モデル全体に対しての説明）
✓ ローカル（特定のサンプルに対しての説明）
3
XAI Taxonomy

4. ● 2010-2020の論文を対象に前ペ
ージの分類に基づいて整理．
● 以降，各種別で１つずつ論文を
紹介．（左図の太字の論文）
4
カテゴライズ

5. ● 本質的解釈性
▸ グローバル
✓ Programmatically Interpretable Reinforcement Learning, ICML 2018
▸ ローカル
✓ Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning,
ICLR 2018
● 事後的解釈性
▸ グローバル
✓ Toward Interpretable Deep Reinforcement Learning with Linear Model U-Trees, ECML-
PKDD2018
▸ ローカル
✓ Explainable Reinforcement Learning Through a Causal Lens, AAAI2020
紹介する論文
5

6. ● 本質的解釈性
▸ グローバル
✓ Programmatically Interpretable Reinforcement Learning, ICML 2018
▸ ローカル
✓ Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning,
ICLR 2018
● 事後的解釈性
▸ グローバル
✓ Toward Interpretable Deep Reinforcement Learning with Linear Model U-Trees, ECML-
PKDD2018
▸ ローカル
✓ Explainable Reinforcement Learning Through a Causal Lens, AAAI2020
紹介する論文
6

7. ● Programmatically Interpretable Reinforcement Learning
▸ ICML2018
▸ Abhinav Verma, Vijayaraghavan Murali, Rishabh Singh, Pushmeet Kohli, Swarat Chaudhuri
▸ Rice University, Google Brain, Deepmind
● 概要
▸ DRLで学習した方策を，プログラミング言語で事前に指定した形式へ模倣学習して探索する．
▸ プログラミング言語でルールベースのような形式に出力することで，解釈性が得られる．
▸ Intrisic．モデル全体に対する解釈性を得る（Global）
▸ 出力される解釈性の形式：プログラミング言語で表された方策
7
概要

8. ● DRLの学習の履歴を使用して，模倣学習の
ように．近くなる方策を探索する．
● プログラミング言語の形に探索するにあた
り，事前の制約を入れる（スケッチ）
● スケッチは事前に設計が必要（Car
Simulatorの場合，PID制御を元に設計）
8
手法

9. 9
結果
● プログラミング言語の形式に抽出された方策
● 29センサーからTrackPosとRPMのみに
● TrackPos: 車の位置
● RPM: アクセル

10. ● 本質的解釈性
▸ グローバル
✓ Programmatically Interpretable Reinforcement Learning, ICML 2018
▸ ローカル
✓ Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement
Learning, ICLR 2018
● 事後的解釈性
▸ グローバル
✓ Toward Interpretable Deep Reinforcement Learning with Linear Model U-Trees, ECML-
PKDD2018
▸ ローカル
✓ Explainable Reinforcement Learning Through a Causal Lens, AAAI2020
紹介する論文
10

11. ● Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning
▸ ICLR 2018 Poster
▸ Tianmin Shu, Caiming Xiong, Richard Socher
▸ University of California, Salesforce Research
● 概要
▸ 人間が単純なスキルの組み合わせで新しいスキルを得るように，強化学習において階層的にタスク
を学習する．
▸ 上位スキルは過去に学習済みの下位スキルをできる限り利用する．
▸ スキルは自然言語（2 単語）と対応させるため，エージェントの行動に解釈性が得られる．
▸ Minecraftで実験．
▸ 学習の段階（Intrisic）で１タスクに対する解釈性を得ていく（ローカルな解釈性）
▸ 出力される解釈性の形式：自然言語（２語）
11
概要

12. ● 上位方策は下位方策に移行す
るか，直接basic actionを実行
する．
● 人間の指示（２語）をエンコ
ードして入力．
● タスクの実行順序（遷移確
率）は過去の成功経験を考慮
（Stochastic temporal
grammer）
12
手法

13. ● 右：既にエージェントが対象アイテムの前にいたため、π1は基本ポリシーπ0を展開し
ていない．
● 左：1回目の"Find x "ではベースタスクを終了しなかったため、π1は "Find x "の基本タ
スクのために2回連続でπ0を展開．
13
結果

14. ● 本質的解釈性
▸ グローバル
✓ Programmatically Interpretable Reinforcement Learning, ICML 2018
▸ ローカル
✓ Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning,
ICLR 2018
● 事後的解釈性
▸ グローバル
✓ Toward Interpretable Deep Reinforcement Learning with Linear Model U-Trees,
ECML-PKDD2018
▸ ローカル
✓ Explainable Reinforcement Learning Through a Causal Lens, AAAI2020
紹介する論文
14

15. ● Toward Interpretable Deep Reinforcement Learning with Linear Model U-Trees
▸ ECML-PKDD 2018
▸ Guiliang Liu, Oliver Schulte, Wang Zhu, Qingcan Li
▸ School of Computing Science, Simon Fraser University
● 概要
▸ DRLのQ関数を表現力を高めた木構造ベースのモデルで模倣・近似
▸ 木構造モデルの解釈性の高さを利用して学習した解釈（知識，ルールなど）を結果を得る．
▸ 事後的に解釈を得る形と学習中にモデルの解釈性を得る両方の選択肢がある（Instrisic / Post hoc）
▸ モデル自体の説明性ではなく，１サンプルに対する解釈性を得る（ローカル）
▸ 出力される解釈性の形式：各特徴量に対する重み
15
概要

16. ● 訓練済みのDRLから事前に集めたデー
タを利用/もしくはインタラクティブ
にデータ収集して利用．
● 連続状態空間での強化学習への回帰木
を適用したContinuous U Treeを拡張
し，リーフノードに線形モデルを導入
して表現力を高めて，Q関数の模倣学
習を行う．
● SGDで重みをアップデートしていき，
誤差が大きい場合枝分かれしていく．
16
手法

17. ● 木構造モデルの特性から特徴量ごとの影響
を評価し，解釈性を確認．
● Mountain CarでVelocityが重要，Cart Poleで
はPole Angleが重要となり，人間の解釈と一
致．
17
結果

18. ● 木構造モデルの性質からルール抽出
● Mountain Car
▸ 左へのvelocityとQleftが大きい
▸ 右のターゲットへの勢いをつける為，左に押され
ている状態を表している．
● Flapper bird
▸ 特徴量影響度が大きい箇所をハイライト
▸ 最初の画像では鳥や物体にハイライト．続く画像
では鳥の位置や速さにハイライト
18
結果

19. ● 本質的解釈性
▸ グローバル
✓ Programmatically Interpretable Reinforcement Learning, ICML 2018
▸ ローカル
✓ Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning,
ICLR 2018
● 事後的解釈性
▸ グローバル
✓ Toward Interpretable Deep Reinforcement Learning with Linear Model U-Trees, ECML-
PKDD2018
▸ ローカル
✓ Explainable Reinforcement Learning Through a Causal Lens, AAAI2020
紹介する論文
19

20. ● Explainable Reinforcement Learning Through a Causal Lens
▸ AAAI2020
▸ Prashan Madumal, Tim Miller, Liz Sonenberg, Frank Vetere
▸ The University of Melbourne
● 概要
▸ 人間は世界を理解するときに因果モデルを作っていると言う考えに基づく
▸ エージェントの挙動の説明を因果モデルの反事実的事象に関わる分析に基づき説明を示す．
▸ Starcraft 2で実験．
▸ 人間による説明性の評価（理解度，満足度，信頼できるか）も実施．
▸ 事後的解釈（Post hoc）
▸ １つのサンプルに対する解釈性（Local）
▸ 出力される解釈性の形式：自然言語
20
概要

21. ● 構造的因果モデルに行動の要素を加えて
行動影響モデルとして利用．
● 左記のような有向非巡回グラフを元に実
際にエージェントが取った行動とは異な
る反事実的事象についても説明．
▸ 左図では太字が実際にエージェントが取っ
た行動に対して，B -> An -> [Du, Db]が反事
実的行動
● 実際と反事実的行動を取ったときの
Stateの差異などからエージェントの行
動を説明．最終的に自然言語のテンプレ
ートで示す．
21
手法

22. ● エージェントがbuild supply depotsと言う行動
を取った場合
● エージェントが取った行動ではない行動に関す
る質問: Why not build_barrak（Ab）?
● 実際：
● 反事実：
● -> Sに差異
● A: Because it is more desirable to do action
build_supply_depot (As) to have more Supply
Depots (S) as the goal is to have more
Destroyed Units (Du) and Destroyed buildings
(Db).
● 本論文では出力した解釈性に対して人間による
評価も実施． 22
例

23. ● 強化学習において解釈性を扱った論文を整理した．
● 本質的解釈/事後解釈/ローカル/グローバルの違いで４つの論文を紹介．
● 著者の主張
▸ 単なる説明だけでなく，人間が理解できる方法の提示が重要．（最終的には人がモデルの挙動をあ
る程度予測できるのが理想）
▸ 多くの研究は説明を受け取る人間に対する観点が抜けている．（13の研究のうち，人間への満足度
や有用性を評価項目に入れているのは５つ）
まとめ
23

24. Thank you.
24