Recommandé
Contenu connexe
Tendances
Tendances (20)
Generative Adversarial Imitation Learningの紹介（RLアーキテクチャ勉強会）
- 1. Generative Adversarial Imitation Learning Jonathan Ho, Stefano Ermon (NIPS 2016) 中田 勇介(M1) 千葉大学 大学院 融合理工学府 荒井研究室 2017/11/14 RLアーキテクチャ勉強会
- 2. 発表の構成 2 論文の主な貢献 模倣学習，IRL ，RLの概要 RL○IRLを凸最適化問題として定式化 既存の徒弟学習手法を凸最適化問題の枠組みで説明 徒弟学習(Apprenticeship learning) = IRLによる模倣学習 提案法：GANsを用いた模倣学習アルゴリズム 実験結果 まとめ
- 3. 論文の主な貢献 3 RL○IRLと同じ方策を学習する模倣学習アルゴリズム 環境の情報を必要としないモデルフリーアルゴリズム 報酬（コスト）を推定することなく方策を直接学習 既存のIRLが必要とする試行錯誤(RL)を削減 大規模，高次元状態行動空間に適用可能 RL○IRLを凸最適化(min max)問題として定式化 既存の模倣学習手法を定式化した枠組みで説明 IRLを使った模倣学習手法 [Abbeel 04], [Syed 08] GANを用いた模倣学習アルゴリズムを提案
- 4. 模倣学習 4 所与：エキスパートの意思決定系列 学習対象：エキスパートの方策 主なアプローチは二つ Behavior cloning [Pomerleau 89] Apprenticeship Learning (IRL) [Abbeel 04], [Syed 08]
- 5. 逆強化学習 5 エキスパートが最小化するコストを推定する手法 エキスパート，タスクの解き方を知っているエージェント 推定したコストを最小化する方策 = エキスパートの方策 三つのステップで推定 Update cost Run RLCompare with Expert
- 6. 逆強化学習 6 目的関数(Maximum causal Entropy IRL) ※ 上式の解 に対する最適方策はエキスパートの方策と一致
- 11. 凸最適化問題とは 11 von Neumannのミニマックス定理（鞍点の存在定理） YとZはそれぞれ空でないコンパクト凸集合．KはY×Zを定義 域とする実数値関数．Zを固定したK(･, z)が下半連続な凸関数． Yを固定したK(y, ･)が上半連続な凹関数ならば関数K(y, z)には 鞍点が存在する． https://ja.wikipedia.org/wiki/%E9%9E%8D%E7%82%B9
- 15. ρが満たす性質 15 と は一対一対応 はアフィン集合
- 19. 証明 19 は任意の に対して凸関数（ が変数） は任意の に対して凹関数（ が変数） 上記と変数の定義域から は鞍点 を持つ 鞍点の定義 凸関数 凹関数線形関数線形関数 ※Von Neumannのミニマックス定理
- 25. 証明 25 RL○IRLの解 は次式で表される 鞍点の条件から導いた式 は よって と は一対一対応 は狭義凸関数 証明終わり
- 29. IRLに関して分かったこと 29 凹関数の上昇 方向に更新 凸関数最適化 凹関数の勾配 計算 Update Cost Compare with Expert IRL 双対上昇法 Run RL 非効率
- 31. 線形コストの場合の模倣学習 31 コスト関数が線形の場合には効率的な方法がある 1. 軌跡をサンプルし解析的にコストを求める 2. 解いたコストを使って方策勾配 1, 2を繰り返す 線形の場合は解析的に解ける
- 33. アルゴリズム 33
- 34. 実験結果 34