Recommandé
Contenu connexe
Tendances
Tendances (20)
Plus de nishio
Plus de nishio (20)
強化学習その5
- 1. 強化学習 その5 部分観測モンテカルロ計画法 (部分観測マルコフ決定過程2) 2017-08-07 @ 機械学習勉強会 サイボウズ・ラボ 西尾泰和 過去の資料: https://github.com/nishio/reinforcement_learning
- 4. 今後の予定 第4回(前回): 1章5節 部分観測マルコフ決定過程 第5回: 1章5節 部分観測マルコフ決定過程であま り触れられていないモデルフリーのPOMCP 4
- 5. 今後の予定 第6回 2.1 統計学習の観点から見たTD学習 2.1.1 強化学習と教師付き学習の学習則 2.1.2~3 関数近似を(する/しない)価値関数推定 (ここまで28ページ) 第7回 2.1.4 セミパラメトリック統計学習に基づく定式 化(10ページ) 2.2 理論性能解析とベイズ (理論薄めでやる。13ページ) 5
- 6. 今後の予定 第8回 2.3 逆強化学習 第9回 2.4 経験強化型学習 2.5 群強化学習(飛ばします) 第10回 2.6 リスク考慮型強化学習 2.7 複利型強化学習(飛ばします) 第11回 3 強化学習の工学応用 3.3 対話処理における強化学習 6
- 7. 今後の予定 第12回 3.5 自然言語処理における逆強化学習と模 倣学習 第13回 3.7 深層学習を用いたQ関数の学習 第14回 4 知能のモデルとしての強化学習 7
- 10. 前回のおさらい 元のMDPがD次元ならbelief MDPの信念状態bは 𝑏 ∈ ℝ 𝐷 になって大変 幸いbelief MDP上の価値関数Vは区分線形で下に 凸なので、D次元ベクトルの集合で効率的に表現 できる しかし厳密に計算するとベクトルの数が指数的 オーダーで増える。そこで定数個のベクトルで近 似するのがPoint Based Value Iteration この両者を実装して2状態3行動で実験した。 10
- 12. POMCP “Monte-Carlo Planning in Large POMDPs”* 状態遷移確率を人間が陽に与えるのではなく ブラックボックスのシミュレータを与えて 繰り返し実験によって確率を計算していく 12 * David Silver and Joel Veness(2010)
- 15. ガイスター 15 • 2人対戦型ゲーム、盤面は6x6 • 各プレイヤーは赤のコマ4つ 青のコマ4つを持つ。上下左右に動く • 対戦プレイヤーのコマの色は そのコマを取るまでわからない
- 16. ガイスターの勝利条件 下記3つのいずれかの条件を満たす • 相手の青コマをすべて取る • 自分の赤コマをすべて取られる • 自分の青コマがゴールから脱出する 16 初期配置
- 17. 部分観測性 “対戦プレイヤーのコマの色は そのコマを取るまでわからない” なので、初期状態で相手の8つのコマのうち どの4つが赤であるのか 8C4 = 70通りの可能性がある 17 注: 2^8 = 256通りと考えると、コマが取られて色が確定したことによる 他のコマの信念の更新が表現できなくなる
- 18. Tiny版 人間が問題を理解しやすくするために 4x4盤面に赤と青が1コマずつのバージョンを考 える この場合、勝利条件は • 相手の青コマを取る • 自分の赤コマを取られる • 自分の青コマがゴールから脱出する となる 18
- 29. おさらい：方策(policy) 方策 𝜋 𝑎, 𝑠 = 𝑃 𝑎 𝑠 方策はある状態で取る手の確率分布。 最適な方策を見つけるのが強化学習。 29
- 30. 信念状態の更新 • 接触してきたから赤の可能性が高いだろう • 最初に動いたコマだから青の可能性が高いだ ろう • など、観測を元に信念状態を更新する 30
- 32. 実験に必要なもの • シミュレータ • 外から「今の状態はこれだとせよ」と指定できる ものでなければならない • 行動を選択して返す • つまり𝑃(𝑎|𝑠) • agentはsを直接観測できない＝ガイスターのプレ イヤーは相手の色を観測できない • 見せていい情報だけ選んでagentに渡す 32
- 33. agentの実装 ようは方策をどうするか 手軽なベースラインは 「ランダムにプレイする」だが 今回のケースでそれをやると 「行動を見ても色の推定に役立たない」 という結果になってしまってイマイチ 33
- 35. 素朴な実装 青コマで最短経路でゴールを目指すFastest 人間でもわかる「これ青だろうな」 35 .vvvv. ..vvv. v..... ...... .xoox. .xoo.x 1: 44.30% 2: 38.99% 3: 44.30% 4: 24.67% 8: 42.71% 9: 64.19% 10: 40.85% 12: 100.00%
- 36. しばらく進んで 進んできたコマを取った直後、相手の動きを見て 青のコマが全部わかったと判断(間違い) 36 .vvvv. ..v.v. ...v.. ...o.. x.oox. .xo..x 2: 100.00% 10: 100.00% 15: 100.00% .vvvv. ..v.v. ...v.. ...o.. x.oox. .xo..x これが正解 現状の実装では観測結果と信念が矛盾した時には信念を全部廃棄してやり直し
- 37. 対戦勝率 FastestはRandomに対しては強い {‘WIN’: 979, ‘LOSE’: 21}: 勝率98% Randomにたまに取られることがあっても 無策なRandomよりはだいぶマシだから。 一方FastestとPOMCPだと {‘LOSE’: 95, ‘WIN’: 5}: 勝率5% Fastestは行動から色がバレバレだから。 37 後者の実験に24分掛かる
- 40. モンテカルロ木探索 強化学習の言葉でいえば2つの方策の組み合わせ で探索して、行動価値関数Q(s, a)を推定する手法 2つの方策: ・Tree Policy ・Rollout Policy 40
- 43. 注意点 • モンテカルロ木探索はよく「ランダムに手を 選んで終局までプレイ、勝率で評価」と説明 されるが、これは強化学習の言葉でいえば 時間幅T→∞での報酬を収益とすること。 • これは必要条件ではない。 • POMCPの論文では収益の定義として 割引報酬和を使っている。 • また割り引いた結果が十分小さくなるところ で打ち切るため、実質的に「木の深さに上限 を設けている」という形になる。 43
- 44. Tree Policy 現在の状態がTreeに含まれているときに使う方策 Treeの各ノードは ・各actionことの収益の平均 V(h, a) ・各actionの選択回数 N(h, a) ・信念 B(h) を持っている。 原始的なgreedy方策:「Vが最大になるaを選ぶ」 よく使われるUCB1は選択回数が少ない選択肢を 高めに評価することで利用と探索のトレードオフ 44
- 45. 注意点 「現在の状態が～」と説明してたけど、 ツリーのノードは状態ではなく 履歴(history)に対応づいている。 Q: stateに対応付けてはダメなのか？ A: 隠れ状態は観測できないのでエージェントが どのノードを選んだらいいかがわからない Q: じゃあ今の観測可能状態に対応付けたら？ A: 観測可能な盤面状況が同じでも過去に通った 経路によって信念が異なるからダメ 45
- 46. 履歴 履歴は以下のような型 • 初期状態: empty • もしくは以下の組み合わせ • 直前までの履歴 h • 自分が取った行動 a • その結果得られた観測 o a, o, a, o, …という不定長の列になる 46
- 47. ツリーはこんな形 47
- 48. ツリーはこんな形(圧縮) hの時、hはツリーに含まれているので Tree Policyがつかわれる。 手a0を選び行動した結果、o2を観測したとする (h, a0, o2)はツリーにないのでノードを生成し、 Rollout Policyで続きを実行する。 48
- 49. 49
- 50. 実験結果 想定するエージェントA2がFastestのまま、 対戦相手エージェントA0を 0.1の確率でランダムに行動するFastestP(0.1) →{'LOSE': 98, 'WIN': 2} 50
- 51. 確率を変えて実験 Fastest→ {‘LOSE’: 95, ‘WIN’: 5} FastestP(0.1)→ {'LOSE': 98, 'WIN': 2} FastestP(0.3)→ {‘LOSE’: 95, ‘WIN’: 5} FastestP(0.5)→ {'LOSE': 92, 'WIN': 8} FastestP(0.7)→ {'LOSE': 95, 'WIN': 5} FastestP(0.9)→ {'LOSE': 90, 'WIN': 10} Random→ {'LOSE': 88, 'WIN': 12} ランダム戦略とFastest戦略のどんな比率での混合 に対してもPOMCPは9割以上の勝率 51
- 54. 遅い理由2 Treeの実装が手抜きで、ハッシュに(h, a, o)を キーとしてツッコんでいる。 Treeを真面目にツリーで実装しようと思ったら a(具体的には動かすコマとその動く向き)や o(具体的には盤面状況)を整数にマップする必要 があるが面倒だったので(h, a, o)のタプルにして Pythonにハッシュ値を計算させている。 どう考えてもメモリの無駄遣い。 54
- 56. まとめ • Point Based Value Iterationは状態遷移確率を与 える必要がある • そこでブラックボックスシミュレータを使う 部分観測モンテカルロ計画法(POMCP)を実装 • ガイスターに適用して、ある確率で青コマで のゴールを目指すような相手に対しては隠れ 状態を推定して9割近い勝率を出した • もっと人間にとって自明でない思考ルーチン で実験をしたい 56
- 57. 参考文献 David Silver and Joel Veness "Monte-Carlo planning in large POMDPs." Advances in neural information processing systems. 2010. 57