Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
•
50 j'aime•13,238 vues
Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン 講義資料 ハンズオン編はこちら https://github.com/icoxfog417/techcircle_openai_handson
![Agenda
● OpenAI Gymを体験しよう
○ OpenAIとOpenAI Gym
○ OpenAI Gymを動かしてみる
○ ルールで「AI」を作ってみる
● 「AI」を成長させよう
○ 強化学習というアイデアのモデル化 [MDP]
○ 行動評価の方法 [Bellman Equation]
○ 最適化の方法 [Value Iteration]
○ 探索による最適化 [Q-learning]
○ 探索と活用のジレンマ [ε-greedy法]
● Deep Learningとの融合
○ Deep Q-Networkの登場
○ Deep Q-Networkにおける3つのトリック
○ Deep Q-Networkの実装
● おわりに 2
Twitterで質問を受け付けます
#techcircleja](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommandé
Contenu connexe
Tendances
Tendances (20)
En vedette
Similaire à Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
Similaire à Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン (20)
Plus de Takahiro Kubo
Plus de Takahiro Kubo (20)
Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
- 1. by icoxfog417 @ Tech-Circle #18 Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン
- 2. Agenda ● OpenAI Gymを体験しよう ○ OpenAIとOpenAI Gym ○ OpenAI Gymを動かしてみる ○ ルールで「AI」を作ってみる ● 「AI」を成長させよう ○ 強化学習というアイデアのモデル化 [MDP] ○ 行動評価の方法 [Bellman Equation] ○ 最適化の方法 [Value Iteration] ○ 探索による最適化 [Q-learning] ○ 探索と活用のジレンマ [ε-greedy法] ● Deep Learningとの融合 ○ Deep Q-Networkの登場 ○ Deep Q-Networkにおける3つのトリック ○ Deep Q-Networkの実装 ● おわりに 2 Twitterで質問を受け付けます #techcircleja
- 3. About Me
- 4. Takahiro Kubo (icoxfog417) TIS株式会社 戦略技術センター所属 ● 化学系メーカーの業務コンサルタント出身(得意技は石油化学製品の価格改定) ● 既存の技術ではシステムによる業務改善に限界があるとの実感から、異動 ● 現在は機械学習や自然言語処理の研究・それらを用いたサービスのプロトタイピング を担う ● kintoneエヴァンジェリスト @対話システムシンポジウム @PyConJP 2016 @Cybozu Days 2016
- 5. about team “chakki”(1/2) 所属するチームのミッション すべての人が、ティータイムに帰れるようにする すべての人が、ティータイム(15:00)に帰れる(茶帰) 社会を実現します。 この実現には、既存の仕事を効率化するのでなく、 根本的に「仕事の仕方」を変える必要 があります。しかし、慣れた仕事の仕方というのは簡単には変わりません。 そのため、実際に「体験」をし、効果を「実感」してもらうことが重要になります。 私たちは、 先進的技術を用い、仕事の仕方が変わる体験を提供していきます。
- 10. OpenAIとOpenAI Gym(2/3) 10 Ilya Sutskever氏 Trevor Blackwell氏 Andrej Karpathy氏 所属する研究員の方たちは、Seq2Seqを提案したIlya Sutskever、Segwayを発明したTrevor Blackwell、画像の 説明文生成を行ったAndrej Karpathなど、泣く子も黙る 世界的に優秀な研究員・エンジニア達が所属。 日本人はまだいないようなので、ぜひ日本人初の OpenAI研究員を目指そう！
- 15. OpenAI Gymを動かしてみる(1/3) 環境構築の方法はこちらを参照。 Mac/Linux(Ubuntu)が公式だが、Windowsでもbash on Windowsを利用することで動作させる ことが可能。 利用する「ジム(=学習環境)」によって、必要となるライブラリも異なってくる。これらは、選択 的にインストールすることが可能。 ※pip install gymで入るのは必要最低限のもので、Atariのゲーム環境を使う場合はpip install ‘gym[atari]’といったように指定する 15
- 16. OpenAI Gymを動かしてみる(2/3) Gymの基本的な使い方は以下の通り。 16 import gym env = gym.make("CartPole-v0") for i_episode in range(20): observation = env.reset() done = False while not done: env.render() action = env.action_space.sample() next_observation, reward, done, info = env.step(action) Environment (CartPole-v0) Agent action observation, reward done (episode end) gym ①Environmentからはobservationが得られる ②Agentは、observationを基にactionを行う(ここではランダムに選択) ③actionにより、Environmentから次のobservationと、行動に対する報酬が与えられる ⇒この報酬を最大化したい ① ② ③ テストに出る ① ② ③
- 17. OpenAI Gymを動かしてみる(3/3) つまり(狭義の)「AI」の開発とは、環境が与えられたときにその環境に対し・・・ 1. 得られる報酬を最大化する 2. しかもすばやく最大化する 3. ひいては、異なる環境でも1, 2ができる(汎用的である) アルゴリズムを開発すること。 これまでは人によって学習・評価に使う環境に差異があることもあったが、Open AI Gymとい う統一の環境ができたことで、お互いのアルゴリズムを公平に評価できるようになった。 17
- 19. Let’s start from simple one 19 まずは、シンプルなルールで挑戦してみる Teach!
- 20. ルールで「AI」を作ってみる(1/4) 20 Agent Environment action (フン=左 & フン=右) observation, reward
- 21. ルールで「AI」を作ってみる(2/4) 21 Agent Environment action (フン=上 & フン=下) observation, reward def act(self, observation): if len(self._plan) == 0: self._plan += [self.action_up] * self._interval # up self._plan += [self.action_down] * (self._interval * 2) # back to center & down self._plan += [self.action_up] * self._interval # back to center return self._plan.pop(0) Fun(上) (戻る)＋Fun(下) (戻る) ※後のハンズオンでやります
- 25. 「AI」を成長させよう
- 35. アイデアのモデル化: 行動評価の方法(7/12) 35 ただ、右へ移動した場合は先ほどの行動評価の結果が使える。 action reward (future)reward
- 36. アイデアのモデル化: 行動評価の方法(8/12) 36 action reward (future)reward actionにより得られるreward 遷移先で見込める最大の報酬 行動選択の上では最大の報酬だけ に興味があるので、報酬が最大にな るものだけピックアップ
- 37. アイデアのモデル化: 行動評価の方法(9/12) 37 action reward (future)reward 行動評価を決定
- 38. アイデアのモデル化: 行動評価の方法(10/12) 38 行動評価 = actionによるreward + 遷移先で見込める最大の報酬 行動評価 = actionによるreward + 割引率 x 遷移先で見込める最大の報酬 将来の報酬になるので、 一定率で割り引く
- 39. アイデアのモデル化: 行動評価の方法(11/12) 39 行動評価 = actionによるreward + 遷移先で見込める最大の報酬 行動評価 = actionによるreward + 割引率 x 遷移先で見込める最大の報酬 将来の報酬になるので、 一定率で割り引く
- 40. アイデアのモデル化: 行動評価の方法(12/12) 40 行動評価 = actionによるreward + 遷移先で見込める最大の報酬 行動評価 = actionによるreward + 割引率 x 遷移先で見込める最大の報酬 将来の報酬になるので、 一定率で割り引くBellman Equation テストに出る
- 43. アイデアのモデル化: 最適化の方法(3/4) 43 まとめ 各状態における、行動評価の値 を0などで初期化する。 各状態で、行動評価の値を計算 する(Bellman Equation)。 計算した行動評価の値を使い、前 回状態の評価を行う。 step=1 step=2 ... step=n 前々回・・・と繰り返していくと、行動評価の値がstep前後で変わらなく なってくる(=収束する)。これで計算終了。 Agentは、行動評価が最大の方向に行くようにすればOK！
- 44. アイデアのモデル化: 最適化の方法(4/4) 44 まとめ 各状態における、行動評価の値 を0などで初期化する。 各状態で、行動評価の値を計算 する(Bellman Equation)。 計算した行動評価の値を使い、前 回状態の評価を行う。 step=1 step=2 ... step=n 前々回・・・と繰り返していくと、行動評価の値がstep前後で変わらなく なってくる(=収束する)。これで計算終了。 Agentは、行動評価が最大の方向に行くようにすればOK！ Value Iteration
- 45. We have done it …? 45 これで問題は解決？
- 50. We need new idea 50 どうするか？
- 51. 未知なる台地なら探索から puhoto by Moyan Brenn
- 58. 探索による最適化(7/9) 58 行動評価 = actionによるreward + 割引率 x 遷移先で見込める最大の報酬 行動評価 = (1 - 学習率) x 既存の行動評価の値 x 学習率(実際の行動評価) Bellman Equation これまでの行動評価を信じる分 今回の行動評価を信じる分 学習率で、これまでと今回の 評価の配分を行う
- 59. 探索による最適化(8/9) 59 行動評価 = actionによるreward + 割引率 x 遷移先で見込める最大の報酬 行動評価 = (1 - 学習率) x 既存の行動評価の値 x 学習率(実際の行動評価) Bellman Equation これまでの行動評価を信じる分 今回の行動評価を信じる分 行動評価 = 既存の行動評価の値 + 学習率(実際の行動評価 - 既存の行動評価の値) 式変形 TD誤差
- 60. 探索による最適化(9/9) 60 行動評価 = actionによるreward + 割引率 x 遷移先で見込める最大の報酬 行動評価 = (1 - 学習率) x これまでの行動評価 x 学習率(実際の行動評価) Bellman Equation これまでの行動評価を信じる分 今回の行動評価を信じる分 行動評価 = これまでの行動評価 + 学習率(実際の行動評価 - これまでの行動評価) 式変形 テストに出る TD誤差 Q-learning
- 65. We finally made it? 65 これでいけそう？
- 69. Deep Q-Networkの登場(1/2) 69 Deep Learning界において、「香川といえばうどん」と同じくらい「画像といえば CNN(Convolutional Neural Network)」は当然のこととして扱われている。 Clarifai CNNは、画像から特徴を抽出して判断するのに優れた手法。 これを応用して、以下のような仕組みを構築する。
- 70. Deep Q-Networkの登場(2/2) 画像であるstateを、画像処理に優れたConvolutional Neural Networkに流し込む。そこから 「どのactionがいい(=行動評価が高い)か」を出力させる。 ⇒状態を入力とし、行動評価を出力する計算プロセス(Q関数)を、Deep Learningに置き換え ている。 70 state 行動評価 action A B ・ ・ Convolutional Neural Network
- 71. Deep Q-learning ※価値関数(Q関数)自体をニューラルネットで近似するアイデアは以前からあったものであ り、よって学習を成功させる手法まで含めてDQNとよぶ。 DQN (Deep Q-Network) puhoto by Chloe Muro
- 73. Deep Q-Networkにおける3つのトリック(2/3) 73 ・ ・ ・ episode (1ゲーム終了ま での期間) experience ・ ・ ・ 行動とその結果 (state/action/遷移先 state/reward)を記憶 replay 報酬 遷移先の報酬 行動評価 誤差 ⇒DQN更新 DQN 定期的にコピー Fixed Target Q-Network 遷移先報酬を計算する際の重みはし ばらく固定し、定期的に更新する Experience Replay experienceに蓄積したものを、シャッフルして学習デー タにする。 ⇒学習データ間の相関を除去する(普通にやると時系 列に並んでいるため、強い相関がある)。
- 74. Deep Q-Networkにおける3つのトリック(3/3) 74 ・ ・ ・ episode (1ゲーム終了ま での期間) experience ・ ・ ・ replay 報酬 遷移先の報酬 行動評価 誤差 ⇒DQN更新 DQN 定期的にコピー Fixed Target Q-Network 遷移先の報酬を計算するネットワークはし ばらく重みを固定し、定期的に更新する(報 酬計算の安定性を高めるため)
- 75. Deep Q-Networkの実装(1/5) 実行結果(Open AI Gymへアップロード済み) 75
- 79. Deep Q-Networkの実装(5/5) DQNは、結果が出るまでかなり時間がかかる。そのため、実際計算しないとわからないこと 以外は可能な限り事前にテストしておくことが重要。 ● テストしておかないと、処理のミスかパラメーターのチューニングの問題かわからなくな る。 ○ 責務分担・処理の独立化を行い、手元のテストでつぶせるバグはすべてつぶして おくこと。 ○ これを怠ると、GPUの場合お財布、CPUの場合時間に致命的なダメージを負うこ とになる ● GPUはほぼ必須(CPUの場合、いい感じかどうかわかるのに1~2日はかかる) ○ GPUインスタンスを使おう ○ OpenAI Gymを検証しているといえばAmazonから$250分もらえるらしい 79
- 80. おわりに
- 82. Welcome to AI World! puhoto by Rog01
- 83. Thank you for listening!
- 84. Any Questions?