Decision Transformer: Reinforcement Learning via Sequence Modeling
•
5 j'aime•1,711 vues
強化学習若手の会で発表した『Decision Transformer: Reinforcement Learning via Sequence Modeling』 のまとめになります。
Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Decision Transformer: Reinforcement Learning via Sequence Modeling
Similaire à Decision Transformer: Reinforcement Learning via Sequence Modeling (20)
Plus de Yasunori Ozaki
Plus de Yasunori Ozaki (17)
Decision Transformer: Reinforcement Learning via Sequence Modeling
- 1. Decision Transformer: Reinforcement Learning via Sequence Modeling Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivasy, Igor Mordatchy 尾崎安範 株式会社サイバーエージェント
- 2. 尾崎安範 (Yasunori OZAKI) • 例によって⾃⼰紹介 サイバーエージェント 研究員 兼 ⼤阪⼤学 招聘研究員 兼 ⼤阪⼤学 ⽯⿊研究室 社会⼈博⼠２年⽣ ← NTT研（開発寄り） 研究員 ← 東⼤ 情報理⼯ 最近やっていること ロボットによる接客を強化学習する研究開発 @alfredplpl
- 4. 要約 • Transformerってやつがすごいらしい • オフライン強化学習ができるTransformer、Decision Transformerを提案してみた • Decision Transformerは連続制御に強いらしいことがわかった
- 5. はじめに • Transformerってやつがすごいらしい • だから、逐次意思決定問題にも使ってみたい 逐次意思決定問題を解くのが強化学習ってやつらしい • 強化学習の主流であるTD法のパラダイムを変えてやりたい 特に⻑い時間間隔を考えることにしたい • ちなみにオフラインRLを考えるからよろしく
- 6. 準備: オフライン強化学習 • 問題そのものはMDPで記述できる • 過去の履歴を利⽤して学習する • 通常の強化学習と違い、探索ができない • つまり、通常の強化学習より難しい
- 7. 準備: Transformer • TransformerとはAttentionと呼ばれる以下の数式を特徴とするニューラルネットワーク • Transformerでスペイン語を英語に翻訳するイメージは以下の通り。 [1] https://qiita.com/omiita/items/07e69aef6c156d23c538 [1] より引⽤
- 8. 提案⼿法: Decision Transformer • こんなアニメーション（リンク先[2]参照）のような感じらしい [2] https://sites.google.com/berkeley.edu/decision-transformer [2] より引⽤
- 10. Decision Transformerのアーキテクチャ • 3000トークンを⼊⼒として使う １トークンはリターン、⾏動、状態の集まり • 基本的にはGPTと同じモデル
- 11. 補⾜: GPTのアーキテクチャ • GPTのアーキテクチャは下図のとおりである [3] Alec Radford, Karthik Narasimhan, Tim Salimans, and Ilya Sutskever. Improving language understanding by generative pre-training. 2018. [3] より引⽤
- 12. Decision Transformerの擬似コード # R, s, a, t: returns -to -go , states , actions , or timesteps # transformer : transformer with causal masking (GPT) # embed_s , embed_a , embed_R : linear embedding layers # embed_t : learned episode positional embedding # pred_a : linear action prediction layer # main model def DecisionTransformer (R, s, a, t): # compute embeddings for tokens pos_embedding = embed_t (t) # per - timestep ( note : not per - token ) s_embedding = embed_s (s) + pos_embedding a_embedding = embed_a (a) + pos_embedding R_embedding = embed_R (R) + pos_embedding # interleave tokens as (R_1 , s_1 , a_1 , ... , R_K , s_K ) input_embeds = stack ( R_embedding , s_embedding , a_embedding ) # use transformer to get hidden states hidden_states = transformer ( input_embeds = input_embeds ) # select hidden states for action prediction tokens a_hidden = unstack ( hidden_states ). Actions # predict action return pred_a ( a_hidden )
- 13. Decision Transformerの学習 • 履歴を⼊⼒として使う • 損失関数はタスクの⾏動が連続の場合はMSE、離散であるならば、cross entropy
- 14. 学習の擬似コード # training loop for (R, s, a, t) in dataloader : # dims : ( batch_size , K, dim ) a_preds = DecisionTransformer (R, s, a, t) loss = mean (( a_preds - a )**2) # L2 loss for continuous actions optimizer . zero_grad (); loss . backward (); optimizer . step ()
- 15. 評価実験 • 他のオフライン強化学習⼿法と⽐べてどんな性質があるか調べてみた 実験環境 Atari: 離散制御 Open AI gym: 連続制御 Key-to-door: 右下図のような環境 評価指標 リターンを元に正規化された指標 評価条件 TD法: 特にCQLを利⽤ 模倣学習: 特にBCを利⽤ テスト時の初期リターン値 望む値 [4] Thomas Mesnard, Th ophane Weber, Fabio Viola, Shantanu Thakoor, Alaa Saade, Anna Harutyunyan, Will Dabney, Tom Stepleton, Nicolas Heess, Arthur Guez, et al. Counterfactual credit assignment in model-free reinforcement learning. arXiv preprint arXiv:2011.09464, 2020 [4] より引⽤
- 16. 評価実験の擬似コード # evaluation loop target_return = 1 # for instance , expert - level return R, s, a, t, done = [ target_return ], [env. reset ()] , [], [1] , False while not done : # autoregressive generation / sampling # sample next action action = DecisionTransformer (R, s, a, t)[ -1] # for cts actions new_s , r, done , _ = env. step ( action ) # append new tokens to sequence R = R + [R[ -1] - r] # decrement returns -to -go with reward s, a, t = s + [ new_s ], a + [ action ], t + [len(R)] R, s, a, t = R[-K:], ... # only keep context length of
- 17. 評価実験結果の総論 • 離散の⾏動はあんまり変わらないらしい • 連続制御は強いらしい • 特にkey-to-doorがすごい強い
- 18. 実験結果: Atari • Breakoutは強いらしい • Qbertがまぁまぁ弱いらしい
- 19. 実験結果: OpenAI Gym • D4RLというデータセットのうち、HalfCheetah、Hopper、Walkerの運動を学習させたらしい Medium: エキスパートに対して1/3のスコアを出す中レベル⽅策が１００万回のタイムスタンプを試⾏し たデータセット。 Medium-Replay: 最⼤４０万回のタイプスタンプを中レベル⽅策で集め、リプレイさせたデータセット。 Medium-Expert: 中レベル⽅策が１００万回のタイプスタンプを試⾏したデータとエキスパートが１００万 回のタイプスタンプを試⾏したデータセット。 [5] Justin Fu, Aviral Kumar, Ofir Nachum, George Tucker, and Sergey Levine. D4rl: Datasets for deep data-driven reinforcement learning. arXiv preprint arXiv:2004.07219, 2020. [5] より引⽤
- 20. 考察 • めちゃくちゃ疑問がおおい Does Decision Transformer perform behavior cloning on a subset of the data? How well does Decision Transformer model the distribution of returns? What is the benefit of using a longer context length? Does Decision Transformer perform effective long-term credit assignment? Does Decision Transformer perform well in sparse reward settings? Why does Decision Transformer avoid the need for value pessimism or behavior regularization? How can Decision Transformer benefit online RL regimes? • なので、気になった疑問だけを紹介
- 21. ⽂脈情報はどれぐらい役⽴っているのか • 特にAtariではめちゃくちゃ役⽴っている 作者は「シーケンスモデリング」のような働きをして⽂脈に即した⾏動ができているのではない かと仮説⽴てている
- 22. 提案⼿法をオンラインにすると︖ • うまく⾏けば、Go-Exploreの「記憶エンジン」として使えるんじゃないかな 補⾜: Go-ExploreとはAtariの中でも最も難しいゲームをぶっちぎりのスコアを出した⼿法 [5] Adrien Ecoffet, Joost Huizinga, Joel Lehman, Kenneth O Stanley, and Jeff Clune. Go-explore: a new approach for hard-exploration problems. arXiv preprint arXiv:1901.10995, 2019. [5] より引⽤ [5] より引⽤
- 23. まとめ • Decision TransformerというTransformerベースの強化学習を提案した • 強化学習界隈でTransformerをもっと使ってほしい • 現状では実世界応⽤には難があるかもしれない 特に怪しいデータを突っ込むと意図しない⾏動を起こすかもしれない [2] より引⽤