深層生成モデルと世界モデル

1. 深層⽣成モデルと世界モデル東京⼤学⼯学系研究科技術経営戦略学専攻松尾研究室特任研究員鈴⽊雅⼤ 2019/11/15 第4回統計・機械学習若⼿シンポジウム 1

2. ⾃⼰紹介鈴⽊雅⼤（東京⼤学松尾研究室特任研究員） ¤ 経歴 ¤ 2015年3⽉北海道⼤学情報科学研究科修了 ¤ 2018年3⽉東京⼤学⼯学系研究科修了 ¤ 博論︓深層学習と⽣成モデルによるマルチモーダル学習に関する研究 ¤ 2018年4⽉~ 東京⼤学⼯学系研究科特任研究員 ¤ 研究分野︓ ¤ 深層⽣成モデル ¤ マルチモーダル学習 ¤ 転移学習（ゼロショット学習） ¤ 活動など︓ ¤ Goodfellow, Bengioら著「深層学習」の監訳・分担翻訳 2

3. ⽬次 ¤ 深層⽣成モデル ¤ 深層⽣成モデルとマルチモーダル学習 ¤ 世界モデルと深層⽣成モデル ¤ まとめ 3

4. 深層⽣成モデル 4

5. 深層⽣成モデル ¤ 深層学習の研究分野では，深層⽣成モデルの研究が進んでいる． ¤ ⽣成系（画像や⽂書）の他に，異常検知，半教師あり学習，表現学習，メタ学習など Fig. 1. Schematic illustration of the Generative training scene ! from different viewpoints (in this A B r1 r Representation n v2 v3 v1 vv1 Neural sc representa + i i i i Observation 1 Observation 3Observation 2 2.1 UNSUPERVISED MODELS FOR WHOLE-SENTENCE ENCODING A standard RNN language model predicts each word of a sentence conditioned on the previous word and an evolving hidden state. While effective, it does not learn a vector representation of the entire sentence. In order to incorporate a continuous global latent sentence representation, we first need a method to map between sentences and distributed representations that can be trained in an unsupervised setting. While no strong generative model is available for this problem, three non- generative techniques have shown promise: sequence autoencoders, skip-thought, and paragraph vector. Sequence autoencoders have seen some success in pre-training sequence models for supervised downstream tasks (Dai & Le, 2015) and in generating complete documents (Li et al., 2015a). An autoencoder consists of an encoder function 'enc and a probabilistic decoder model p(x|~z = 'enc(x)), and maximizes the likelihood of a data case x conditioned on ~z, the learned code for x. In the case of a sequence autoencoder, both encoder and decoder are RNNs and data cases are sequences of tokens. There are serious problems with using standard autoencoders to learn feature extractors for global sentence features. In Table 1, we present the results of computing a path or homotopy between the encodings for two sentences and decoding each intermediate code. The intermediate sentences are generally ungrammatical and do not transition smoothly from one to the other. This suggests that these models do not generally learn a smooth, interpretable feature system for sentence encoding. In addition, since these models do not incorporate a prior over ~z, there is no practical way to use them in a generative setting to assign probabilities to sentences or to sample novel sentences. i went to the store to buy some groceries . i store to buy some groceries . i were to buy any groceries . horses are to buy any groceries . horses are to buy any animal . horses the favorite any animal . horses the favorite favorite animal . horses are my favorite animal . Table 1: Sentences produced by greedily decoding from points between two sentence encodings with a conventional autoencoder. The intermediate sentences are not plausible English. 5 [Brock+ 18] [Eslami+ 18] [Bowman+ 15] [Zhu + 17] Published as a conference paper at ICLR 2016 A stop sign is flying in blue skies. A herd of elephants flying in the blue skies. A toilet seat sits open in the grass field. Figure 1: Examples of generated images based on captions that describe novel s highly unlikely to occur in real life. The captions describe a common object doin strange location. 2 RELATED WORK Deep Neural Networks have achieved significant success in various tasks s (Krizhevsky et al., 2012), speech transcription (Graves et al., 2013), and m danau et al., 2015). While most of the recent success has been achieved b generative models have not yet enjoyed the same level of success. Most [Mansimov+ 15]

6. ⽣成モデル ¤ （確率的）⽣成モデル︓ ¤ データとして観測される観測変数が何らかの確率モデルから⽣成されていると仮定し，その⽣成過程を確率分布によってモデル化するアプローチ． ¤ 観測変数の背景にある因⼦（確率変数）として潜在変数も仮定することが多い． ¤ 「データがどのようにできているか︖」を明⽰的に表すことができ，モデルからデータを⽣成することができる．観測データ 𝑝" 𝑥 = % 𝑝" 𝑥|𝑧 𝑝(𝑧)𝑑𝑧 ⽣成モデルパラメータ⽣成観測変数潜在変数 𝑥 𝑧 𝑥 ~ 𝑝"(𝑥|𝑧) 𝑧 ~ 𝑝(𝑧) 6

7. ⽣成モデルの学習 ¤ 真の分布（データ分布）𝑝,-.-(𝑥)を近似するモデル分布（⽣成モデル）𝑝"(𝑥)を学習したい． ¤ ⽣成モデルが真の分布を近似するときの 𝜃を求めたい． ¤ どのような基準で分布間の距離を測ればいいか︖ ¤ 真の分布は実際にはわからないことにも注意． 𝑝"(𝑥)𝑝,-.-(𝑥) 7

8. ⽣成モデルの学習 ¤ カルバック・ライブラー（Kullback–Leibler，KL）ダイバージェンスで違いを測る． ¤ これを最⼩化するパラメータを求める． ¤ 上式より，対数尤度関数の期待値を最⼤化するパラメータを求めれば良い． ¤ 真の分布は分からないので，サンプル近似したもの（つまり訓練集合 𝒟 = 𝑥1 123 4 での平均）を⽬的関数とする（最尤推定）． 𝐷67[𝑝,-.-(𝑥)||𝑝"(𝑥)] = 𝐸;<=>=(?)[log ;<=>=(?) ;C(?) ] = 𝐸;<=>=(?) log 𝑝,-.-(𝑥) − 𝐸;<=>=(?) log 𝑝"(𝑥) 対数尤度関数 𝐸;<=>=(?) log 𝑝"(𝑥) ≅ 1 𝑁 H ?I∈𝒟 log 𝑝" 𝑥1 8

9. ⽣成モデルでできること ¤ ⽣成︓ ¤ ⽣成モデルが学習できれば，新たなデータを⽣成できる． ¤ 「⽣成」モデルと呼ばれるのはここから ¤ 密度推定︓ ¤ データを⼊⼒すると，それがどれだけ⽣成モデルと違うかがわかる． ¤ 外れ値検出や異常検知に⽤いられる． ¤ ⽋損値補完，ノイズ除去︓ ¤ ⽋損やノイズのある⼊⼒を⼊れると，補完してくれる． http://jblomo.github.io/datamining290/slides/2013-04-26- Outliers.html ⽣成モデル 9

10. 深層⽣成モデル ¤ 観測変数が複雑な場合，単純な確率分布では直接表現できない． ¤ 特に観測変数がベクトルで，その要素（次元）間の依存関係が⾮線形な場合（⾼解像度の画像など）⾮線形な関係性を表すには︖-> 深層ニューラルネットワーク（DNN） ¤ 深層⽣成モデル（deep generative model） ¤ 確率分布をDNNで表現した⽣成モデル． ¤ DNNによって，複雑な⼊⼒をend-to-endに扱えるようになった． 𝑥 𝑧 𝑥 ~ 𝑝"(𝑥|𝑧) 深層ニューラルネットワークによる確率分布の表現 𝑧 ~ 𝑝(𝑧) ⽣成モデルによって明⽰的に⽣成過程をモデル化できる + DNNによって⾮線形な関係性を捉えられる 10

11. 深層⽣成モデルの種類学習するモデル⽣成モデルの尤度計算⽣成推論 VAE ⽣成モデル︓ 𝑝 𝑥, 𝑧 = ∫ 𝑝 𝑥 𝑧 𝑝 𝑧 𝑑𝑧 推論モデル︓ 𝑞 𝑧 𝑥 直接は不可能（対数尤度の変分下界（ELBO）が計算可能）低コスト可能（推論モデル） GAN ⽣成器︓ 𝐺(𝑧) 識別器︓ 𝐷(𝑥) 不可能（識別器が真のモデルとの尤度⽐を推定）低コスト不可能（⼿法による）⾃⼰回帰モデル複数の条件付きモデル︓ 𝑝 𝑥 = O 1 P 𝑝(𝑥1|𝑥3, … , 𝑥1R3) 可能⾼コスト潜在変数がないフローベースモデルフロー（可逆な関数）︓ 𝑥 = 𝑓(𝑧) 可能低コスト可能（逆変換）エネルギーベースモデルエネルギー関数︓𝐸(𝑥) 困難（分配関数の計算が必要）⾼コスト潜在変数を持つモデルの場合は可能 11

12. Variational Autoencoder ¤ Variational autoencoder（VAE） [Kingma+ 13, Rezende+ 14] ¤ 潜在変数𝑧をもつ観測変数𝑥の深層⽣成モデル ¤ 潜在変数𝑧への推論を，観測𝑥を⼊⼒としたDNNで表現（amortized inference） 𝑥 𝑧 𝑞T(𝑧|𝑥) 𝑥 ~ 𝑝"(𝑥|𝑧) 𝑧 ~ 𝑝(𝑧)𝑞T 𝑧 𝑥 = 𝒩(𝑧|𝜇, 𝜎 = 𝑔T 𝑥 ) 推論モデル（ガウス分布）⽣成モデル（ベルヌーイ分布） 𝑝" 𝑥 𝑧 = ℬ(𝑥|Z𝑥 = 𝑓[ 𝑧 ) 𝑧 𝑥 𝜇 𝜎 Z𝑥 12

13. Variational Autoencoder ¤ ⽬的関数︓対数尤度の変分下界（エビデンス下界，evidence lower bound︔ELBO） ¤ 分布のパラメータ化等の話を省略して，情報の流れを確認． ¤ VAEでは推論モデルで⼊⼒𝑥を𝑧にエンコードし，⽣成モデルで𝑧から𝑥をデコード（再構成）する． ¤ 推論モデルと⽣成モデルをオートエンコーダにおけるエンコーダとデコーダとみなせる． 13 log 𝑝"(𝑥) ≥ 𝐸]^ 𝑧 𝑥 log 𝑝" 𝑥|𝑧 − 𝐷67[𝑞T 𝑧 𝑥 ∥ 𝑝 𝑧 ] 負の再構成誤差推論の正則化 𝑧エンコーダ 𝑞T 𝑧 𝑥 デコーダ 𝑝" 𝑥|𝑧𝑥 𝑥 再構成⼊⼒

14. ⽣成画像 ¤ ランダムな𝑧から画像を⽣成 ¤ 綺麗に⽣成できているが，輪郭等がぼやける傾向がある． rmed through the inverse CDF of the Gaussian to produce h of these values z, we plotted the corresponding generative [Kingma+ 13]より @AlecRad 14

15. VAEと表現学習 ¤ VAEでは，再構成だけでなく表現𝑧も学習しているとみなせる． ¤ エンコーダ𝑞T 𝑧 𝑥 が表現への写像を学習している． ¤ VAEは表現学習⼿法として優れた⼿法． ¤ 表現学習︓ ¤ ⼊⼒から「良い表現」を（できれば教師なしで）獲得する学習． ¤ 「良い表現」とは︖ ¤ 元のデータを保持しつつ，他のタスクにも使い回せるような表現だと良さそう． ¤ Meta-Prior [Bengio+ 13, Goodfellow+ 16]（⾔葉⾃体は[Tschannen+ 18]） ¤ 多くのタスクに使える表現の性質に関する仮定 ¤ 多様体，Disentangle，概念の階層性，半教師あり学習，クラスタ性など 15

16. 多様体学習 ¤ 多様体︓ ¤ 確率の⼤部分が集中していて，その集中している部分は局所的に連続している（ユークリッド空間とみなせる） ¤ これを低次元空間にうまく展開するように学習する︓多様体学習 ¤ VAEによる多様体学習 ¤ VAEは，表現空間で多様体学習ができる． ¤ 2次元の潜在空間の可視化（右図，MNIST） ¤ 潜在空間上で移動しそのときの画像を⽣成 (a) Learned Frey Face manifold (b) Learned MNIST manifold Figure 4: Visualisations of learned data manifold for generative models with two-dimensional latent [Kingma+ 13] 16

17. Meta-Priorを実現するVAE ¤ VAEで表現についての様々なMeta-Priorを実現するために，多くの⼿法が提案されている（[Tschannen+ 18]より） 17

18. Disentanglement ¤ Disentanglement（もつれを解く表現） ¤ データは独⽴に変化する要素から⽣成されているという仮定 ¤ 例) 物体の向き，光源の状態 ¤ 利点︓ ¤ ⼈間が解釈しやすい表現（「概念」の獲得） ¤ 様々なタスクに転⽤できる可能性 ¤ 最近では，物理学における対称性（symmetry）と関連づける議論もある [Higgins + 18] https://www.slideshare.net/lubaelliott/emily-denton-unsupervised-learning-of-disentangled-representations-from-video-creative-ai-meetup 18

19. VAEとdisentanglement ¤ VAEのELBO（再掲） ¤ 第2項の正則化項では𝑞T 𝑧 𝑥 を𝑝 𝑧 に近づけるように学習する． ¤ 通常， 𝑝 𝑧 には標準ガウス分布 𝒩(0, 𝐈)が選択される． ¤ 各次元は独⽴（ 𝑝 𝑧 = ∏1 𝑝(𝑧1)） ¤ したがって，この正則化は潜在変数の各要素が独⽴になるように制約している． -> disentangleな表現へ ℒ 𝑥; 𝜃, 𝜑 = E]^ 𝑧 𝑥 log 𝑝" 𝑥|𝑧 − 𝐷67[𝑞T 𝑧 𝑥 ∥ 𝑝 𝑧 ] 19

20. β-VAE ¤ β-VAE [Higgins+ 17] ¤ VAEのELBOの第2項に係数𝛽を導⼊ 𝛽を⼤きく（𝛽 ≫ 1）する． ¤ すると，潜在変数の各次元で独⽴な表現（=disentanglement）が獲得される． ※ 実際には，パラメータ𝐶を導⼊した以下の式の⽅が，よりdisentangleされる [Burgess+ 17] 𝐸]^ 𝑧 𝑥 log 𝑝" 𝑥|𝑧 − 𝛽 𝐷67[𝑞T 𝑧 𝑥 ∥ 𝑝 𝑧 ] 𝐸]^ 𝑧 𝑥 log 𝑝" 𝑥|𝑧 − 𝛽| 𝐷67 𝑞T 𝑧 𝑥 ∥ 𝑝 𝑧 − 𝐶| 20

21. 正則化項の分解 ¤ ELBOの正則化項（のデータ分布𝑝,-.-(𝑥)における期待値）は次のように分解される． ¤ 第1項︓𝑥と𝑧の相互情報量𝐼(𝑥; 𝑧) ¤ 第2項︓aggregate事後分布𝑞 𝑧 = ∫ 𝑞 𝑧 𝑥 𝑝,-.- 𝑥 𝑑𝑥 [Makhzani+ 16]と事前分布𝑝(𝑧)のKLダイバージェンス [Hoffman+ 16] ¤ Disentanglementに関連する項は第2項 ¤ 「Disentanglement（第2項）」と「𝑧における𝑥の情報量（第1項）」がトレードオフ． ¤ Disentangleしようと正則化項の重みを⼤きくすると，相互情報量が⼩さくなり，うまく情報がエンコードできなくなる． ¤ 表現⼒の⾼いデコーダを⽤いても潜在表現の獲得を無視する傾向がある． => posterior collapse 𝐸;<=>=(?) 𝐷67 𝑞T 𝑧 𝑥 ∥ 𝑝 𝑧 = 𝐼 𝑥; 𝑧 + 𝐷67 𝑞T(𝑧) ∥ 𝑝 𝑧 21

22. Disentangle VAE ¤ FactorVAE [Kim+ 18] ¤ Aggregate事後分布𝑞(𝑧)が独⽴になるように，全相関による正則化項を追加する．ただし，この項は評価できないので密度⽐トリック（後述する敵対的訓練）を⽤いる． ¤ PixelGAN-AE [Makhzani+ 17] ¤ デコーダにPixelCNNを使うと，潜在表現が無視される（posterior collapse）． ¤ 相互情報量𝐼(𝑥; 𝑧)を⾜すことで，ELBOの相互情報量の項を打ち消す． 𝑇𝐶 𝑞T 𝑧 = 𝐷67[𝑞T(𝑧)|| O m 𝑞T(𝑧m)] ℒn-o.pqrst 𝑥; 𝜃, 𝜑 = ℒrst 𝑥; 𝜃, 𝜑 − 𝜆・𝑇𝐶 𝑞T 𝑧 ℒv1?wxys4Rst 𝑥; 𝜃, 𝜑 = ℒrst 𝑥; 𝜃, 𝜑 + 𝐼(𝑥; 𝑧) 22

23. そのほかの正則化⼿法 ¤ ⾼い尤度のモデルは必ずしも「良い」表現の獲得を意味しないことも指摘されている[Alemi+ 18] ¤ [Tschannen+ 18]より ℒrst 𝑥; 𝜃, 𝜑 − 𝜆3 𝑅3(𝑞T(𝑧|𝑥)) − 𝜆{[𝑅{(𝑞T(𝑧))] ラベル 23

24. なぜVAEの⽣成画像はぼやけてしまうのか︖ ¤ VAEでは，データが与えられた下での尤度を計算する必要がある． ¤ ⽣成モデルの分布の選択によって再構成誤差の種類が制約されることを意味する． ¤ e.g., ⼆乗誤差（ガウス分布），交差エントロピー誤差（ベルヌーイ分布） -> 明⽰的なモデル ¤ 限定された誤差関数を⽤いるのではなく，誤差関数⾃体を学習で求めればいいのでは︖ -> 暗黙的なモデル[Mohamed+ 16] 24 E]^ 𝑧 𝑥 log 𝑝" 𝑥|𝑧 − 𝐷67[𝑞T 𝑧 𝑥 ∥ 𝑝" 𝑧 ] ⽣成モデルの尤度

25. Generative adversarial network ¤ Generative adversarial network（GAN） [Goodfellow+ 2014] ¤ 学習可能な識別器𝐷(𝑥) を導⼊する． ¤ ⽣成データが真かどうかを判定することで，⽣成モデルの評価を⾏う． ¤ 𝐺と𝐷で次のゲームをする（敵対的訓練）． ¤ 𝐺はなるべく𝐷を騙すように𝑥を⽣成する（⽣成モデルの学習） ¤ 𝐷はなるべく𝐺に騙されないように識別する（⽣成モデルの評価の学習）⽣成モデル 𝐺 識別器 𝐷 |𝑥 𝑥 ノイズ 𝑧 真のデータ ->最終的には，𝐷が本物と区別できないような𝑥が𝐺から⽣成される． 25 real or fake

26. GANによる画像⽣成の進展 26 Reproduced from a Goodfellow's tweet https://twitter.com/goodfellow_ian/status/1084973596236144640

27. 深層⽣成モデルの種類（再掲） 27 学習するモデル尤度の計算⽣成推論 VAE ⽣成モデル︓ 𝑝 𝑥, 𝑧 = ∫ 𝑝 𝑥 𝑧 𝑝 𝑧 𝑑𝑧 推論モデル︓ 𝑞 𝑧 𝑥 直接は不可能（対数尤度の変分下界（ELBO）が計算可能）低コスト可能（推論モデル） GAN ⽣成器︓ 𝐺(𝑧) 識別器︓ 𝐷(𝑥) 不可能（識別器が真のモデルとの尤度⽐を推定）低コスト不可能（⼿法による）⾃⼰回帰モデル複数の条件付きモデル︓ 𝑝 𝑥 = O 1 𝑝(𝑥1|𝑥3, … , 𝑥1R3) 可能⾼コスト潜在変数がないフローベースモデルフロー（可逆な関数）︓ 𝑥 = 𝑓(𝑧) 可能低コスト可能（逆変換）エネルギーベースモデルエネルギー関数︓𝐸(𝑥) 困難（分配関数の計算が必要）⾼コスト潜在変数を持つモデルの場合は可能

28. 深層⽣成モデルとマルチモーダル学習 28

29. マルチモーダル学習 ¤ 我々はマルチモーダル情報を取り⼊れることで，単⼀のモダリティ情報よりも確実な情報処理を⾏っている． ¤ ロボットも複数のセンサから様々な種類の情報を獲得している ¤ 動画，⾳声，⾓度や加速度情報，距離情報など ¤ 機械学習においても，マルチモーダルデータを活⽤して判断・予測を⾏いたい． ⇒ マルチモーダル学習 https://www.softbank.jp/robot/consumer/products/spec/ 29

30. 条件付け深層⽣成モデル ¤ 観測変数𝑦 （𝑥と異なるモダリティ）で条件づけた深層⽣成モデル ¤ 𝑦 から 𝑥への⽣成過程を表現． 30 𝑥 𝑧 𝑧𝑦 別のモダリティ潜在変数 𝑥 𝑝 𝑥 𝑝 𝑥|𝑦 ⼊⼒

31. 例︓⽂書から画像の⽣成 ¤ ⽂書𝑦から画像𝑥 の⽣成 ¤ [Mansimov+ 15] ¤ [Zhang+ 16] 31 Published as a conference paper at ICLR 2016 A stop sign is flying in blue skies. A herd of elephants flying in the blue skies. A toilet seat sits open in the grass field. A person skiing on sand clad vast desert. Figure 1: Examples of generated images based on captions that describe novel scene compositions that are highly unlikely to occur in real life. The captions describe a common object doing unusual things or set in a strange location. 2 RELATED WORK Deep Neural Networks have achieved significant success in various tasks such as image recognition (Krizhevsky et al., 2012), speech transcription (Graves et al., 2013), and machine translation (Bah- danau et al., 2015). While most of the recent success has been achieved by discriminative models, Supplementary Materials Additional Results on CUB Dataset This bird sits close to the ground with his short yellow tarsus and feet; his bill is long and is also yellow and his color is mostly white with a black crown and primary feathers Stage-I images Stage-II images A large bird has large thighs and large wings that have white wingbars

32. 深層⽣成モデルによる同時モデル ¤ 異なるモダリティの同時分布𝑝(𝑥, 𝑦)をモデル化 ¤ 適切に学習できれば，任意の条件付けを⾏って⽣成できるはず（双⽅向⽣成，𝑝 𝑥 𝑦 , 𝑝(𝑦|𝑥)） ¤ 潜在変数は2つのモダリティを統合した表現（共有表現）を獲得できるはず． ¤ VAEで容易に実現可能 ¤ モダリティごとにデコーダを増やす． 32 𝑥 𝑦 𝑧 共有表現 𝑝 𝑥, 𝑦 = % 𝑝 𝑥|𝑧 𝑝 𝑦 𝑧 𝑝 𝑧 𝑑𝑧

33. ⽋損モダリティ問題 ¤ モダリティ間を双⽅向変換するときは，⽚⽅のモダリティを⽋損させる．例︓𝑥から𝑦への変換 ¤ ⽋損させるモダリティ𝑦の情報量が⼤きい場合，𝑥だけでは適切に𝑧を推論できずに崩れてしまう可能性がある（⽋損モダリティ問題）． ¤ 𝑧が適切に推論できなければ，𝑦も適切に⽣成できなくなる．エンコーダデコーダ 𝑥 𝑧 𝑦 𝑥 𝑧 𝑦 33

34. ¤ VAEにおける⽋損値補完 ¤ 反復的に⽋損した部分（モダリティ）を補完する（反復サンプリング⼿法[Rezende 14]）しかし⽋損値の情報量が⼤きい場合，この⼿法では補完しきれないことを確認．既存⼿法︓反復サンプリング⼿法 𝑥 𝑧 𝑦 𝑥 𝑧 𝑦 𝑥 𝑧 𝑦 𝑦を任意の値で初期化 𝑥と𝑦から 𝑧を推論 𝑧から𝑦を⽣成して， 𝑦の値を置き換える 34

35. ¤ 単⼀モダリティのエンコーダ 𝑞(𝑧|𝑥)， 𝑞(𝑧|𝑦)を⽤意して，元のエンコーダ 𝑞(𝑧|𝑥, 𝑦)を近似する． ¤ VAEの⽬的関数に近似のための項（KLダイバージェンス）を加える． ¤ 𝑞 𝑧 𝑥 と𝑞(𝑧|𝑦)を単⼀モダリティ⼊⼒から潜在変数への写像に⽤いる． ¤ ⽋損補完をせずに潜在変数を推論できるようになる（反復サンプリングが必要ない）． => JMVAE [Suzuki+ 17] 提案⼿法︓JMVAE エンコーダデコーダ元の⽬的関数単⼀モダリティのエンコーダの近似の項 E]^ 𝑧 𝑥, 𝑦 log 𝑝" 𝑥, 𝑦|𝑧 − 𝐷67[𝑞T 𝑧 𝑥, 𝑦 ∥ 𝑝" 𝑧 ] −𝐷67[𝑞T 𝑧 𝑥, 𝑦 ∥ 𝑞• 𝑧 𝑥 ] −𝐷67[𝑞T 𝑧 𝑥, 𝑦 ∥ 𝑞• 𝑧 𝑦 ] 𝑥 𝑧 𝑦𝑥 𝑧 𝑦 𝑦 𝑧 𝑥 𝑧 𝐷67 𝐷67 35

36. JMVAEの妥当性について ¤ JMVAE におけるKL最⼩化による単⼀モダリティ分布の近似は，⽋損補完に限らず使える⼿法 ¤ SCAN[Higgins+ 17]やGQN[Eslami+ 18]などでも同様のアプローチを採⽤． ¤ この⼿法の妥当性は︖ ¤ 直感的には，近づける分布𝑞(𝑧|𝑥, 𝑦)の⽅が不確かさが⼩さいため，尖った分布に近づいてしまう（左）． ¤ ただし⽬的関数全体はデータ分布の期待値であり，式変形すると単⼀モダリティ分布のデータ分布での期待値 𝑞-€•(𝑧|𝑦)になる（右）． 𝑞(𝑧|𝑥, 𝑦) 𝑞(𝑧|𝑦) 𝑞-€•(𝑧|𝑦) = 𝐸;(?)[𝑞 𝑧 𝑥, 𝑦 ] 𝑞(𝑧|𝑦) -> 明⽰的に単⼀モダリティ分布を近似する効果 36

37. JMVAE ¤ 双⽅向変換や，共有表現の学習が可能 ¤ e.g., 画像 (𝑥) と属性(𝑦) ¤ 半教師あり学習[Suzuki+ 18]やゼロショット学習[Suzuki+ 18]などへの応⽤ 37 共有表現双⽅向の変換 58 4 Male : 0.95 Eyeglasses : -0.99 Young : 0.30 Smiling : -0.97 ! ! Male : 0.22 Eyeglasses : -0.99 Young : 0.87 Smiling : -1.00 ! ! Input Generated attributes Average face Reconstruction Not Male Eyeglasses Not Young Smiling Mouth slightly open 4.10 *6 *7 Not Male Bald Smiling (b) (a) ! ! (b) PCA

38. JMVAEの発展 ¤ JMVAEの課題 ¤ モダリティごとに推論モデルを⽤意する必要がある． ¤ 3つ以上のモダリティに拡張困難． ¤ MVAE[Wu+ 18] ¤ 異なるモダリティへの推論として，エキスパートの積（PoE）を利⽤ ¤ 追加の推論モデルが不要&任意のモダリティ数に拡張可能 ¤ 混合エキスパート（エキスパートの和，MoE）を⽤いる⼿法もある[Kurle+ 18, Shi+ 19]． ¤ 共有表現を学習せずに，⽋損モダリティ問題を解決する⼿法も提案されている． ¤ 各モダリティの推論モデルだけを利⽤[Ivanov+ 19, Jo+ 19, Tsai+ 19] 38

39. 世界モデルと深層⽣成モデル 39

40. 脳の世界モデル ¤ ⼈間は世界のあらゆるものを知覚できるわけではない． ¤ 脳に⼊ってくる情報は⾮常に限られている． ¤ したがって脳の内部では，限られた情報から現実世界をモデル化している． ¤ 世界モデル（world model）︓ ¤ 外界からの限られた刺激を元に，世界をシミュレートするモデル ¤ 内部モデルや⼒学モデルともいう深層⽣成モデルによる世界モデル研究が進められている．刺激世界モデル 40

41. 世界モデルにおける表現の獲得 ¤ 世の中には⼤量かつ複雑な情報が溢れており，世界モデルではそれらの情報を空間的・時間的に圧縮している． ¤ 脳の神経カラムの活動から顔画像を復元 [Chang+ 17] -> 世界モデルは⾃ら情報の構造を理解して抽象表現を獲得している 41

42. 世界モデルによる予測 ¤ 「今までの記憶から未来を予測する⼒．それが知能である．」 ¤ Jeff Hawkins （「On Intelligence（考える脳考えるコンピュータ）」より） ¤ より正確に⾔うと，現在の運動や⾏動を使って将来の刺激を予測している． ¤ 学習した脳の世界モデルによって未来をシミュレーションしている． ¤ ⼈間はこれを常に⾏っていると考えられる． ¤ 例︓バットを振ってボールに当てる ¤ ボールが⾶んでくる視覚情報が脳に到達する時間は，バットの振り⽅を決める時間よりも短い， ¤ 世界モデルによって無意識に予測を⾏い，それにしたがって筋⾁を動かしている． -> 知能における世界モデルの重要性 42

43. 深層⽣成モデルを⽤いた世界モデル ¤ World Model[Ha+ 18] ¤ VAE+MDN-RNN[Graves + 13, Ha+ 17]で，ゲーム環境の世界モデルを学習 43

44. 世界モデル内での強化学習 ¤ 学習した世界モデルの中で強化学習を⾏う ¤ ⼈間でいうイメージトレーニングや睡眠学習のようなもの ¤ 実世界とは違い，何回でも学習できる． ¤ 実世界（ゲーム）でテストすると，正しく⾏動できていることがわかる． 45

45. より複雑な環境での世界モデル ¤ Generative Query Network（GQN）[Eslami+ 18] ¤ ある複数の視点における画像を元に，別の視点の画像を予測する世界モデル． ¤ 条件付け深層⽣成モデルの利⽤． 46 Fig. 1. Schematic illustration of the Generative Query Network. (A) The agent observes training scene ! from different viewpoints (in this example from &$ / , &$ @ and &$ A ). (B) The inputs A B r1 r2 r h1 h2 hL z Generation network gRepresentation network f ··· v2 v3 v1 v2v1 v3 Neural scene representation Query Latent Rendering steps Predicted view + i i i i i i Observation 1 Observation 3Observation 2 ⽣成ネットワーク（⽣成モデル）表現ネットワーク

46. Generative Query Network ¤ 表現𝑟 = 𝑓( 𝑥3,…,ƒ, 𝑣3,…,ƒ) とクエリ視点𝑣] で条件づけた画像 𝑥] の深層⽣成モデル（条件付けVAE） ¤ 𝑟と𝑣] を条件付けモデルの説明での𝑦と考えればよい． ¤ 𝑓は表現ネットワーク（ 𝑀個の視点 𝑥3,…,ƒ と対応する画像 𝑣3,…,ƒ から表現𝑟をエンコード）． ELBO（目的関数） log 𝑝 𝑥] |𝑣] , 𝑟 ≥ 𝐸] 𝑧 𝑥] , 𝑣] , 𝑟 log 𝑝 𝑥] 𝑧, 𝑣] , 𝑟 𝜋(𝑧|𝑣] , 𝑟) 𝑞 𝑧 𝑥] , 𝑣] , 𝑟 = 𝐸] 𝑧 𝑥] , 𝑣] , 𝑟 log 𝑝 𝑥] 𝑧, 𝑣] , 𝑟 − 𝐷67[𝑞 𝑧 𝑥] , 𝑣] , 𝑟 ||𝜋(𝑧|𝑣] , 𝑟)]𝑥] 𝑧 𝑞 𝑧 𝑥] , 𝑣] , 𝑟 𝑝 𝑥] 𝑧, 𝑣] , 𝑟𝜋(𝑧|𝑣] , 𝑟) 𝑟 𝑣] ⽂脈とクエリ視点で条件づけた下でのクエリ画像の対数尤度 𝑥3,…,ƒ , 𝑣3,…,ƒ の情報を含んだ表現グラフィカルモデル 47

47. Generative Query Network https://www.youtube.com/watch?v=RBJFngN33Qo 48

48. 系列情報からの世界モデルの獲得 ¤ Shaping Belief States with Generative Environment Models for RL [Gregor+ 19] ¤ エージェントの視点と⾏動だけから，世界の不変的な構造を学習． ¤ 信念状態を学習する予測モデル． ¤ 信念の学習を無視しないようにするために，オーバーシューティングを導⼊ ¤ 信念状態からデコードすることで，その時点での地図を可視化できる． 49

49. 信念状態の可視化と未来の予測 ¤ 信念状態のデコード ¤ エージェントが初めて⾒たものは地図上に表⽰される． ¤ 新しい情報が⼊ってきてもこれまでの情報は消えずに保たれている． ¤ ある程度環境内を回った後（170ステップ）にロールアウト（未来の予測） ¤ 正しくシミュレートできている-> ⼀貫した系列予測が可能 50

50. 世界モデルとマルチモーダル学習 ¤ 従来の世界モデル研究では，単⼀モダリティ（主に画像）のみを扱っていた． ¤ ⼀⽅で，⼈間は様々なモダリティ情報を元に，脳内に抽象的な世界をモデル化している． Þ 世界モデルにおけるマルチモーダル学習の重要性 [Shi+ 19] 51

51. Neuro-SERKET ¤ Neuro-SERKET [Taniguchi+ 19] ¤ 深層⽣成モデルを含む確率的⽣成モデルによるマルチモーダル認知アーキテクチャの提案 ¤ 確率モデルの結合には，SERKET[Nakamura+ 17]の⽅法を応⽤． ¤ VAE+GMM+LDA+ASRの例︓ ¤ 数字の画像（MNIST）と⾳声から学習 ¤ 今後の課題︓ ¤ 複雑な認知アーキテクチャを全て深層⽣成モデルで設計・学習することは可能か︖ ¤ そうした複雑な深層⽣成モデルを簡潔に実装することは可能か︖ 52

52. Pixyz ¤ Pixyz [Suzuki+ 18]︓深層⽣成モデルに特化した確率プログラミングライブラリ ¤ 複雑な深層⽣成モデルを簡潔に実装できることが特徴 ¤ PyTorch（深層学習ライブラリ）ベース ¤ 直感的な実装を実現するために，DNNと確率モデルの設計が分離していることが特徴． ¤ DNNを意識せずに確率モデルを実装に集中できる． ¤ Pixyzの構成図（実装の流れ）︓ DNN modules (torch.nn.modules) 𝑝 𝑥, 𝑧 = 𝑝 𝑥 𝑧 𝑝 𝑧 𝑞(𝑧|𝑥) ℒ(𝑥; 𝜃, 𝜙) = −𝐸]ˆ(‰|?)[log 𝑝"(𝑥, 𝑧) 𝑞Š(𝑧|𝑥) ] 𝜃 ← 𝜃 − 𝛼 𝜕ℒ(𝑥; 𝜃, 𝜙) 𝜕𝜃 Flow modules (pixyz.flows) Autoregression modules (pixyz.autoregressions) Loss API (pixyz.losses) 確率モデルの誤差関数を定義 Distribution API (pixyz.distributions) DNNから確率分布，確率モデルを定義 Model API (pixyz.models) 定義した誤差関数をもとに学習 53 DNN部分確率モデル部分

53. Pixyzの実装例 ¤ Variational autoencoder (VAE) ︓ 54 -> 確率モデルの式と対応した簡潔な実装 −𝐸;<=>= ? [𝐷67[𝑞T 𝑧 𝑥 ∥ 𝑝 𝑧 ] + 𝐸]^ 𝑧 𝑥 log 𝑝" 𝑥|𝑧 ] 𝑥 𝑧 𝑞T(𝑧|𝑥) 𝑥 ~ 𝑝"(𝑥|𝑧) 𝑧 ~ 𝑝(𝑧) PyTorch Pixyz DNN部分（確率分布を定義）確率モデル部分（1⾏で書ける）

54. 複雑な深層⽣成モデルの実装 ¤ TD-VAE[Gregor+ 18]︓深層⽣成モデルによる時系列モデルの⼀つ ¤ 従来の深層確率プログラミング⾔語では実装困難 ¤ Pixyzでの実装（確率モデリング部分のみ表⽰） 55 E q(zt1 ,zt2 |bt1 ,bt2 ) [log p (xt2 |zt2 ) + log pB (zt1 |bt1 ) + log p (zt2 |zt1 ) log pB (zt2 |bt2 ) log q (zt1 |zt2 , bt1 , bt2 )] <latexit sha1_base64="6RhHIi8IQtIi6ez2digkBHP4zjY=">AAADrnichVHLbtNAFL2ueZTwaAobJDYWUVERJRpHSK1YVUVIXfZB0kpxZHncSTLq+IE9iWgG/wA/wIIVSAghFnwEG36gi25gjVgWiQ0Lrh8orgtlLM+9c+acM/fO0FDwWBJypM3o585fuDh7qXb5ytVrc/X56504GEUua7uBCKJd6sRMcJ+1JZeC7YYRczwq2A7df5Tu74xZFPPAfyIPQtbznIHP+9x1JEL2vLZujfw9JDCpnlqC9eXixFbSVmaSLBl52koS47lBpzD9A1sRHwzl3URZniOHlKrHiKUmXUsEAyPMDZ+VXCYV6b2caKu1pHJ6+ciT5DKx7Dol3v+7a7mRVoVcbb5c69JZzRt57Nn1BmmSbBinE7NIGlCMjaD+DizYgwBcGIEHDHyQmAtwIMavCyYQCBHrgUIswoxn+wwSqKF2hCyGDAfRfZwHuOoWqI/r1DPO1C6eIvCPUGnAAjkk78kx+Uw+kG/k1z+9VOaR1nKAkeZaFtpzL25u//yvysMoYThVnVmzhD6sZLVyrD3MkLQLN9ePJy+Ptx9uLag75A35jvW/JkfkE3bgj3+4bzfZ1iuo4QOY1es+nXRaTZM0zc0HjdW14ilm4RbchkW872VYhXXYgDa42kftUPuifdWJ3tF7up1TZ7RCcwNODH34G3CkCLY=</latexit><latexit sha1_base64="6RhHIi8IQtIi6ez2digkBHP4zjY=">AAADrnichVHLbtNAFL2ueZTwaAobJDYWUVERJRpHSK1YVUVIXfZB0kpxZHncSTLq+IE9iWgG/wA/wIIVSAghFnwEG36gi25gjVgWiQ0Lrh8orgtlLM+9c+acM/fO0FDwWBJypM3o585fuDh7qXb5ytVrc/X56504GEUua7uBCKJd6sRMcJ+1JZeC7YYRczwq2A7df5Tu74xZFPPAfyIPQtbznIHP+9x1JEL2vLZujfw9JDCpnlqC9eXixFbSVmaSLBl52koS47lBpzD9A1sRHwzl3URZniOHlKrHiKUmXUsEAyPMDZ+VXCYV6b2caKu1pHJ6+ciT5DKx7Dol3v+7a7mRVoVcbb5c69JZzRt57Nn1BmmSbBinE7NIGlCMjaD+DizYgwBcGIEHDHyQmAtwIMavCyYQCBHrgUIswoxn+wwSqKF2hCyGDAfRfZwHuOoWqI/r1DPO1C6eIvCPUGnAAjkk78kx+Uw+kG/k1z+9VOaR1nKAkeZaFtpzL25u//yvysMoYThVnVmzhD6sZLVyrD3MkLQLN9ePJy+Ptx9uLag75A35jvW/JkfkE3bgj3+4bzfZ1iuo4QOY1es+nXRaTZM0zc0HjdW14ilm4RbchkW872VYhXXYgDa42kftUPuifdWJ3tF7up1TZ7RCcwNODH34G3CkCLY=</latexit><latexit sha1_base64="6RhHIi8IQtIi6ez2digkBHP4zjY=">AAADrnichVHLbtNAFL2ueZTwaAobJDYWUVERJRpHSK1YVUVIXfZB0kpxZHncSTLq+IE9iWgG/wA/wIIVSAghFnwEG36gi25gjVgWiQ0Lrh8orgtlLM+9c+acM/fO0FDwWBJypM3o585fuDh7qXb5ytVrc/X56504GEUua7uBCKJd6sRMcJ+1JZeC7YYRczwq2A7df5Tu74xZFPPAfyIPQtbznIHP+9x1JEL2vLZujfw9JDCpnlqC9eXixFbSVmaSLBl52koS47lBpzD9A1sRHwzl3URZniOHlKrHiKUmXUsEAyPMDZ+VXCYV6b2caKu1pHJ6+ciT5DKx7Dol3v+7a7mRVoVcbb5c69JZzRt57Nn1BmmSbBinE7NIGlCMjaD+DizYgwBcGIEHDHyQmAtwIMavCyYQCBHrgUIswoxn+wwSqKF2hCyGDAfRfZwHuOoWqI/r1DPO1C6eIvCPUGnAAjkk78kx+Uw+kG/k1z+9VOaR1nKAkeZaFtpzL25u//yvysMoYThVnVmzhD6sZLVyrD3MkLQLN9ePJy+Ptx9uLag75A35jvW/JkfkE3bgj3+4bzfZ1iuo4QOY1es+nXRaTZM0zc0HjdW14ilm4RbchkW872VYhXXYgDa42kftUPuifdWJ3tF7up1TZ7RCcwNODH34G3CkCLY=</latexit><latexit sha1_base64="6RhHIi8IQtIi6ez2digkBHP4zjY=">AAADrnichVHLbtNAFL2ueZTwaAobJDYWUVERJRpHSK1YVUVIXfZB0kpxZHncSTLq+IE9iWgG/wA/wIIVSAghFnwEG36gi25gjVgWiQ0Lrh8orgtlLM+9c+acM/fO0FDwWBJypM3o585fuDh7qXb5ytVrc/X56504GEUua7uBCKJd6sRMcJ+1JZeC7YYRczwq2A7df5Tu74xZFPPAfyIPQtbznIHP+9x1JEL2vLZujfw9JDCpnlqC9eXixFbSVmaSLBl52koS47lBpzD9A1sRHwzl3URZniOHlKrHiKUmXUsEAyPMDZ+VXCYV6b2caKu1pHJ6+ciT5DKx7Dol3v+7a7mRVoVcbb5c69JZzRt57Nn1BmmSbBinE7NIGlCMjaD+DizYgwBcGIEHDHyQmAtwIMavCyYQCBHrgUIswoxn+wwSqKF2hCyGDAfRfZwHuOoWqI/r1DPO1C6eIvCPUGnAAjkk78kx+Uw+kG/k1z+9VOaR1nKAkeZaFtpzL25u//yvysMoYThVnVmzhD6sZLVyrD3MkLQLN9ePJy+Ptx9uLag75A35jvW/JkfkE3bgj3+4bzfZ1iuo4QOY1es+nXRaTZM0zc0HjdW14ilm4RbchkW872VYhXXYgDa42kftUPuifdWJ3tF7up1TZ7RCcwNODH34G3CkCLY=</latexit> 実装したモデルは式として可視化できる

55. Pxyzの学習速度 ¤ PyTorch上に実装されている既存の確率プログラミング⾔語Pyroと⽐較． ¤ PyTorchでの実装（確率プログラミング⾔語を使わない実装）とも⽐較． ¤ 1ステップあたりのVAEの学習時間の⽐較（z︓潜在変数の次元，h︓隠れ層の次元） ¤ 結果︓ ¤ Pyroと⽐べて⾼速． ¤ PyTorchでの実装と⽐べても⼤きく速度が落ちていない． 56 速度⾯からも，Pixyzは複雑な深層⽣成モデルの実装に適している

56. Pixyzの公開・利⽤状況 ¤ 公開・利⽤状況 ¤ リポジトリ︓https://github.com/masa-su/pixyz ¤ Pixyzを⽤いた様々な深層⽣成モデルを実装 ¤ Pixyzoo（ https://github.com/masa-su/pixyzoo ） ¤ GQN[Eslami+ 18]の再現実装（by 松尾研⾕⼝くん）． ¤ GQN第⼀著者にも紹介される ¤ 今後の予定 ¤ 時系列モデルの直感的な取り扱い ¤ 実装例の充実（現在約25種類のモデルの実装例を公開中） ¤ チュートリアル・ホームページの⽴ち上げ・整備 ¤ 他ライブラリとの連携 57 -> 世界モデルの記述⾔語としてのPixyz

57. まとめ ¤ 深層⽣成モデルと世界モデルについて話しました． ¤ マルチモーダル学習との関係やPixyzについても紹介． ¤ 参考（今回の内容をより詳しく説明したスライド）︓ ¤ GAN（と強化学習との関係） ¤ https://www.slideshare.net/masa_s/gan-83975514 ¤ 「世界モデル」と関連研究について ¤ https://www.slideshare.net/masa_s/ss-97848402 ¤ GQNと関連研究，世界モデルとの関係について ¤ https://www.slideshare.net/DeepLearningJP2016/dlgqn-111725780 58

深層生成モデルと世界モデル

深層生成モデルと世界モデル

Recommandé

Contenu connexe

Tendances

Tendances(20)

Similaire à 深層生成モデルと世界モデル

Similaire à 深層生成モデルと世界モデル(20)

Plus de Masahiro Suzuki

Plus de Masahiro Suzuki(16)

深層生成モデルと世界モデル