3. アジェンダ
n Deep Generative Model
¡ LatentVariable Model
¡ Maximum Likelihood, Likelihood free
¡ VAE (Likelihood based Generative Model)
¡ Amortized VI and KL collapse
¡ Implicit Generative Model
¡ GAN Algorithm
¡ Variational Inference using Implicit Models
3/73
17. アジェンダ
n Deep Generative Model
¡ LatentVariable Model
¡ Maximum Likelihood, Likelihood free
¡ VAE (Likelihood based Generative Model)
¡ Amortized VI and KL collapse
¡ Implicit Generative Model
¡ GAN Algorithm
¡ Variational Inference using Implicit Models
17/73
18. VAE( VARIATIONAL AUTO-ENCODERS)
¡ 尤度ベースの深層潜在変数モデル.
学習:変分推論による周辺尤度下界(ELBO)の最大化.
目的:新しい x の生成, 潜在変数空間の可視化.
n 確率モデル
z
x
生成ネットワークz
事前確率
尤度関数 グラフィカルモデル
同時確率
[Kingma andWelling 14]
18/73
32. まとめ2
ü VAE は,潜在変数z をサンプリングし,NNの非線形変換によってデータを生成する確率モデル.
ü モデルパラメータの学習は,尤度最大化の近似でELBO最大化を行う.
ü ELBO最大化において,潜在変数の近似事後分布のパラメータに推論ネットワークを用いる.
ü 近似事後分布により, 潜在変数空間にデータを非線形射影した多様体表現が可能.
32/73
33. アジェンダ
n Deep Generative Model
¡ LatentVariable Model
¡ Maximum Likelihood, Likelihood free
¡ VAE (Likelihood based Generative Model)
¡ Amortized VI and KL collapse
¡ Implicit Generative Model
¡ GAN Algorithm
¡ Variational Inference using Implicit Models
33/73
38. アジェンダ
n Deep Generative Model
¡ LatentVariable Model
¡ Maximum Likelihood, Likelihood free
¡ VAE (Likelihood based Generative Model)
¡ Amortized VI and KL collapse
¡ Implicit Generative Model
¡ GAN Algorithm
¡ Variational Inference using Implicit Models
38/73
47. アジェンダ
n Deep Generative Model
¡ LatentVariable Model
¡ Maximum Likelihood, Likelihood free
¡ VAE (Likelihood based Generative Model)
¡ Amortized VI and KL collapse
¡ Implicit Generative Model
¡ Variational Inference using Implicit Models
47/73
60. アジェンダ
n Deep Generative Model
¡ LatentVariable Model
¡ Maximum Likelihood, Likelihood free
¡ VAE (Likelihood based Generative Model)
¡ Amortized VI and KL collapse
¡ Implicit Generative Model
¡ Variational Inference using Implicit Models
60/73
61. VARIATIONAL INFERENCE USING IMPLICIT MODELS
¡ GANのアルゴリズムを用いた研究は多く行われている.
その中で,変分推論に応用された事例をベイズロジスティック回帰で紹介.
n [Mescheder 17]は,VAEの推論ネットワークを implicit probabilistic model にしたGANとVAEの複合研究.
61/73
71. 参考文献
¡ Cremer, C., Li, X., & Duvenaud, D. (2018). “Inference suboptimality in variational autoencoders.” arXiv preprint
arXiv:1801.03558.
¡ Davidson,T. R., Falorsi, L., De Cao, N., Kipf,T., & Tomczak, J. M. (2018). “Hyperspherical variational auto-encoders. ” arXiv
preprint arXiv:1804.00891.
¡ Goodfellow, Ian, et al. (2014). "Generative adversarial nets. “Advances in neural information processing systems.
¡ He, J., Spokoyny, D., Neubig, G., & Berg-Kirkpatrick,T. (2019).“Lagging inference networks and posterior collapse in
variational autoencoders.” arXiv preprint arXiv:1901.05534.
¡ Huszár, F. (2015).“ How (not) to train your generative model: Scheduled sampling, likelihood, adversary?. ” arXiv preprint
arXiv:1511.05101.
¡ Hoffman, M. D., & Johnson, M. J. (2016).“ELBO surgery: yet another way to carve up the variational evidence lower
bound.” In Proceedings of NIPSWorkshop in Advances in Approximate Bayesian Inference.
¡ Karras,T., et al. (2017)."Progressive growing of gans for improved quality, stability, and variation." arXiv preprint
arXiv:1710.10196
71/73
72. 参考文献
¡ Kingma, D. P., & Welling, M. (2013).“ Auto-encoding variational bayes.” arXiv preprint arXiv:1312.6114.
¡ Mescheder, L., Nowozin, S., & Geiger,A. (2017,August).“ Adversarial variational bayes: Unifying variational
autoencoders and generative adversarial networks.” In Proceedings of the 34th International Conference on Machine
Learning-Volume 70 (pp. 2391-2400). JMLR. org.
¡ Mohamed, S., & Lakshminarayanan, B. (2017).“Learning in implicit generative models.” arXiv preprint
arXiv:1610.03483.
¡ Severson, K., Ghosh, S., & Ng, K. (2018).“ Unsupervised learning with contrastive latent variable models.” arXiv
preprint arXiv:1811.06094.
¡ Takahashi, H., Iwata,T.,Yamanaka,Y.,Yamada, M., &Yagi, S. (2018).“Variational Autoencoder with Implicit Optimal
Priors. ” arXiv preprint arXiv:1809.05284.
¡ Tomczak, J. M., & Welling, M. (2017).“VAE with aVampPrior.” arXiv preprint arXiv:1705.07120.
¡ Xu, J., & Durrett, G. (2018).“ Spherical latent spaces for stable variational autoencoders. ”arXiv preprint
arXiv:1808.10805.
72/73
73. 資料作成参考サイト
¡ Ferenc Huszar (Variational Inference using Implicit Models, Part I: Bayesian Logistic Regression)
https://www.inference.vc/variational-inference-with-implicit-probabilistic-models-part-1-2/
¡ 鈴木 雅大(と強化学習との関係)(2017). https://www.slideshare.net/masa_s/gan-83975514
¡ 須山 敦志 (作って遊ぶ機械学習。) (2018) http://machine-learning.hatenablog.com/entry/2018/03/25/010430
73/73