Generative Model(Variational Auto Encoder, Generative Adversarial Model)
References:
오토인코더의 모든 것 by 이활석 (NAVER)
Youtube: https://youtu.be/rNh2CrTFpm4, Slideshare: https://www.slideshare.net/NaverEngineering/ss-96581209
1시간만에 GAN(Generative Adversarial Network) 완전 정복하기 by 최윤제 (NAVER)
Youtube: https://youtu.be/odpjk7tGY0, Slideshare: https://www.slideshare.net/NaverEngineering/1-gangenerative-adversarial-network
Theory and Application of Generative Adversarial Networks by Ming-Yu Liu, Julie Bernauer, Jan Kautz (NVIDIA)
Youtube: https://youtu.be/KudkR-fFu_8, Slideshare: https://www.slideshare.net/mlreview/tutorial-on-theory-and-application-of-generative-adversarial-networks
Tutorial on Variational Autoencoders by Carl Doersch (Carnegie Mellon / UC Berkeley)
Arxiv: https://arxiv.org/pdf/1606.05908.pdf
Generative Adversarial Nets (2014) NIPS by Goodfellow et al
https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf
“Toward Principled Methods for Training GANs, ICLR 2017, 172회 인용”은 Ian Goodfellow의 GAN에 대해서 근본적인 문제점을 제기합니다. 우리는 그냥 이미지를 잘 생성해 주니까 GAN을 사용하는데, 그 원리에 대해서 깊게 생각해 본 적은 없습니다. Generator와 Discriminator의 수렴에 대해서 관심을 가져본 적도 없죠. 이에 대해서 Distance부터 시작해서 수학적으로 질문을 던지는 논문입니다. 결국엔 Data Distribution이 확률 분포로써 어떻게 작용하는지에 대해서 살펴보고자 합니다. 물론 이에 대한 Solution을 제공한 것은 아닙니다만. 이러한 문제 제기는 GAN의 History에서 아주 큰 흐름을 가져왔습니다
- GAN에 대한 흔한 오해
- Kullback Leibler Divergence와 Jensen Shannon Divergence
- GAN 알고리즘의 수학적 분석
- GAN을 Training하는 과정에서 발생하는 치명적인 문제점
- 문제점을 해결하기 위한 시도들
- GAN 테크트리: 그래서 무슨 GAN을 사용할까
Dsh data sensitive hashing for high dimensional k-nn searchWooSung Choi
Gao, Jinyang, et al. "Dsh: data sensitive hashing for high-dimensional k-nnsearch." Proceedings of the 2014 ACM SIGMOD international conference on Management of data. ACM, 2014.
Deep learning기법을 이상진단 등에 적용할 경우, 정상과 이상 data-set간의 심각한 unbalance가 문제. 본 논문에서는 GAN 기법을 이용하여 정상 data-set만의 Manifold(축약된 모델)를 찾아낸 후 Query data에 대하여 기 훈련된 GAN 모델로 Manifold로의 mapping을 수행함으로서 기 훈련된 정상 data-set과의 차이가 있는지 여부를 판단하여 Query data의 이상 유무를 결정하고 영상 내에 존재하는 이상 영역을 pixel-wise segmentation 하여 제시함.
“Toward Principled Methods for Training GANs, ICLR 2017, 172회 인용”은 Ian Goodfellow의 GAN에 대해서 근본적인 문제점을 제기합니다. 우리는 그냥 이미지를 잘 생성해 주니까 GAN을 사용하는데, 그 원리에 대해서 깊게 생각해 본 적은 없습니다. Generator와 Discriminator의 수렴에 대해서 관심을 가져본 적도 없죠. 이에 대해서 Distance부터 시작해서 수학적으로 질문을 던지는 논문입니다. 결국엔 Data Distribution이 확률 분포로써 어떻게 작용하는지에 대해서 살펴보고자 합니다. 물론 이에 대한 Solution을 제공한 것은 아닙니다만. 이러한 문제 제기는 GAN의 History에서 아주 큰 흐름을 가져왔습니다
- GAN에 대한 흔한 오해
- Kullback Leibler Divergence와 Jensen Shannon Divergence
- GAN 알고리즘의 수학적 분석
- GAN을 Training하는 과정에서 발생하는 치명적인 문제점
- 문제점을 해결하기 위한 시도들
- GAN 테크트리: 그래서 무슨 GAN을 사용할까
Dsh data sensitive hashing for high dimensional k-nn searchWooSung Choi
Gao, Jinyang, et al. "Dsh: data sensitive hashing for high-dimensional k-nnsearch." Proceedings of the 2014 ACM SIGMOD international conference on Management of data. ACM, 2014.
Deep learning기법을 이상진단 등에 적용할 경우, 정상과 이상 data-set간의 심각한 unbalance가 문제. 본 논문에서는 GAN 기법을 이용하여 정상 data-set만의 Manifold(축약된 모델)를 찾아낸 후 Query data에 대하여 기 훈련된 GAN 모델로 Manifold로의 mapping을 수행함으로서 기 훈련된 정상 data-set과의 차이가 있는지 여부를 판단하여 Query data의 이상 유무를 결정하고 영상 내에 존재하는 이상 영역을 pixel-wise segmentation 하여 제시함.
딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016Taehoon Kim
발표 영상 : https://goo.gl/jrKrvf
데모 영상 : https://youtu.be/exXD6wJLJ6s
Deep Q-Network, Double Q-learning, Dueling Network 등의 기술을 소개하며, hyperparameter, debugging, ensemble 등의 엔지니어링으로 성능을 끌어 올린 과정을 공유합니다.
Deep learning study 1. this slide includes basic mathematical theorems for deep learning, such as Bayes's theorem, Bayesian inference, information theorem.
InfoGAN: Interpretable Representation Learning by Information Maximizing Gene...홍배 김
InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
오사카 대학 박사과정인 Takato Horii군이 작성한 자료
데이터 생성 모델로 우수한 GAN을 이용하여 비지도학습을 통해
"알기쉬게" 이미지의 정보를 표현하는 특징량을 "간단하게"획득하기
* 특징이 서로 얽혀있는 Physical space에서 서로 독립적인 Eigen space로 변환하는 것과 같은 원리
One-stage Network(YOLO, SSD 등)의 문제점 예를 들어 근본적인 문제인 # of Hard positives(object) << # of Easy negatives(back ground) 또는 large object 와 small object 를 동시에 detect하는 경우 등과 같이 극단적인 Class 간 unbalance나 난이도에서 차이가 나는 문제가 동시에 존재함으로써 발생하는 문제를 해결하기 위하여 제시된 Focal loss를 class간 아주 극단적인 unbalance data에 대한 classification 문제(예를 들어 1:10이나 1:100)에 적용한 실험결과가 있어서 정리해봤습니다. 결과적으로 hyper parameter의 설정에 매우 민감하다는 실험결과와 잘만 활용할 경우, class간 unbalance를 해결하기 위한 data level의 sampling 방법이나 classifier level에서의 특별한 고려 없이 좋은 결과를 얻을 수 있다는 내용입니다.
Vs^3 net for machine reading comprehension question answeringNAVER Engineering
기계 독해(Machine reading comprehension)를 이용한 질의 응답(Question answering)은 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. 기계 독해 중 SQuAD dataset은 span 단위의 답을 문맥 내에서 찾는 질의응답 태스크이다. 본 발표에서는 SQuAD 2.0에 도전하기 위하여 연구한 VS^3-NET에 대하여 설명한다. VS^3-NET은 simple recurrent unit (SRU)와 sentence- 및 self-matching network 모델을 기반으로 하고 있으며, 다양한 질문 유형에 대하여 모델링을 수행하기 위해 variational inference network를 함께 적용한다.
Variational이라는 단어로는 아무것도 안떠오릅니다.
그래서, '꿩 대신 닭'이라고 표현해 봤습니다.
초반 독자적인 그림을 통해 개념잡기가 쉬워요.
설명부분은 초록색으로 표시했습니다.
확률변수(random variable)부터 막히면, 아래 블로그 글을 읽어 보세요.
https://blog.naver.com/nonezerok/221428251262
딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016Taehoon Kim
발표 영상 : https://goo.gl/jrKrvf
데모 영상 : https://youtu.be/exXD6wJLJ6s
Deep Q-Network, Double Q-learning, Dueling Network 등의 기술을 소개하며, hyperparameter, debugging, ensemble 등의 엔지니어링으로 성능을 끌어 올린 과정을 공유합니다.
Deep learning study 1. this slide includes basic mathematical theorems for deep learning, such as Bayes's theorem, Bayesian inference, information theorem.
InfoGAN: Interpretable Representation Learning by Information Maximizing Gene...홍배 김
InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
오사카 대학 박사과정인 Takato Horii군이 작성한 자료
데이터 생성 모델로 우수한 GAN을 이용하여 비지도학습을 통해
"알기쉬게" 이미지의 정보를 표현하는 특징량을 "간단하게"획득하기
* 특징이 서로 얽혀있는 Physical space에서 서로 독립적인 Eigen space로 변환하는 것과 같은 원리
One-stage Network(YOLO, SSD 등)의 문제점 예를 들어 근본적인 문제인 # of Hard positives(object) << # of Easy negatives(back ground) 또는 large object 와 small object 를 동시에 detect하는 경우 등과 같이 극단적인 Class 간 unbalance나 난이도에서 차이가 나는 문제가 동시에 존재함으로써 발생하는 문제를 해결하기 위하여 제시된 Focal loss를 class간 아주 극단적인 unbalance data에 대한 classification 문제(예를 들어 1:10이나 1:100)에 적용한 실험결과가 있어서 정리해봤습니다. 결과적으로 hyper parameter의 설정에 매우 민감하다는 실험결과와 잘만 활용할 경우, class간 unbalance를 해결하기 위한 data level의 sampling 방법이나 classifier level에서의 특별한 고려 없이 좋은 결과를 얻을 수 있다는 내용입니다.
Vs^3 net for machine reading comprehension question answeringNAVER Engineering
기계 독해(Machine reading comprehension)를 이용한 질의 응답(Question answering)은 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. 기계 독해 중 SQuAD dataset은 span 단위의 답을 문맥 내에서 찾는 질의응답 태스크이다. 본 발표에서는 SQuAD 2.0에 도전하기 위하여 연구한 VS^3-NET에 대하여 설명한다. VS^3-NET은 simple recurrent unit (SRU)와 sentence- 및 self-matching network 모델을 기반으로 하고 있으며, 다양한 질문 유형에 대하여 모델링을 수행하기 위해 variational inference network를 함께 적용한다.
Variational이라는 단어로는 아무것도 안떠오릅니다.
그래서, '꿩 대신 닭'이라고 표현해 봤습니다.
초반 독자적인 그림을 통해 개념잡기가 쉬워요.
설명부분은 초록색으로 표시했습니다.
확률변수(random variable)부터 막히면, 아래 블로그 글을 읽어 보세요.
https://blog.naver.com/nonezerok/221428251262
형태소분석기에 왜 CRF가 쓰이는지 이해하기 위해 정리한 슬라이드입니다. Graphical Models의 필요성부터 시작해 방향성(Bayesian Networks), 비방향성(Markov Random Fields) Graphical Models의 정의와 조건부독립 성질을 살펴보고, Generative와 Discriminative 모델의 차이점을 정리한 뒤 Discriminative + Undirected 모델로서 Conditional Random Fields를 소개합니다. 끝으로 형태소분석에 CRF를 사용하는 테크닉을 간단히 소개합니다.
The document discusses metric-based few-shot learning approaches. It introduces Matching Networks, which use an attention mechanism to calculate similarity between support and query embeddings. Prototypical Networks determine class membership for a query based on distance to prototype representations of each class. Relation Networks concatenate support and query embeddings and pass them through a relation module to predict relations as classification scores. The approaches aim to learn from few examples by leveraging metric learning in an embedding space.
Main obstacles of Bayesian statistics or Bayesian machine learning is computing posterior distribution. In many contexts, computing posterior distribution is intractable. Today, there are two main stream to detour directly computing posterior distribution. One is using sampling method(ex. MCMC) and another is Variational inference. Compared to Variational inference, MCMC takes more time and vulnerable to high-dimensional parameters. However, MCMC has strength in simplicity and guarantees of convergence. I'll briefly introduce several methods people using in application.
Texture synthesis aims to produce new texture samples from an example that are similar but not repetitive. It analyzes the example using a CNN to compute gram matrices representing the texture at different layers, then synthesizes new textures by passing noise through the CNN and minimizing differences from the example's gram matrices. Style transfer extends this to merge the texture of one image onto the content of another by matching gram matrices between layers to transfer style while preserving content. It has been shown that style and content are separable in CNN representations. Style transfer can be viewed as a type of domain adaptation between content and style domains.
Towards Deep Learning Models Resistant to Adversarial Attacks.SEMINARGROOT
This document discusses approaches to training deep neural networks to be robust against adversarial examples. It frames adversarial robustness as a minimax game between the network and an attacker. It presents projected gradient descent (PGD) and the Fast Gradient Sign Method (FGSM) as ways to solve the inner maximization problem during training. Experiments show that adversarially trained models can achieve increased robustness compared to standard networks.
Node embedding techniques learn vector representations of nodes in a graph that can be used for downstream machine learning tasks like classification, clustering, and link prediction. DeepWalk uses random walks to generate sequences of nodes that are treated similarly to sentences, and learns embeddings by predicting nodes using their neighbors, like word2vec. It does not incorporate node features or labels. Node2vec extends DeepWalk by introducing a biased random walk to learn embeddings, addressing some limitations of DeepWalk while maintaining scalability.
This document discusses graph convolutional networks (GCNs), which are neural network models for graph-structured data. GCNs aim to learn functions on graphs by preserving the graph's spatial structure and enabling weight sharing. The document outlines the basic components of a GCN, including the adjacency matrix, node features, and application of deep neural network layers. It also notes some challenges with applying convolutions to graphs and discusses approaches like using the graph Fourier transform based on the Laplacian matrix.
The document discusses different methods for denoising images in the spatial and frequency domains. It introduces spatial domain denoising techniques like mean filtering, median filtering, and adaptive filtering. It then explains how spatial domain images can be transformed into the frequency domain using Fourier and wavelet transforms. This allows denoising based on frequency content, where high frequencies associated with noise can be removed. It concludes by mentioning the CVPR Denoising Workshop as a resource.
The document discusses the importance of summarization for processing large amounts of text data. Automatic summarization systems aim to produce concise summaries while retaining the most important concepts from the original text. Current state-of-the-art models are based on deep learning and can generate multi-sentence summaries, but the accuracy and coherence of the summaries is still an area of active research.
The document contains code snippets and explanations for solving three LeetCode problems: Power of Two, Valid Parentheses, and Find Minimum in Rotated Sorted Array. For Power of Two, it provides an O(log n) solution that uses modulo and division to check if a number is a power of two. For Valid Parentheses, it provides an O(n) solution that uses a string to track opening and closing parentheses. For Find Minimum, it provides both an O(n) solution that finds the minimum by checking if each number is less than the previous, and an O(log n) solution that recursively searches halves of the array to find the minimum.
This document provides an overview of time series models and concepts. It discusses stochastic processes, stationarity, the Wold decomposition, impulse response analysis, and ARMA processes. The key points are:
1) Time series models are used to identify shocks and responses over time from stochastic processes.
2) Stationarity assumptions are needed to estimate expectations and variances from time series data using the concept that these values are time-invariant.
3) The Wold decomposition represents a stationary process as the sum of a deterministic component and stochastic prediction errors/shocks.
4) Impulse response analysis examines how past shocks continue to impact the present and future through their effect over time which decays as time
Differential Geometry for Machine LearningSEMINARGROOT
References:
Differential Geometry of Curves and Surfaces, Manfredo P. Do Carmo (2016)
Differential Geometry by Claudio Arezzo
Youtube: https://youtu.be/tKnBj7B2PSg
What is a Manifold?
Youtube: https://youtu.be/CEXSSz0gZI4
Shape analysis (MIT spring 2019) by Justin Solomon
Youtube: https://youtu.be/GEljqHZb30c
Tensor Calculus
Youtube: https://youtu.be/kGXr1SF3WmA
Manifolds: A Gentle Introduction,
Hyperbolic Geometry and Poincaré Embeddings by Brian Keng
Link: http://bjlkeng.github.io/posts/manifolds/,
http://bjlkeng.github.io/posts/hyperbolic-geometry-and-poincare-embeddings/
Statistical Learning models for Manifold-Valued measurements with application to computer vision and neuroimaging by Hyunwoo J.Kim
This document summarizes generative models like VAEs and GANs. It begins with an introduction to information theory, defining key concepts like entropy and maximum likelihood estimation. It then explains generative models as estimating the joint distribution P(X,Y) compared to discriminative models estimating P(Y|X). VAEs are discussed as maximizing the evidence lower bound (ELBO) to estimate the latent variable distribution P(Z|X), allowing generation of new X values. GANs are also covered, defining their minimax game between a generator G and discriminator D, with G learning to generate samples resembling the real data distribution Pemp.
Understanding Blackbox Prediction via Influence FunctionsSEMINARGROOT
Pang Wei Koh and Percy Liang
"Understanding Black-Box prediction via influence functions" ICML 2017 Best paper
References:
https://youtu.be/0w9fLX_T6tY
https://arxiv.org/abs/1703.04730
Attention Is All You Need (NIPS 2017)
(Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, Illia Polosukhin)
paper link: https://arxiv.org/pdf/1706.03762.pdf
Reference:
https://youtu.be/mxGCEWOxfe8 (by Minsuk Heo)
https://youtu.be/5vcj8kSwBCY (Stanford CS224N: NLP with Deep Learning | Winter 2019 | Lecture 14 – Transformers and Self-Attention)
The document discusses different types of attention mechanisms used in neural machine translation and image captioning models. It describes global attention which considers all encoder hidden states when deriving context vectors, and local attention which selectively focuses on a small window of context. Hard attention selects a single location to focus on, while soft attention takes a weighted average over locations. The document also discusses input feeding which makes the model aware of previous alignment choices.
This document is a tutorial on explainable AI from the WWW 2020 conference. It introduces explainable AI and discusses explanations from both a model and regulatory perspective. It then explores different methods for explaining individual predictions, global models, and building interpretable models. The remainder of the tutorial provides case studies on explaining diabetic retinopathy predictions, building an explainable AI engine for talent search, and using model interpretations for sales predictions. References are also included.
This document contains summaries of two LeetCode problems - Single Number and Product of Array Except Self.
For Single Number, it provides two O(n) solutions, one using a dictionary to track duplicate numbers and another using math by summing all elements and multiplying by 2, then subtracting the original sum.
For Product of Array Except Self, it again provides two O(n) solutions. The first uses a variable to track the running product and another to count zeros, updating the output array accordingly. The second avoids division by calculating left and right running products in two arrays and multiplying the values together for each output element.
This document summarizes the key steps in the locality sensitive hashing (LSH) algorithm for finding similar documents:
1. Documents are converted to sets of shingles (sequences of tokens) to represent them as high-dimensional data points.
2. MinHashing is applied to generate signatures (hashes) for each document such that similar documents are likely to have the same signatures. This compresses the data into a signature matrix.
3. LSH uses the signature matrix to hash similar documents into the same buckets with high probability, finding candidate pairs for further similarity evaluation and filtering out dissimilar pairs from consideration. This improves the computation efficiency over directly comparing all pairs.
This document discusses two algorithms for solving the Two Sum problem from LeetCode: an O(n^2) nested loop solution and an O(n) hash table solution. It also presents a coding interview question to find the maximum prime factor of a given number N and provides a solution using a while loop to iteratively check for divisibility.
6. Introduction
Natural data in high dimensional spaces concentrates close to lower dimensional manifolds.
Probability density decreases very rapidly when moving away from the supporting manifold.
Manifold Hypothesis (assumption)
22. Variational Autoencoders (VAE)
결국 Latent Model 은 어떠한 z를 통해서 y를 찾아내는 것
𝑓(𝑧1)
𝑓(𝑧2)
𝑓(𝑧3)
만약 𝑧1, 𝑧2, 𝑧3 가 서로 아무 관계 없는 임의의 숫자라면 Z값을 찾아내는 게 의
미가 있을까? -> 그러한 모델은 의미가 없다. 만들어 내봤자, Target과 똑같은
것만 만듬
우리는 새로운 데이터를 원함
왜? 분명 같은 숫자 간에는 무언가 관계가 있을 테니까 그것을 생성하게 해줄 임
의의 Z도 무언가 관계가 있으면 좋을 것이다. 더불어 Z간의 관계를 알 수 있다면
우리는 그것을 Control해 Y값도 변화시킬 수 있을 것이다.
27. Variational Autoencoders (VAE)
𝜃 = 𝑎𝑟𝑔max
𝜃
ෑ 𝑃 𝜃(𝑥𝑖) = 𝑎𝑟𝑔max
𝜃
𝑃 𝜃(𝑥1, 𝑥2 , … … … , 𝑥 𝑛−1, 𝑥 𝑛)
x를 iid한 Data Set X에서 sampling한 한 개의 데이터라고 할 때
𝜃 는 𝑥1, 𝑥2 , … … … , 𝑥 𝑛−1, 𝑥 𝑛각각의 데이터 셋들이 모두 잘 나오게 해야 하므로
확률 ς 𝑃 𝜃(𝑥𝑖) 를 최대화 하는 값이어야 한다.
29. Variational Autoencoders (VAE)
Multivariate cases − log 𝑝 𝑦𝑖 𝑓𝜃 𝑥𝑖
Gaussian distribution Categorical distribution
𝑓𝜃 𝑥𝑖 = 𝜇𝑖 𝑓𝜃 𝑥𝑖 = 𝑝𝑖
Distribution estimation
𝑥𝑖
𝑝 𝑦𝑖 𝑥𝑖
Likelihood값을 예측하는 것이 아니라,
Likelihood의 파라미터값을 예측하는 것이
다.
𝑥𝑖𝑥𝑖
Mean Squared Error Cross-entropy
30. Variational Autoencoders (VAE)
If 𝑝 𝑥 𝑔 𝜃(𝑧) = 𝒩 𝑥 𝑔 𝜃 𝑧 , 𝜎2 ∗ 𝐼 , the negative log probability
of X is proportional squared Euclidean distance between 𝑔 𝜃(𝑧) and
𝑥.
𝑥 : Figure 3(a)
𝑧 𝑏𝑎𝑑 → 𝑔 𝜃 𝑧 𝑏𝑎𝑑 : Figure 3(b)
𝑧 𝑏𝑎𝑑 → 𝑔 𝜃 𝑧 𝑔𝑜𝑜𝑑 : Figure 3(c) (identical to x but shifted down and
to the right by half a pixel)
𝑥 − 𝑧 𝑏𝑎𝑑
2 < 𝑥 − 𝑧 𝑔𝑜𝑜𝑑
2
→ 𝑝 𝑥 𝑔 𝜃(𝑧 𝑏𝑎𝑑) >𝑝 𝑥 𝑔 𝜃(𝑧 𝑔𝑜𝑜𝑑)
Solution 1: we should set the 𝜎 hyperparameter of our Gaussian
distribution such that this kind of erroroneous digit does not
contribute to p(X) → hard..
Solution 2: we would likely need to sample many thousands of
digits from 𝑧 𝑔𝑜𝑜𝑑 → hard..
𝑝(𝑥) ≈
𝑖
𝑝 𝑥 𝑔 𝜃 𝑧𝑖 𝑝(𝑧𝑖)
Question: Why don’t we use maximum likelihood estimation directly?
생성기에 대한 확률모델을 가우시안으로 할 경우,
MSE관점에서 가까운 것이 더 p(x)에 기여하는 바가
크다.
MSE가 더 작은 이미지가 의미적으로도 더 가까운 경
우가 아닌 이미지들이 많기 때문에 현실적으로 올바
른 확률값을 구하기가 어렵다.
33. Variational Autoencoders (VAE)
VI란 사후확률(posterior) 분포 p(z|x)를 다루기 쉬운 확률분포 q(z)로 근사(approximation)하는 걸 말합
니다. 사후확률 분포를 계산하는게 불가능에 가까울 정도로 어려운 경우가 많기 때문
34. Variational Autoencoders (VAE)
사후확률 분포 p(z|x)와 q(z) 사이의 KLD를 계산하고, KLD가 줄어드는 쪽으로 q(z)를 조금씩 업데이
트하는 과정을 반복하면 사후확률을 잘 근사하는 q∗(z)를 얻게 될 것이라는 게 VI의 핵심 아이디어.
60. References
오토인코더의 모든 것 by 이활석 (NAVER)
Youtube: https://youtu.be/rNh2CrTFpm4, Slideshare: https://www.slideshare.net/NaverEngineering/ss-96581209
1시간만에 GAN(Generative Adversarial Network) 완전 정복하기 by 최윤제 (NAVER)
Youtube: https://youtu.be/odpjk7tGY0, Slideshare: https://www.slideshare.net/NaverEngineering/1-gangenerative-adversarial-
network
Theory and Application of Generative Adversarial Networks by Ming-Yu Liu, Julie Bernauer, Jan Kautz (NVIDIA)
Youtube: https://youtu.be/KudkR-fFu_8, Slideshare: https://www.slideshare.net/mlreview/tutorial-on-theory-and-application-of-
generative-adversarial-networks
Tutorial on Variational Autoencoders by Carl Doersch (Carnegie Mellon / UC Berkeley)
Arxiv: https://arxiv.org/pdf/1606.05908.pdf
Generative Adversarial Nets (2014) NIPS by Goodfellow et al
https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf