6. 이전 글에서 나는 머신러닝이 주어진 데이터를 가장 잘 설명하는 ‘함수’를 찾는 알고리즘을 디자인하는 것이라 설명했다.
그러나 머신러닝은 확률의 관점에서도 설명이 가능하다. 머신러닝을 probability density를 찾는 과정으로 생각하는 것
이다. 즉, 함수를 가정하는 것이 아니라 확률 분포를 가정하고, 적절한 확률 분포의 parameter를 유추하는 과정으로 생
각하는 것이다.
주어진 데이터가 gaussian distribution으로 drawn되었다고 가정하고, 데이터와 현상을 가장 잘 설명하는 mean과
covariance를 찾는 과정과 비슷한 것이라고 생각하면 된다. 즉, 앞에서 설명한 방식은 function parameter를 찾는
방식이라면, 이제는 probability density function parameter를 찾는 것으로 바뀌는 것이다.
http://sanghyukchun.github.io/58/
14. Variational Inference for Machine Learning
Shakir Mohamed / Google Deepmind
http://nolsigan.com/blog/what-is-variational-autoencoder/
Posterior
Evidence
Likelihood Prior
15. Posterior
Evidence
Likelihood Prior
모든 가능한 Z에 대해,
p(x,z)와 p(z)를 구해야 함
각각은 observation(likelihood), 현상에 대한 사전정보 (prior), 주어진 데이터에 대한 현상의 확률 (posterior)을 의미한다.
http://nolsigan.com/blog/what-is-variational-autoencoder/
33. 우리는 q와 그에 대한 lambda를 바꾸고 다루고 있는데,
Variational Inference / David M. Blei
http://nolsigan.com/blog/what-is-variational-autoencoder/
좋은 posterior 근사를 얻는 방법으로..
