딥러닝을 이용한 이목구비 인식시스템 기본

1. 딥러닝을 이용한 이목구비 인식 시스템
서강대학교 데이터마이닝 연구실
안재현
jaehyunahn@sogang.ac.kr

2. Haar Cascade Classifier
• Haar feature extraction
• 2001, Viola & Jones
http://www.codeproject.com/Articles/441226/Haar-feature-Object-Detection-in-Csharp

3. Haar Cascade Classifier
• Haar feature extraction
• 2001, Viola & Jones
http://www.codeproject.com/Articles/441226/Haar-feature-Object-Detection-in-Csharp

4. Haar Cascade Classifier
• Cascade Learning
Weak Classifier Strong Classifier
http://www.codeproject.com/Articles/441226/Haar-feature-Object-Detection-in-Csharp

5. Haar Cascade Classifier
• AdaBoost (machine-learning meta-algorithm)
http://en.wikipedia.org/wiki/AdaBoost
Weak learner
Input
+ object in there
- otherwise
Hypothesis for each sample in training set
Assigned coefficient
Features of each sample

6. Deep Learning (Deep Belief Net, Hinton 06)
• 개념소개
• Supervised Learning
• Restricted Boltzman Machine
• Stacking

7. Deep Learning (Deep Belief Net, Hinton 06)
• Supervised Learning
• 데이터와 라벨을 같이 주는 것을 의미함
• 알고리즘
• Support Vector Machine(SVM)
• Hidden Markov Model(HMM)
• Artificial Neural Network(ANN)
• Bayes Classification
• PCA, MDA

8. Deep Learning (Deep Belief Net, Hinton 06)
• Unsupervised Learning
• 일반적으로 클러스터링에 많이 사용, 라벨이 없음
• 알고리즘
• Deep Belief Network
• Restricted Boltzmann Machine (RBM)

9. Deep Learning (Deep Belief Net, Hinton 06)
• Restricted Boltzman Machines (RBMs, 1985)
An energy-based 2-layer generative model
모든 노드는 순환적이며, 한 노드는 다른 노드로
부터 영향을 받음
트레이닝 세트 x에 대하여 model distribution
p(x)를 트레이닝
RBMs가 “Restricted”인 이유는 같은 레이어에 대
하여 connection이 없기 때문

10. Deep Learning (Deep Belief Net, Hinton 06)
• Boltzman Distribution
F: 확률, E: 에너지, k: 볼츠만 상수, T: 온도
물질의 에너지가 클수록 해당 입자가 존
재할 확률은 줄어들게 된다. 즉, 세상은 안
정된 상태로 있길 원한다는 가정이 들어
가 있다.
T는 온도를 의미하고, T가 높을수록 에너
지가 높은 물질도 잘 존재할 수 있게 된다.

11. Deep Learning (Deep Belief Net, Hinton 06)
• Energy in the Boltzman Distribution
S_i: i번째 node의 값 (0,1)
Theta: i번째 node의 bias
이때 우리는 visible node 밖에 알 수 없다.
Hidden node를 어떻게 구해야 할 것인가?

12. Deep Learning (Deep Belief Net, Hinton 06)
• Energy in the Restricted Boltzman Distribution
: 에너지가 낮을수록 확률은 높아진다
우리는 이때 node간 weight를 변형시켜, 확률을 최대로, 에너지를 최소화한다.
v: visible, h: hidden, w: weight, 두 node가 동시에 active 될 때 그 사이의 weight를 키워주는 것이 필요함
이때 우리는 hidden layer의 값을 정할 수 없으므로, 모든 경우의 수를 처리해야함 (레이어가 4개 2^4 처리)

13. Deep Learning (Deep Belief Net, Hinton 06)
• Stacking (RBMs)

14. Deep Learning (Deep Belief Net, Hinton 06)
• 예제와 함께 이해해 보겠습니다

15. Deep Learning (Deep Belief Net, Hinton 06)
• 예제와 함께 이해해 보겠습니다2

16. Deep Learning (Deep Belief Net, Hinton 06)
• 실험