안명호 대표 / MHR Inc

1. Machine Learning & OpenStack
MHR Inc,
1

2. Machine Learning?
2

3. Image Captioning, What a surprise!!!
3
http://cs.stanford.edu/people/karpathy/deepimagesent/
Deep Learning을 이용한 Image Captioning 샘플

4. Image Captioning Process
4
Recognize Object
Detect Words
Generate sentences
Rank sentences
Identify Object
결코 쉽지 않은 작업

5. Big Event!!!, VS Alpha GO
5
누가 이길까?

6. Deep Blue VS in Chess
6
딥 블루는 세계 체스 챔피언 그랜드마스터 가리 카스파로프를 시간
제한이 있는 정식 대국에서 이긴 최초의 컴퓨터이다. 딥
블루는 1996년 2월 10일 카스파로프와의 첫 번째 체스 대국에서
이겼다. 그러나 나머지 다섯 번의 대국에서 카스파로프가 3번 이기고
2번 비겼기 때문에 최종적으로는 4-2의 점수로 카스파로프가 승리했다.
마지막 대국이 끝난 것은 1996년 2월 17일이다.
이후에 딥 블루에 엄청난 성능향상 작업이 있었고 1997년 5월에 다시
맞붙었다. 성능이 향상된 새로운 컴퓨터의 비공식적인 별명은 '디퍼
블루'(Deeper Blue)였다. 6번의 대국은 5월 11일에 최종적으로 끝났고
3.5-2.5의 점수로 딥 블루가 승리했다. 이로써 딥 블루는 시간 제한이
있는 정식 체스 토너먼트에서 세계 챔피언을 꺾은 최초의 컴퓨터가
되었다.
Source - WIKI

7. Human VS Machine In Finance Industry
• Goove WM, Zald DH등이 작성한 Clinical
versus Mechanical Prediction: a meta-
analysis 논문에 의하면 136건의 사례를
조사해보니 수학적 모델이 사람보다
비슷하거나 더 좋은 결과를 가져올 확률이
94%라고 한다.
7
(source - http://www.ncbi.nlm.nih.gov/pubmed/10752360)

8. Algorithm Trading
8
• 알고리즘 트레이딩은 수학적 계산과 IT 시스템을
이용해 트레이딩을 하는 것으로 시스템 트레이딩
, Algo Trading 혹은 Blackbox 트레이딩이라고 한
다.
• 알고리즘 트레이딩은 투자은행, 연기금, 헤지펀드
, 증권회사등 많은 곳에서 사용되고 있으며, 최근
몇년사이에는 수학적지식과 IT지식을 가진 개인
들도 많이 참여하고 있다.

9. James Harris Simons
9
• Renaissance Technology 설립자
• MIT, UC 버클리 수학박사
• 전 하버드대 수학교수
• 수학자 및 헤지펀드 매니져
• 1976년 베블런상 수상
• 2006년 역대 최고 연봉
– 17억달러(2조원)
https://en.wikipedia.org/wiki/James_Harris_Simons
실제로 그를 만나본 사람들은
'사이먼스는 돈이 중요한 사람이라기보다는 단순히 수학에 미친 사람’

10. Algorithm Trading
10
미국은 2012년 알고리즘 트레이딩 거래량이 85%에 달할만큼 알고리즘 트레이딩은 가파르게 증가

11. Behind the Magic
11

12. Essense of Machine Learning
12
y = f(x)
• Training: given a training set of labeled examples {(x1,y1),
…, (xN,yN)}, estimate the prediction function f by
minimizing the prediction error on the training set
• Testing: apply f to a never before seen test example x and
output the predicted value y = f(x)
output prediction
function
Image
feature

13. Finding Parameter is What ML does
13

14. Machine Learning
14

15. Supervised Learning
15
• Prediction
• Classification (discrete labels),
Regression (real values)

16. Unsupervised Learning
16
• Clustering
• Probability distribution estimation
• Finding association (in features)
• Dimension reduction

17. What Machine Learning can do
17
Clustering Regression Classification
Supervised LearningUnsupervised Learning

18. Regression
18
predictor variable x，y = w0 + w1x
Training Data Set

19. Regression Example -
19
아래처럼 주택가격 예측을 하고 싶다면 …

20. Traditional Approach
20
수많은 반복과 노력이 필요…
Y = ax + b
Hypothesis
Find ‘a’ and ‘b’ By
hands

21. Regression - Machine Learning Approach
21
기계에 의한 수많은 반복
Y = ax + b
Hypothesis
Find ‘a’ and ‘b’ By
Iteration

22. Classification
22
1) Model Training 2) Classification

23. Classification - Logistic Regression
23
최적의 w를 찾아 Decision Boundary 결정

24. OpenStack & Machine Learning
24

25. A Serious Pain in Machine Learning
25
Training Time

26. 54.65 Hours
• Intel i7, 4.5Ghz, 4 Core
• Boosted Tree
• Numerical Data
• Data : 29,177
• 189 Features Only
26

27. Nightmare
27

28. Hyperparameter Optimization
28
Hyperparameter > Model Parameter
Fore Better Result

29. Who Knows
29
Do everything
If no Domain Knowledge

30. This is The Machine Learning!!!
30
정원꾸미는 것과 유사함
• Seeds = Algorithms
• Nutrients = Data
• Gardener = You
• Plants = Programs
Magic?

31. Machine Learning in Practice
31
Understanding
domain, prior
knowledge, and
goals
Data integration,
selection,
cleaning,
pre-processing,
etc.
Learning
models
Interpreting
results
Consolidating
and deploying
discovered
knowledge
Infinite loop
algorithm

32. The Only Solution, So far
32
Parallelization + Automation

33. So More Computing Power
33

34. OpenStack!!!
34
APPS USERS ADMINS
Connects to apps via APIs
Self-service Portals for users
OpenStack
Virtual Data Center
To Provide Unlimited Computing Resources
Virtual Data Center Virtual Data Center Virtual Data Center

35. Machine Learning
35
No Doubt!!!
Faster then you think

36. OpenStack for Machine Learning?
36
GPU Spark High Speed Network

37. 37
.