機器學習已經在這幾年蓬勃發展，在各種商業平台上都可以看到．不論是電商平台的購物推薦，購物平台的廣告推薦或是客服平台的聊天機器人．將機器學習導入整個網站已經蔚為風潮． 但是由於機器學習的需求越來越高，各產業紛紛都在打造自己的機器學習平台來符合客製化的資料訓練需求．但是要打造一個機器學習平台並不容易，要能夠有效的解決資源運用的問題更加的困難． 本次講者將會分享在建置機器學習平台上容易遇到的困難與問題，並且分享如何在 Kubernetes 上面建置機器學習平台的經驗，如何透過 Kubernetes 來讓資源分配更有效率．讓機器學習再也不是昂貴的事情．希望能讓許多新創公司與業界有更多的了解．

1. 如何打造高效的機器學習平台
Linker Networks
Evan Lin

2. 關於我
● Linker Networks 雲端架構師
● Golang.tw 共同協辦人
● 碼天狗策展者

3. 兩年前..

4. 摘要
● 何謂機器學習平台
● 為何你應該打造自己的機器學習平台
● 打造機器學習平台經驗談
● 如何打造高效的機器學習平台
● 結論

5. 人工智慧與機器學習的應用

6. 大廠的人工智慧 API

7. 機器學習流程 (機器學習平台)
From “Introduction to Microsoft Azure” by David Chappell

8. 拿人臉辨識為例子....

9. 透過加上特徵點

10. Example: Face detection - annotation

11. 透過計算產生機器學習模型

12. 透過圖片輸入可以預測你需要的資訊
Azure Face API: https://azure.microsoft.com/zh-tw/services/cognitive-services/face/

13. 為何你需要建置自己的機器學習平台

14. 開源的深度學習套件

15. 開源的深度學習套件: 大數據才是重點

16. 誰有大數據

17. 那.. 我們來自己架機器開發機器學習平台

18. 製作機器學習平台常遇到的問題
● 不易安裝的環境
● 不易同步的訓練資料
● 無法最佳化的訓練排程
● 大量的資料前處理

19. 買數台 Nvidia GTX 1080 Ti

20. 安裝 CUDA8 與 cuDNN v7 與 Tensorflow GPU
Install Nvidia Driver
Install CUDA8 binary
Build CuDNN v7 from source
code
Install Tensorflow GPU
Refer: https://technews.tw/2017/11/07/ai-server-guidance-2-tensorflow/

21. 安裝你常用的工具( console or jupyter notebook)

22. 好不容易裝好

23. 資料科學家跑來跟你說

24. PyTorch 似乎很好用，可以幫我重裝嗎?

25. CUDA9 似乎有變快，可以幫我重裝嗎?

26. 混亂的訓練環境
Python2 Python3

27. 混亂的訓練環境 - Docker 似乎可以解決問題
Python2 Python3

28. 每個使用者還是有自己喜歡的環境
numpy
keras
jupyter
Darkflow
CV
numpy

29. 甚至是兩種作業環境

30. 不易同步的訓練資料

31. 龐大的來源訓練資料

32. 每個人的資料處理方式不同

33. 如何共享處理過的資料夾
Refer: Line貼圖 辦公室常用英語 https://store.line.me/stickershop/product/1429804/zh-Hant

34. 無法最佳化的訓練排程
t2:訓練t2:資料清洗
t1:訓練t1:資料清洗 t.4 資料清
洗
t3:訓練t3:資料清洗
下班 上班

35. 大量資料前處理

36. 人臉辨識標記

37. 經過了不斷的點擊...

38. Dlib 需要至少 68 個特徵點

39. Kubernetes 讓建制機器學習平台更容易
● 資源抽象化 (Device Plugin)
● 工作排程

40. 製作機器學習平台常遇到的問題
● 不易安裝的環境
● 不易同步的訓練資料
● 無法最佳化的訓練排程
● 大量的資料前處理

41. 如何解決: 不易安裝的環境

42. 提供給使用者客製化的方式

43. 客製化環境準備流程

44. 如何解決: 不易同步的訓練資料

45. 節點間的資料如何共通

46. 透過 Persistent Volume

47. 如何解決: 無法最佳化的訓練排程

48. Kubernetes 提供良好的排程功能，但是

49. 透過自製工作管理器提供高彈性選擇

50. 具有客製化 pipeline 處理的工作管理員

51. 具有客製化 pipeline 處理的工作管理員
(model convertor)

52. 如何解決: 大量的資料前處理

53. 資料前處理需要大量人工輸入...

54. 但是.. 其實有更容易的方式

55. Realtime learning and Inference

56. 總結
● 機器學習平台是下個世代的 KillerApp
● 機器學習平台還有些困難點值得討論
● 透過 Kubernetes 有效的整合資源，提升整體效能