Das Trainieren von neuronalen Netzen ist sehr rechenaufwändig. Auch eine vertikale Skalierung – mehrere CPU bzw GPU auf dem selben Host, genügt in vielen Fällen nicht. Insbesondere dann, wenn viele Data Scientists parallel an ihren Modellen arbeiten. Entsprechend interessant ist die horizontale Skalierung über Rechner hinweg. In diesem Vortrag zeigen wir, wie das Training mit Hilfe von Cloud-Infrastrukturen in Verbindung mit Kubernetes einfach horizontal skaliert werden kann. Dabei betrachten wir nicht nur TensorFlow, sondern auch Alternativen wie MXNet und CNTK. Anschließend werden wir darauf eingehen, wie gut die unterschiedlichen Frameworks das verteilte Lernen für unterschiedliche Netzwerkarchitekturen (CNN, RNN, LSTM, ...) meistern. Event: Minds Mastering Machines, 26.04.2018 Speaker: Sebastian Jäger, Hans-Peter Zorn, inovex Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege Mehr Tech-Artikel: https://www.inovex.de/blog/

2. Scalable Deep Learning
Big Data, NLP, Machine Perception
2

3. Yang You, Zhao Zhang, Cho-Jui Hsieh, James Demmel, Kurt Keutzer: “ImageNet Training in Minutes” (2018) 3
Facebook: “Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour” (2017)

4. 4
› Skalierungsmöglichkeiten
› Technologie Stack
› Frameworks + Vergleich
› Learnings
› Ausblick

5. › physikalische Grenze
› mehr Ressourcen (CPU/GPU/RAM)
5Icons von Freepik/ CC 3.0 BY

6. › Rechnerverbund
› Parallelisierbarkeit begrenzt
6Icons von Freepik/ CC 3.0 BY

7. › periodische Synchronisation
› selbes Netz, unterschiedliche Daten
7
Rechner 2Rechner 1

8. 8
Technologie Stack

9. › Container Virtualisierung
› Leichtgewichtig
› Meistverbreitetes Containerformat
› Verfügbarkeit von Registries
9

10. 10
› Hardware-Abstraktion
› Container ausführen
› Service Discovery & Networking
› Konfigurationsmanagement

11. 11
› Paketmanager
› Templating Funktionalität
› Convenience

12. helm init
12
helm install
--set worker=2
Icons von Freepik/ CC 3.0 BY

13. 13
Service
name: worker-0
Service
name: worker-1
Icons von Freepik/ CC 3.0 BY

14. 14
1 {{ range $i := until (int $worker) }}
2 kind: Service
3 apiVersion: v1
4 metadata:
5 name: worker-{{ $i }}
6 spec:
7 selector:
8 job: worker
9 task: {{ $i }}
10 {{ end }}

15. 15
Deep Learning Frameworks

16. 16
› Herbst 2015, Google
› “library for high performance numerical computation”
› ML/ DL support
› TensorBoard

17. › Parameter Server
17Carnegie Mellon University, Baidu, Google: “Scaling Distributed Machine Learning with the Parameter Server” (2014)
Worker Worker Worker
Parameter Server

18. › multi CPU/ GPU, multi Node
› Infrastruktur: keine Voraussetzungen
› IP-Adressen/ Hostnamen + Port
› Parameter Server
18Carnegie Mellon University, Baidu, Google: “Scaling Distributed Machine Learning with the Parameter Server” (2014)

19. 19
worker_hosts
1 worker_hosts={{ range $k := until (int $worker) }}
tensorflow-worker-{{ $k }}:5000
{{ if lt (int $k | add 1) (int $worker) }}{{ print "," }}
{{ end }}{{ end }}
worker_hosts=tensorflow-worker-0:5000,tensorflow-worker-1:5000

20. 20
› Distributed (Deep) Machine Learning Community
(DMLC)
› “A flexible and efficient library for deep learning.”
› Amazons Framework der Wahl
› (TensorBoard Support)

21. › verteilter KVStore
21
GPU 1 GPU 2 GPU 1 GPU 2
T. Chen et al.: “MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems” (2015)

22. 22
› multi CPU/ GPU, multi Node
› Infrastruktur: SSH / MPI / YARN / SGE
› Hostfile mit IP-Adressen/ Hostnamen
› verteilter KVStore
T. Chen et al.: “MXNet: A Flexible and Efficient Machine Learning Library for Heterogeneous Distributed Systems” (2015)

23. 23
hosts
1 data:
2 hosts: |-
3 {{- range $i := until (int $worker) }}
4 mxnet-worker-{{ $i }}
5 {{- end }}

24. 24
› Frühjahr 2015, Microsoft
› “A deep learning tool that balances efficiency,
performance and flexibility”
› TensorBoard Support

25. 25
› 1-Bit SGD/ Block-Momentum SGD/ Parameter Server
› multi CPU/ GPU, multi Node
› Infrastruktur: (Open)MPI
› Hostfile mit IP-Adressen/ Hostnamen
Microsoft: “Scalable Training of Deep Learning Machines by Incremental Block Training with Intra-block Parallel Optimization and Blockwise Model-Update Filtering” (2016)
Microsoft: “1-Bit Stochastic Gradient Descent and its Application to Data-Parallel Distributed Training of Speech DNNs” (2014)

26. 26
hosts
1 data:
2 hosts: |-
3 {{- range $i := until (int $worker) }}
4 cntk-worker-{{ $i }}
5 {{- end }}

27. 27
VS.

28. CNN LSTM
28
› MNIST Datensatz
› LeNet-5
› einfachere Netze
› PTB Datensatz
› 200 Neuronen, 2 Layer
› komplexere Netze
Wojciech Zaremba, Ilya Sutskever, Oriol Vinyals: “Recurrent Neural Network Regularization” (2015)

29. 29

30. 30

31. 31

32. 32
› TensorFlow, MXNet, CNTK
› 3 diverse CNNs
› CNTK skaliert effizienter
› zeigen Bottlenecks
S. Shi, X. Chu: “Performance Modeling and Evaluation of Distributed Deep Learning Frameworks on GPUs” (2017)

33. 33
› DevicePlugin installieren
› Base Image: nvidia/cuda
› GPU Ressourcen verwenden
1 resources:
2 limits:
3 nvidia.com/gpu: {{ $numGpus }}

34. 34
› kubeflow
› Ähnlich zu unserer Plattform
› ksnonnet für templating (vs Helm alleine)
› Argo für workflow-steuerung (evtl auch)
› Horovod (Uber)
› MPI für TensorFlow (bessere Performance)
› besserer Skalierungsmechanismus
› TensorFlow Operator (Jakob Karalus, data2day ‘17)
› jinja2 für’s templating

35. 35

36. Sebastian Jäger
@se_jaeger
Hans-Peter Zorn
@data_hpz
inovex GmbH
Ludwig-Erhard-Allee 6
76131 Karlsruhe