DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話

Copyright ©2019 NS Solutions Corporation. All Rights Reserved.
AIチームが
履歴やリソース管理で疲弊してたので
開発基盤作ってOSS化した話
日鉄ソリューションズ株式会社

自己紹介
2
 名前：かもっち＆もにたーくん
 所属：日鉄ソリューションズ
システム研究開発センター
 役割：AI開発アシスタント（見習い）
Twitter: ＠kamonohashi_kqi

Copyright ©2019 NS Solutions Corporation. All Rights Reserved. 3
Deep Learningへの弊社の取り組み
工場に蓄積された画像データ、センサーデータを使い
熟練工の力を学習して全工程に展開する
製造業 × Deep Learning

Deep Learningへの弊社の取り組み
4
 顧客現場へのDeep Learningの適用コンサルティング
 顧客からデータを受領してモデル開発
 問題設計から実機導入、周辺システムの開発までワンストップで提供
 20名程度のAIエンジニア
 主に製造業向けの画像認識
 不良検知・製品検査
 TensorFlow/PyTorch

弊社開発体制
5
Storage
GPU a
GPU a
GPU b
GPU b
GPU c
GPU c
GPU d
GPU d
GPU e
GPU e
GPU f
GPU f
GPU f
GPU f
GPU g
GPU g
GPU g
GPU g
複数チームが複数の
計算リソースを共有
他多数プロジェクト

ここから本題
6

Question
7
AIの開発環境どうしてますか？
特にDeep Learning

本日の主題
8
効率的・効果的に
AI開発するために作った
弊社環境を紹介

アジェンダ
9
1. AI開発の何が辛いのか
2. 作成した弊社開発環境の紹介
3. DEMO
4. 技術的なTIPS集

そもそも
10
AI開発の
何が辛いのか

AIの開発プロセス
11
GPU
GPU
モデル開発学習推論

12
GPU
GPU
モデル開発学習推論
だけじゃない

13

AI開発の辛み三大要因

頻繁＆複雑な環境設定
15
OS,ライブラリの管理
–繰り返しの度に環境設定
–使うノード全てにインストール
–都度バージョンアップ(ダウン)
–チーム間でのツール競合の対応
使うたびに環境構築の
手間が掛かって大変！

再現性の担保
学習環境を再構築
どの学習データを利用したか
どのソースコードを利用したか
実験条件は？
手作業でメモしたら
書き忘れも間違いも頻出！

効率的なリソース共有
17
 複数チームでGPUを共有
GPUを効率的に利用したい
– GPUは高価なので余剰を作りたくない
– 利用状況を知りたい
– GPU単位で共有したい
チーム間で公平に利用したい
– 特定のチームに占有されてしまうと困る
使い終わったかどうか
分からない！
特定の一人に
リソースが占有されてしまう！
一つのGPUで十分だが
余りを共有できない!!
AI開発者 AI開発者 AI開発者

18

19
使うたびに環境構築
蓄積され続けるデータの管理
実験の履歴を欠かさず記録
計算リソースの割り当て管理

20
使うたびに環境構築
蓄積され続けるデータの管理
実験の履歴を欠かさず記録
雑務
雑務
雑務
計算リソースの割り当て管理
雑務

雑務多すぎ

支援プラットフォーム
作りました

AI技術者向け
開発プラットフォーム

世界中のAI開発者へ
OSS公開中！
https://github.com/KAMONOHASHI/kamonohashi

アーキテクチャ
25
S3 NFS Gateway
Model Source
NFS Storage
System Nodes
Database
PostgreSQL
Cluster Manager
Web Application
GPU Nodes
GPU Job
Minio
User
Browser
CLI
Container

学習環境をコンテナ化
26
 学習環境を容易に
 環境をポータブルに
 好きなフレームワークを利用可能
(TensorFlow, PyTorch, etc.)
 GPU単位でのアロケーション
Ubuntu 16.04
TensorFlow CentOS 7.6
Chainer
Ubuntu 18.04
PyTorch

学習の入出力をすべて記録
学習環境
python, TensorFlow等
リソース
CPU/メモリ/GPU
GPU
GPU
学習結果
（AI）
大量のデータ
(画像等)
学習モデル
(pythonコード)
実行コマンド
(python train.py)
Storage
モデル開発のすべては
ストレージに自動保存

リソース割り当ての自動化
開発者はただジョブをKAMONOHASHIに投入するだけ。
Storage A Storage B
ジョブの投入
• 2 GPUs
• 4 CPU
• CUDA 9.0 +
TensorFlow
ジョブの投入
• 4 GPUs
• 8CPU
• CUDA 10.1 +
PyTorch
開発者A 開発者B
Container Container

Demo

UI
30
 WebUI と CLI を提供

UI
31
 WebUI と CLI を提供

実例と実績
32
 NSSOL AI開発人材のパフォーマンスを
KAMONOHASHIで最大化した成果
 参加チーム数:1,316
 日本のチーム内では1位
https://www.kaggle.com/c/quickdraw-doodle-recognition/leaderboard
Kaggle Competitionで世界6位入賞

KAMONOHASHI Deep Dive
技術的なTIPS集
・学習コンテナのTIPS
・ストレージのTIPS
・運用のTIPS
33

学習コンテナのTIPS
学習コンテナの構築方法

学習コンテナの仕様
学習コンテナ
dataset
model
output
GPU Driver
GPUs
CUDA
Framework

学習コンテナ
dataset
model
output
GPU Driver
GPUs
CUDA
Framework
• Device Plugin
• nvidia-docker2
使いたいフレームワークが
入ったコンテナを選択する
Kubernetesでデプロイ
（満杯ならキューイング）

データ管理で登録したファイル
データセット管理で登録したファイル
gitに登録した学習コード
データの格納先を指定
推論
学習コンテナ
dataset
model
output
GPU Driver
GPUs
CUDA
Framework

学習コンテナのジレンマ
38
 データセットとモデルをどうやって配置するか
コンテナが起動したら
自動で配置してほしい
既存のコンテナを
そのまま使わせてほしい
学習コンテナ
dataset
model
output
GPU Driver
GPUs
CUDA
Framework
Storage
？
？

データセットとモデルをどうやって配置するか
コンテナ内に
エージェント仕込む？
・既存のコンテナを使えない
・更新時にリビルド必要
gitやkqiコマンドを
コンテナのCMDに指定？
・コマンドがないコンテナが
利用不能
apt-getもCMDに指定？
・CentOSどうする？
・apt-get 遅い
NFS領域を
まるごとマウントする？
・対象データがどれか
分からない

解決方法
40
 同時に複数コンテナを起動 → 自由度を保ちつつ、必要な処理を差し込む
学
習
開
始
準備コンテナ
起動
git pull
kqi dataset download
学習コンテナ
起動
input
マウント
出力
マウント
破棄
片付けコンテナ
起動
学習
output
出力
学習コンテナを監視
破棄
片付け＆完了通知破棄

ストレージのTIPS

ストレージのジレンマ
42
• アクセス速度を上げたい
• コンテナが落ちても
途中結果は維持したい
コンテナに
NFSをマウント
Object Storage に
REST API アクセス
• Webシステムと連携させたい
• トレーサビリティを取りたい

解決方法
43
 Minioの導入
NFS Storage
S3 NFS Gateway
Minio
Web Application
GPU Node
NFSマウント
REST API
NFSマウント

運用のTIPS
早い者勝ち問題

ジョブキューで起きる問題
永遠に
はけない
ジョブキュー
A ジョブ A ジョブA ジョブ
A ジョブ A ジョブ A ジョブ
B ジョブ
Aが終わるまで
待ち続ける

ノード割り当て（パーティション）で解決
A ジョブ A ジョブ
B ジョブ
Aにアクセス権がないノードを
設定することで解決
（パーティション管理）
プロジェクトごとに
同時利用リソースの
上限設定も可能
（クォータ管理）

その他TIPS
47
 今日話せなかったTIPS集
 コンテナの起動時、K8sのYamlに追加しておくべきおすすめ設定
 コンテナへShell接続する方法
 数GBのファイルをアップロードするとWebサーバが死ぬ問題
 Notebookコンテナを立てっぱなしにする人がいる問題
→展示ブースに遊びに来てください！
 一番奥まったスペースにいます

今後の予定
48

今後の予定
49
 ハイブリッドクラウド化
 マルチクラウドも
 利用履歴の可視化
 これまでのGPU利用率をグラフ表示

世界中のAI開発者へ
OSS公開中！

さいごに

今日一番大事なこと
52

53

54
 スターください！
ココ！

今日二番目に大事なこと
55

56
https://twitter.com/Kamonohashi_kqi

57
 フォローください！
https://twitter.com/Kamonohashi_kqi
ココ！

ご清聴ありがとうございました
AI 開発プラットフォーム
KAMONOHASHI
Web: https://kamonohashi.ai Twitter: ＠kamonohashi_kqi

商標についての注記
60
– NS Solutions は、日鉄ソリューションズ株式会社の登録商標です
– KAMONOHASHI及びKAMONOHASHI(ロゴ)は、日鉄ソリューションズ株式会社の
登録商標です
– その他本文記載の会社名及び製品名はそれぞれ各社の商標又は登録商標です

おまけ
61

学習コンテナへの接続

学習コンテナのジレンマ
63
 コンテナに接続して対話的に操作するには
コンテナにSSHしたい
既存のコンテナを
そのまま使わせてほしい
学習コンテナ
dataset
model
output
GPU Driver
GPUs
CUDA
Framework
接続

コンテナに接続して対話的に操作するには
コンテナにSSHする？
コンテナ側に
SSH設定が必要
SSHをコンテナの
CMDで追加？
認証情報を設定できない
ホストからdocker exec？
ホストへのアクセス権を
与えるのはちょっと……
K8sのダッシュボードを
使う？
K8sへのアクセス権を
与えるのはちょっと……

解決方法
65
 K8sのダッシュボードと同じ実装をKAMONOHASHIに追加
 コンテナへのShell接続
 学習中のジョブの状態をリアルタイムで確認可能
ブラウザ WebSocket WebSocket
WebSocket
サーバ
WebSocket
クライアント
中継
KAMONOHASHI
コンテナ
リクエスト: ls
レスポンス: bin boot dev etc home…
ここはKubernetesの機能

K8sのyml設定

K8s ymlでしておくべき設定一覧
67
設定内容理由
GPUを使わないコンテナには環境変数に
NVIDIA_VISIBLE_DEVICES=noneを設定
これをしないとGPU使わないコンテナに全GPUが
割り当てられる
環境変数に
PYTHONUNBUFFERED=trueを設定
ログがすぐ見れるように、Python出力のバッファリングを
なくす
Limits/Requestsは一致させるどうせ総和はLimitsに合わせる必要があるんだし
QoS Classは”Guaranteed”で固定不必要なkillを防ぐ（可変にしても常に最大になるだけ）
backoffLimitは0に落ちるのは大体モデルのエラーかメモリ不足なので
再起動しても同じ結果になる → 現場保存を優先
共有メモリをメモリのEmptyDirで作る PyTorchの共有メモリ食いつぶし対策

ストレージまわりのその他TIPS
68
 Signature Signing Processを採用
 Object Storageへは直接アクセスさせてWeb Appサーバの負荷軽減
 大容量ファイル送受信のパフォーマンスも改善
 オブジェクト単位で期限付きの署名付きURLを発行しセキュリティ担保
ダウンロード用の
ワンタイムURLを要求
ダウンロード
S3 NFS Gateway
Minio
Web Application

運用のTIPS
コンテナ立てっぱなし問題

運用のジレンマ
使い終わったNotebookコン
テナを放置する人がいる！
タイムアウトを入れて
自動で消す？
運用でカバー？
まだ使っているコンテナを
勝手に消さないで！

解決方法
71
 タイムアウトで強制削除＋リエントランシーを担保
 TensorBoardやNotebookは定期削除処理を入れる
– 期限が来ると強制的に削除される
 実行状態を保存しておいて、いつでも中断地点から再開可能に
 Notebookは特定ノード（CPUノードとか）でしか起動しないようにする
 パーティションの機能を応用

DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話

Similaire à DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話 (20)

DLLAB Engineer Days:AIチームが履歴やリソース管理で疲弊してたので開発基盤作ってOSS化した話

Notes de l'éditeur