Shiva 〜Nextremerをscale upする機械学習環境〜
•Télécharger en tant que PPTX, PDF•
0 j'aime•1,953 vues
Nextremer社内で運用している機械学習環境Shivaのご紹介
Recommandé
Contenu connexe
Tendances
Tendances (19)
Similaire à Shiva 〜Nextremerをscale upする機械学習環境〜
Similaire à Shiva 〜Nextremerをscale upする機械学習環境〜 (20)
Shiva 〜Nextremerをscale upする機械学習環境〜
- 2. 自己紹介 両角 和軌(もろずみ かずき) 株式会社Nextremer プログラマー ※対話システムの研究開発をしている企業です • 主にやっていること • サーバーサイド開発 • ここ最近触った技術 • Terraform, Ansible, Packer ← Infrasctucture as Code！ • Docker, Kubernetes, Apache Mesos ← ポータビリティさいこう！ • Python, Scala, javascript(ES6) ← 関数型うまくかけると気持ちいい！ • Finagle, React.js ← マイクロサービスしたい！リアクティブしたい！
- 4. 機械学習環境 Shiva 1. オフィスにあるGPUマシンに 2. Webのダッシュボードから 3. 専用のJupyterを立ち上げられる
- 5. Shivaが解決する課題 GPUマシンを使いたいけど・・・ • クラウド費用を気にして気軽に使えない • 主に予算付きのPJ以外、トレーニングとか、闇研究とか • GPUマシンを複数ユーザーで共有するのもやりにくい • ライブラリの競合、誰が使ってるかわからん • GPUマシン上での環境構築が大変だったり • 全員が詳しいわけじゃない
- 7. Abstract ユーザー毎のDockerコンテナ 全部入り環境 & sudo権限 ホームdirを全マシンで共有
- 11. Architecture Overview ユーザーとポートのマッピング • http://host/user/kazuki.morozumi • Jupyterがリスンするポートはランダム コンテナ稼働状況を公開するAPI tmpnbをカスタマイズ • https://github.com/jupyter/tmpnb
- 13. Infrastructure Overview コンテナオーケストレーションには Mesos + Marathonを利用
- 14. Infrastructure Overview Mesos+Marathonを選択した理由 • 特定のアプリをデーモンとして動かせれば十分 • サービスディスカバリとかはいらない • Kubernetesはオーバースペックすぎる • 構成要素が多く複雑で構築、メンテナンスが大変 • 単純にMesos+Marathonを試してみたかった • 構築当時は情報がかなり少なかった
- 15. Infrastructure Overview CPU Intel Core i7-6700K メモリ 32GB Disk SSD 500GB GPU GTX-1080 ×2枚 GPUマシンスペック 見た目も大事！ - とりあえず光らせる - みんなに見える場所に置く
- 16. 運用していて起こった問題 ディスク上限 • 学習データ数百GBをアップロードしたらディスク上限に達して停止 • コンテナ側からsshfsで自分のPCのディスクをマウントして回避した コンテナが暴走した時のセーフティーネット • 開発したコードのバグでホストのCPU・メモリを食い潰す • ビギナーのユーザーがこのようなバグを作りがち • 対応策はコンテナ毎にリソース制限をつける • 頻度低かつ影響低なので特に現状は対応せず
- 17. 詳細はQiitaの記事へ！
- 20. Nextremerではこんなことをやっています 弊社CEO 向井をコピーした対話システム • 2017/10 第8回対話システムシンポジウムにてデモ発表
- 22. 最後に Nextremerではコンテナを利用して対話システムを一緒に開発す るエンジニアを探しています！ 両角へ直接 or Wantedly よりご連絡ください いつでもNextremerオフィスをご案内します！