Soumettre la recherche
Mettre en ligne
ディープラーニングイメージで構築する快適・高速な機械学習環境
•
1 j'aime
•
944 vues
Yaboo Oyabu
Suivre
Cloud Deep Learning VM Image を使って快適・高速な機械学習環境を構築する方法
Lire moins
Lire la suite
Ingénierie
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 22
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
Yaboo Oyabu
Google Cloud AI の紹介 @ GCPUG Nara #03
Google Cloud AI の紹介 @ GCPUG Nara #03
Yaboo Oyabu
20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術
Preferred Networks
KubeCon 2021 NA Recap - Scheduler拡張事例最前線 / Kubernetes Meetup Tokyo #47 / #k8sjp
KubeCon 2021 NA Recap - Scheduler拡張事例最前線 / Kubernetes Meetup Tokyo #47 / #k8sjp
Preferred Networks
1000: 基調講演
1000: 基調講演
NVIDIA Japan
1018: ディープラーニング最新技術情報~cuDNN 3、DIGITS 2、CUDA 7.5のご紹介~
1018: ディープラーニング最新技術情報~cuDNN 3、DIGITS 2、CUDA 7.5のご紹介~
NVIDIA Japan
How to Schedule Machine Learning Workloads Nicely In Kubernetes #CNDT2020 / C...
How to Schedule Machine Learning Workloads Nicely In Kubernetes #CNDT2020 / C...
Preferred Networks
Chainer でのプロファイリングをちょっと楽にする話
Chainer でのプロファイリングをちょっと楽にする話
NVIDIA Japan
Recommandé
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
機械学習プロジェクトにおける Cloud AI Platform の使い方 (2018-11-19)
Yaboo Oyabu
Google Cloud AI の紹介 @ GCPUG Nara #03
Google Cloud AI の紹介 @ GCPUG Nara #03
Yaboo Oyabu
20180729 Preferred Networksの機械学習クラスタを支える技術
20180729 Preferred Networksの機械学習クラスタを支える技術
Preferred Networks
KubeCon 2021 NA Recap - Scheduler拡張事例最前線 / Kubernetes Meetup Tokyo #47 / #k8sjp
KubeCon 2021 NA Recap - Scheduler拡張事例最前線 / Kubernetes Meetup Tokyo #47 / #k8sjp
Preferred Networks
1000: 基調講演
1000: 基調講演
NVIDIA Japan
1018: ディープラーニング最新技術情報~cuDNN 3、DIGITS 2、CUDA 7.5のご紹介~
1018: ディープラーニング最新技術情報~cuDNN 3、DIGITS 2、CUDA 7.5のご紹介~
NVIDIA Japan
How to Schedule Machine Learning Workloads Nicely In Kubernetes #CNDT2020 / C...
How to Schedule Machine Learning Workloads Nicely In Kubernetes #CNDT2020 / C...
Preferred Networks
Chainer でのプロファイリングをちょっと楽にする話
Chainer でのプロファイリングをちょっと楽にする話
NVIDIA Japan
CUDAプログラミング入門
CUDAプログラミング入門
NVIDIA Japan
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正版)」
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正版)」
ManaMurakami1
KubeFlowでどこまでいける?
KubeFlowでどこまでいける?
Yuji Oshima
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正前 typoあり)」
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正前 typoあり)」
ManaMurakami1
1070: CUDA プログラミング入門
1070: CUDA プログラミング入門
NVIDIA Japan
GPU クラウド コンピューティング
GPU クラウド コンピューティング
NVIDIA Japan
OHS#2 GREでディープラーニング学習REST APIを作る
OHS#2 GREでディープラーニング学習REST APIを作る
ManaMurakami1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA Japan
20160728 hyperscale #03
20160728 hyperscale #03
ManaMurakami1
20180723 PFNの研究基盤 / PFN research system infrastructure
20180723 PFNの研究基盤 / PFN research system infrastructure
Preferred Networks
PFN 深層学習事例紹介、PFN/MSアライアンス テクノロジーアップデート
PFN 深層学習事例紹介、PFN/MSアライアンス テクノロジーアップデート
Hirono Jumpei
45分で理解する 最近のスパコン事情 斉藤之雄
45分で理解する 最近のスパコン事情 斉藤之雄
Yukio Saito
2018 07-23
2018 07-23
Yuji Oshima
Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装
Ryuichi Sakamoto
20170421 tensor flowusergroup
20170421 tensor flowusergroup
ManaMurakami1
Flow in VR Funhouse MOD Kit
Flow in VR Funhouse MOD Kit
NVIDIA Japan
KubernetesでGPUクラスタを管理したい
KubernetesでGPUクラスタを管理したい
Yuji Oshima
Kubeflowで何ができて何ができないのか #DEvFest18
Kubeflowで何ができて何ができないのか #DEvFest18
Shunya Ueta
Kuberflow Kubernetes上の機械学習プラットフォーム
Kuberflow Kubernetes上の機械学習プラットフォーム
Kosuke Kikuchi
Maxwell と Java CUDAプログラミング
Maxwell と Java CUDAプログラミング
NVIDIA Japan
EnrootとPyxisで快適コンテナ生活
EnrootとPyxisで快適コンテナ生活
Kuninobu SaSaki
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks
Contenu connexe
Tendances
CUDAプログラミング入門
CUDAプログラミング入門
NVIDIA Japan
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正版)」
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正版)」
ManaMurakami1
KubeFlowでどこまでいける?
KubeFlowでどこまでいける?
Yuji Oshima
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正前 typoあり)」
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正前 typoあり)」
ManaMurakami1
1070: CUDA プログラミング入門
1070: CUDA プログラミング入門
NVIDIA Japan
GPU クラウド コンピューティング
GPU クラウド コンピューティング
NVIDIA Japan
OHS#2 GREでディープラーニング学習REST APIを作る
OHS#2 GREでディープラーニング学習REST APIを作る
ManaMurakami1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA Japan
20160728 hyperscale #03
20160728 hyperscale #03
ManaMurakami1
20180723 PFNの研究基盤 / PFN research system infrastructure
20180723 PFNの研究基盤 / PFN research system infrastructure
Preferred Networks
PFN 深層学習事例紹介、PFN/MSアライアンス テクノロジーアップデート
PFN 深層学習事例紹介、PFN/MSアライアンス テクノロジーアップデート
Hirono Jumpei
45分で理解する 最近のスパコン事情 斉藤之雄
45分で理解する 最近のスパコン事情 斉藤之雄
Yukio Saito
2018 07-23
2018 07-23
Yuji Oshima
Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装
Ryuichi Sakamoto
20170421 tensor flowusergroup
20170421 tensor flowusergroup
ManaMurakami1
Flow in VR Funhouse MOD Kit
Flow in VR Funhouse MOD Kit
NVIDIA Japan
KubernetesでGPUクラスタを管理したい
KubernetesでGPUクラスタを管理したい
Yuji Oshima
Kubeflowで何ができて何ができないのか #DEvFest18
Kubeflowで何ができて何ができないのか #DEvFest18
Shunya Ueta
Kuberflow Kubernetes上の機械学習プラットフォーム
Kuberflow Kubernetes上の機械学習プラットフォーム
Kosuke Kikuchi
Maxwell と Java CUDAプログラミング
Maxwell と Java CUDAプログラミング
NVIDIA Japan
Tendances
(20)
CUDAプログラミング入門
CUDAプログラミング入門
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正版)」
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正版)」
KubeFlowでどこまでいける?
KubeFlowでどこまでいける?
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正前 typoあり)」
「NVIDIA プロファイラを用いたPyTorch学習最適化手法のご紹介(修正前 typoあり)」
1070: CUDA プログラミング入門
1070: CUDA プログラミング入門
GPU クラウド コンピューティング
GPU クラウド コンピューティング
OHS#2 GREでディープラーニング学習REST APIを作る
OHS#2 GREでディープラーニング学習REST APIを作る
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
NVIDIA 更新情報: Tesla P100 PCIe/cuDNN 5.1
20160728 hyperscale #03
20160728 hyperscale #03
20180723 PFNの研究基盤 / PFN research system infrastructure
20180723 PFNの研究基盤 / PFN research system infrastructure
PFN 深層学習事例紹介、PFN/MSアライアンス テクノロジーアップデート
PFN 深層学習事例紹介、PFN/MSアライアンス テクノロジーアップデート
45分で理解する 最近のスパコン事情 斉藤之雄
45分で理解する 最近のスパコン事情 斉藤之雄
2018 07-23
2018 07-23
Slurmのジョブスケジューリングと実装
Slurmのジョブスケジューリングと実装
20170421 tensor flowusergroup
20170421 tensor flowusergroup
Flow in VR Funhouse MOD Kit
Flow in VR Funhouse MOD Kit
KubernetesでGPUクラスタを管理したい
KubernetesでGPUクラスタを管理したい
Kubeflowで何ができて何ができないのか #DEvFest18
Kubeflowで何ができて何ができないのか #DEvFest18
Kuberflow Kubernetes上の機械学習プラットフォーム
Kuberflow Kubernetes上の機械学習プラットフォーム
Maxwell と Java CUDAプログラミング
Maxwell と Java CUDAプログラミング
Similaire à ディープラーニングイメージで構築する快適・高速な機械学習環境
EnrootとPyxisで快適コンテナ生活
EnrootとPyxisで快適コンテナ生活
Kuninobu SaSaki
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks
いきなりAi tensor flow gpuによる画像分類と生成
いきなりAi tensor flow gpuによる画像分類と生成
Yoshi Sakai
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
Preferred Networks
PlaidML Kerasでやっていく #TokyoR 73
PlaidML Kerasでやっていく #TokyoR 73
Akifumi Eguchi
2015年度GPGPU実践基礎工学 第11回 GPUでの並列プログラミング(ベクトル和)
2015年度GPGPU実践基礎工学 第11回 GPUでの並列プログラミング(ベクトル和)
智啓 出川
GPU Container as a Service を実現するための最新OSS徹底比較
GPU Container as a Service を実現するための最新OSS徹底比較
NTT Communications Technology Development
[db analytics showcase Sapporo 2017] B14: GPU コンピューティング最前線 by エヌビディア 佐々木邦暢
[db analytics showcase Sapporo 2017] B14: GPU コンピューティング最前線 by エヌビディア 佐々木邦暢
Insight Technology, Inc.
PFN x Microsoft Alliance
PFN x Microsoft Alliance
Hirono Jumpei
20190225 jetson azure_hands-on
20190225 jetson azure_hands-on
Aya Owosekun
Cld017 nh シリーズリリース
Cld017 nh シリーズリリース
Tech Summit 2016
Cld017 nh シリーズリリース
Cld017 nh シリーズリリース
Tech Summit 2016
機械学習 / Deep Learning 大全 (6) Library編
機械学習 / Deep Learning 大全 (6) Library編
Daiyu Hatakeyama
20130803 OSC@Kyoto CloudStackユーザー会
20130803 OSC@Kyoto CloudStackユーザー会
samemoon
【de:code 2020】 AI とデータ サイエンスを加速する NVIDIA の最新 GPU アーキテクチャ
【de:code 2020】 AI とデータ サイエンスを加速する NVIDIA の最新 GPU アーキテクチャ
日本マイクロソフト株式会社
GPU Container as a Serviceを実現するための最新OSS徹底比較 - OpenStack最新情報セミナー 2017年7月
GPU Container as a Serviceを実現するための最新OSS徹底比較 - OpenStack最新情報セミナー 2017年7月
VirtualTech Japan Inc.
Google Compute Engine 入門
Google Compute Engine 入門
Yuko Oshima
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
tomitomi3 tomitomi3
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~
NVIDIA Japan
20221116_DBTS_PGStrom_History
20221116_DBTS_PGStrom_History
Kohei KaiGai
Similaire à ディープラーニングイメージで構築する快適・高速な機械学習環境
(20)
EnrootとPyxisで快適コンテナ生活
EnrootとPyxisで快適コンテナ生活
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
いきなりAi tensor flow gpuによる画像分類と生成
いきなりAi tensor flow gpuによる画像分類と生成
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
続・PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 #2
PlaidML Kerasでやっていく #TokyoR 73
PlaidML Kerasでやっていく #TokyoR 73
2015年度GPGPU実践基礎工学 第11回 GPUでの並列プログラミング(ベクトル和)
2015年度GPGPU実践基礎工学 第11回 GPUでの並列プログラミング(ベクトル和)
GPU Container as a Service を実現するための最新OSS徹底比較
GPU Container as a Service を実現するための最新OSS徹底比較
[db analytics showcase Sapporo 2017] B14: GPU コンピューティング最前線 by エヌビディア 佐々木邦暢
[db analytics showcase Sapporo 2017] B14: GPU コンピューティング最前線 by エヌビディア 佐々木邦暢
PFN x Microsoft Alliance
PFN x Microsoft Alliance
20190225 jetson azure_hands-on
20190225 jetson azure_hands-on
Cld017 nh シリーズリリース
Cld017 nh シリーズリリース
Cld017 nh シリーズリリース
Cld017 nh シリーズリリース
機械学習 / Deep Learning 大全 (6) Library編
機械学習 / Deep Learning 大全 (6) Library編
20130803 OSC@Kyoto CloudStackユーザー会
20130803 OSC@Kyoto CloudStackユーザー会
【de:code 2020】 AI とデータ サイエンスを加速する NVIDIA の最新 GPU アーキテクチャ
【de:code 2020】 AI とデータ サイエンスを加速する NVIDIA の最新 GPU アーキテクチャ
GPU Container as a Serviceを実現するための最新OSS徹底比較 - OpenStack最新情報セミナー 2017年7月
GPU Container as a Serviceを実現するための最新OSS徹底比較 - OpenStack最新情報セミナー 2017年7月
Google Compute Engine 入門
Google Compute Engine 入門
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
第14回 KAIM M5StickV(K210)をDNNアクセラレータとして使おうとした試み
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~
エヌビディアが加速するディープラーニング ~進化するニューラルネットワークとその開発方法について~
20221116_DBTS_PGStrom_History
20221116_DBTS_PGStrom_History
ディープラーニングイメージで構築する快適・高速な機械学習環境
1.
ディープラーニングイメージで 構築する快適・高速な機械学習環境 Yaboo Oyabu, Machine
Learning Specialist, 2018/09/13
2.
GPU 環境のセットアップに 苦労した経験はありますか?
3.
GPU 環境をセットアップする手順 for
TensorFlow ● TensorFlow と GPU を連携するために必要なソフトウェア ○ GPU ドライバ (> CUDA 9.0) ○ CUDA Toolkit 9.0 / CUPTI ○ cuDNN SDK (>= 7.0) ○ NCCL 2.2 (multi-GPU を利用する場合) ○ GPU 版 TensorFlow (ソースコンパイルが必要な場合も) 機械学習に専念したい研究者・エンジニアはつらい。
4.
ディープラーニングイメージでラクをしよう TensorFlo w PyTorch Chainer # Experimental Debian 9
“Stretch” ベースの VM イメージ Base
5.
ディープラーニングイメージに含まれるもの Python (2.7 and
3.6) と次のパッケージがインストールされる ● ディープラーニング用ライブラリ (TensorFlow, PyTorch or Chainer) ● GPU / DNN 用ライブラリ (CUDA / CuDNN) ● 機械学習モデルの開発環境 (jupyter notebook/lab) ● 科学計算用ライブラリ (numpy / scipy) ● データ分析用ライブラリ(pandas / matplotlib) ● 機械学習用ライブラリ (sklearn) ● 自然言語用ライブラリ (nltk) ● 画像処理用ライブラリ (Pillow / scikit-image / Opencv-python)
6.
(参考) GCP で利用できる
GPU と接続可能数 P100, P4, K80 も選ぶことができます!
7.
実際に起動してみよう 1. Quota を引き上げる 2.
インスタンスを起動する with 複数 GPU
8.
手順1. Quota を引き上げる
9.
手順2. 複数 GPU
を接続した インスタンスを起動 gcloud compute instances create $INSTANCE_NAME --project=$PROJECT_NAME --zone=$ZONE --maintenance-policy=TERMINATE --image-family="tf-latest-cu92" --image-project="deeplearning-platform-release" --accelerator='type=nvidia-tesla-v100,count=8' --metadata='install-nvidia-driver=True' --machine-type='n1-highmem-64'
10.
結果を確認する
11.
快適な機械学習環境 : Jupyter
Lab
12.
Jupyter notebook の進化版 https://jupyterlab.readthedocs.io/en/stable/_images/interface_jupyterlab.png 1
2 1: サイドバー - ファイルブラウザ - 起動中のカーネル - 起動中のターミナル - … and more! 2: ワークスペース - ノートブック + カーネル - ターミナル - コードエディター - … and more!
13.
ノートブックでトレーニング実行 ターミナルで GPU
動作確認
14.
Tensorboard も UI
から起動可能
15.
高速な機械学習環境 : Multi-GPU
+ NCCL
16.
NCCL (NVIDIA Collective
Communications Library) https://developer.nvidia.com/sites/default/files/akamai/cuda/images/deeplearning/NCCL.png
17.
NCCL (NVIDIA Collective
Communications Library) https://developer.nvidia.com/sites/default/files/akamai/cuda/images/deeplearning/nccl22_benchmark1.png DGX-1V における V100 GPU の 接続構成 (ハイブリッドキューブメッシュトポロジ) V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU NVLINK (各方向 25 Gb/s)
18.
GCP における V100
x 8 の接続構成 V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU DGX-1 における V100 GPU の 接続構成 (ハイブリッドキューブメッシュトポロジ) GCP における V100 x 8 の接続構成 V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU NVLINK (各方向 25 Gb/s)
19.
Ring-allreduce algorithm に適した接続構成 V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU V100 GPU Ring-allreduce
algorithm の計算手順
20.
Multi-GPU を活用してモデルトレーニングを高速化 # Condition:
TensorFlow AND Data Parallel CPUs / GPUs CPUs / GPUs Horovod 方法 1. MirroredStrategy (contrib) 方法 2. TensorFlow + Horovod 方法1 に関するサンプルコード : goo.gl/DB6nr4
21.
最後に GCP のディープラーニングイメージで 簡単・快適・高速 に機械学習モデルを構築しましょう。
22.
Thank you!
Télécharger maintenant