エヌビディア合同会社 エンタープライズマーケティング 佐々木邦暢 (@_ksasaki)

1. 1
Deep Learning Lab
コミュニティ イベント #2
NVIDIA ディープラーニング最新情報
エヌビディア合同会社
エンタープライズマーケティング 佐々木邦暢 (@_ksasaki)

2. 2
エヌビディア
AI コンピューティング カンパニー
1993 年創業
創業者兼 CEO ジェンスン フアン
従業員 11,000 人
2017 会計年度売上高 69 億ドル
時価総額 989 億ドル（約 11 兆円）

3. 3
NVIDIA and Microsoft
Jason Zander (CVP of Microsoft Azure) on GTC 2017 Keynote
https://youtu.be/mszXq8ZhKHk?t=6m11s

4. 4
SGEMM/W
2012 20142008 2010 2016
48
36
12
0
24
60
2018
72
Tesla Fermi
Kepler
Maxwell
Pascal
Volta
GPU アーキテクチャコードネーム

5. 5
Tesla V100
AI と HPC のための大きな飛躍
Tensor コアを搭載した Volta アーキテクチャ
210 億トランジスタ | TSMC 12nm FFN | 815mm2
5120 CUDA コア
7.5 FP64 TFLOPS | 15 FP32 TFLOPS
120 Tensor TFLOPS
総レジスタファイル 20MB | 16MB キャッシュ
900 GB/s の 16GB HBM2
300 GB/s NVLink

6. 6
新開発 Tensor コア
CUDA Tensor 演算命令 及び データフォーマット
4x4 行列処理配列
D[FP32] = A[FP16] * B[FP16] + C[FP32]
ディープラーニングに最適化
アクティベーション入力 重み入力 出力結果

7. 7
P100 V100 Ratio
トレーニングの高速化 10 TOPS 120 TOPS 12x
推論の高速化 21 TFLOPS 120 TOPS 6x
FP64/FP32 5/10 TFLOPS 7.5/15 TFLOPS 1.5x
HBM2 バンド幅 720 GB/s 900 GB/s 1.2x
NVLink バンド幅 160 GB/s 300 GB/s 1.9x
L2 Cache 4 MB 6 MB 1.5x
L1 Caches 1.3 MB 10 MB 7.7x
Pascal / Volta GPUの性能比較

8. 8
CVPR で Tesla V100 プレゼント！

9. 9
Tesla V100 搭載 NVIDIA DGX-1
AI 研究の必需品
960 Tensor TFLOPS | Tesla V100 8基 | NVLink ハイブリッドキューブ
TITAN X で 8 日かかる計算が 8 時間に
CPU サーバー 400台分の性能がワンボックスに

10. 10
NVIDIA DGX Station
パーソナル DGX
480 Tensor TFLOPS | Tesla V100 4基
NVLink 全結合 | 3つの DisplayPort
1500W | 水冷

11. 11
コンテナ、データセット、
事前学習済モデルの
レポジトリ
NVIDIA
GPU クラウド
CSP
NVIDIA GPU Cloud
NVDocker のコンテナとして提供 | フルスタックで最適化
常に最新 | エヌビディアによって完全にテストおよびメンテナンス | 近日中にベータ提供
ディープラーニングに最適化された GPU で加速されたクラウドプラットフォーム

12. 12
GPU スーパーコンピューター

13. 13
Green500 リストの上位を Tesla P100 搭載システムが独占
2017年6月版 TOP/Green500 NVIDIA 関連情報のまとめ
日本版#ISC17
フランクフルトにて開催中の ISC 2017 で 2017 年6月版の TOP500/Green500 リストが発表さ
れました。昨年11月の Green500 リストでは、 Tesla P100 搭載の NVIDIA DGX SATURNV と
CSCS Piz Daint が1,2位を獲得し、Tesla P100 の高い電力性能比を印象づけましたが、今回
は Tesla P100 搭載システムがさらに躍進。1~4 位を日本の P100 システムが占めるという
記念すべき回になりました。
全体としては 20 システムが Tesla P100 を搭載。その多くが Green500 の上位にランクし、1位
から 16 位までのうち、実に 14 システムが Tesla P100 搭載システムという結果になりました。
https://www.top500.org/green500/lists/2017/06/
NEWS
東工大 TSUBAME 3.0 と産総研 AAIC が Green500 で 1, 3 位を獲得
東京工業大学の TSUBAME 3.0 は今年8月の本稼働に向け構築中ですが、フル構成の1/4の
状態で今回の TOP/Green500 計測に挑み、1.998 PFlops で TOP500 の 61 位にランクイン。
そして電力性能比 14.11 GFlops/W を記録して見事 Green500 の首位を獲得しました。
外気に近い温度の冷却水を用いて効率良く冷却を行い、PUE=1.033 を目指すその省エネ
性能が存分に発揮されたといえるでしょう。
http://www.titech.ac.jp/news/2017/038640.html
産総研 AAIC (Aist AI Cloud) は、産総研人工知能研究センター (AIRC) で 2017 年 4 月に
稼働を開始したシステムで、TOP500 の 148 位 (961 TFlops)、そして 12.68 GFlops/W で
Green500 の3位を獲得しました。
これら2システムの Green500 チャレンジは、産総研・東工大の研究協力による成果です。
http://www.aist.go.jp/aist_j/press_release/pr2017/pr20170619/pr20170619.html
v1.2
bit.ly/isc17nv

14. 14
# システム名称 所属 GFlops/W
1 TSUBAME 3.0 東京工業大学 14.11
2 kukai（クウカイ） Yahoo! JAPAN 14.05
3 AIST AI Cloud 産業技術総合研究所 12.68
4 RAIDEN GPU subsystem 理化学研究所 10.60
5 Wilkes-2 University of Cambridge 10.43
6 Piz Daint Swiss National Supercomputing Centre (CSCS) 10.40
8
Research Computation Facility
for GOSAT-2 (RCF2)
国立環境研究所 9.80
9 NVIDIA DGX-1/Relion 2904GT Facebook 9.46
10 DGX SATURNV NVIDIA 9.46
11 Reedbush-H 東京大学 8.58
12 JADE University of Oxford 8.43
13 Cedar Simon Fraser University/Compute Canada 8.01
14 DAVIDE E4 Computer Engineering 7.72
16 Hōkūle’a Maui High-Performance Computing Center (MHPCC) 6.67
Green500 1~16位の Tesla P100 搭載システム（太字は日本のシステム）

15. 15
NVIDIA Deep Learning Institute (#NVDLI)

16. 16
DEEP LEARNING INSTITUTE
DLI のミッション：
困難な問題の解決を AI とディープラーニングで支援する
開発者、データサイエンティスト、エンジニアを対象に、
実世界の課題に対応するニューラルネットワークの作成、
最適化、デプロイメントの方法をお伝えします。
ディープラーニングのハンズオントレーニング

17. 17
事例集
概要資料 自習ラボ
パートナーコース
オンサイトワークショップ
技術ブログ
一般向け 開発者、データサイエンティスト、研究者向け

18. 18
Qwiklabs: クラウドベースのハンズオンラボ
https://nvidia.qwiklab.com に多数のハンズオンラボが揃っています。
「ディープラーニング入門」 「Image Classification with DIGITS」 の二つは無料（回数制限あり）
手元の PC に GPU は不要。ディープラーニングを簡単に体験。

19. 19
DLI & DLL at Microsoft Inspire Japan 2017
全国 4 か所！Inspire Japanの前日に DLI & DLL イベントやります
日付 イベント
2017/9/13 DLI and DLL in 福岡
2017/9/25 DLI and DLL in 大阪
2017/10/2 DLI and DLL in 名古屋
2017/10/10 DLI and DLL in 札幌

20. 20
CONNECT
NVIDIA をはじめ日本中から
集まる GPU の専門家と交流
LEARN
数多くの技術セッションとポスター
展示、大規模なハンズオンラボ
で学びを深める
DISCOVER
A I や 自 動 運 転 と い っ た 重 要 な
領域でのブレークスルーに GPU が
果たしている様々な役割を発見
INNOVATE
新進気鋭のスタートアップによる
破壊的イノベーシ ョンに 注目
日本最大の GPU 技術イベントにぜひご参加ください
GTC Japan 2017 は 2017年12月12 ~ 13日に東京で開催
2017/12/12~13 | 東京 | #GTC17
http://www.gputechconf.jp/

21. 21
Deep Learning Lab
コミュニティ イベント #2
NVIDIA ディープラーニング最新情報
エヌビディア合同会社
エンタープライズマーケティング 佐々木邦暢 (@_ksasaki)