Contenu connexe Similaire à GTC 2020 発表内容まとめ (20) GTC 2020 発表内容まとめ3. 3
EGX と ISAACA100 と DGX A100Omniverse RTX サーバー NVIDIA AIデータセンタースケール
コンピューティング
GTC 2020 発表
15. 15
リモート コラボレーションに最適化された
NVIDIA RTX サーバー
NVIDIA RTX サーバーは出荷開始中
Omniverse によるデザイン ワークフロー コラボレーション
完全なレイ トレーシングによるグローバル イルミネーションに
対応したインタラクティブ プロダクション レンダリング
デザインとシミュレーションで検証された Quadro 仮想ワークステーション
Omniverse AEC Experience 早期アクセス受付中
https://developer.nvidia.com/nvidia-omniverse-AEC-experience
19. 19
A100 の 5 つのブレイクスルー
第 3 世代 NVLINK & NVSWITCH第 3 世代 TENSOR コア540 億トランジスタ スパーシティ アクセラレーション MIG
20. 20
新しい TF32 TENSOR コア
FP32 の範囲と FP16 の精度 | FP32 の入力と FP32 でのアキュミュレーション | コードの変更なしで学習を高速化
FP32
TENSOR
FLOAT32
FP16
8 ビット 23 ビット
8 ビット 10 ビット
5 ビット 10 ビット
NVIDIA V100 FP32 NVIDIA A100 Tensor コア
TF32
21. 21
スパーシティ アクセラレーション
疎な AI Tensor 命令を最適化 | 2 倍高速な実行 | TF32、FP16、BFLOAT16、INT8、INT4 で対応
A100 疎性最適化
Tensor コア
2 倍
効率的
疎行列密行列
25. 25
学習と推論のアクセラレーションを統合
BERT 学習 BERT 推論
A100V100T4
7倍
1倍0.6倍
A100V100
6倍
1倍
BERT 事前学習のスループット、Pytorch を使用、(2/3)Phase 1 と (1/3)Phase 2 を含む | Phase 1 Seq Len = 128、Phase 2 Seq Len = 512 V100: FP32 精度を使用した 8 基の V100 を搭載した DGX-1 サーバー A100:TF32 精度を使用した 8 基の A100 を搭載した DGX A100 サーバー |
BERT Larget 推論 | T4、V100: TRT 7.1、精度= FP16、バッチサイズ = 256|A100 MIG: リリース前の TRT、バッチサイズ = 94、精度 = INT8、疎性高速化を有効
26. 26
A100 の 5 つのブレイクスルー
第 3 世代 NVLINK & NVSWITCH第 3 世代 TENSOR コア540 億トランジスタ スパーシティ アクセラレーション MIG
27. 27
NVIDIA A100 TENSOR コア GPU
WHITEPAPER を公開中
https://www.nvidia.com/nvidia-ampere-architecture-
whitepaper
Enterprise Webinar Vol.2
5 月 29 日 (金) 午後 5 時から
「NVIDIA Ampere アーキテクチャ 詳細」
28. 28
NVIDIA DGX A100
第 3 世代 統合 AI システム
エンドツーエンドのデータ サイエンスと AI のための統合システム
完全にアクセラレーションされたスタック — Spark 3.0、RAPIDS、
TensorFlow、PyTorch、Triton
エラスティックなスケールアップまたはスケールアウト コンピューティング
Mellanox ネットワーキングによる高いスケーラビリティ
シングル ノードで5 PetaFLOPS の性能
29. 29
NVIDIA NVSwitch
NVIDIA DGX A100
第 3 世代 統合 AI システム
シングル ノードで5 PetaFLOPS の性能
NVIDIA A100 GPU x8
NVIDIA NVSwitch x6
4.8 TB/s 双方向帯域、600 GB/s GPU-to-GPU 帯域
Mellanox ConnectX-6 VPI 200 Gb/秒
ネットワーク インターフェース x9
デュアル 64 コア AMD Rome CPU
1 TB RAM
15 TB Gen4 NVME SSD
30. 30
NVIDIA DGX A100
第 3 世代 統合 AI システム
シングル ノードで5 PetaFLOPS の性能
INT8
FP16
TF32
FP64
Tensor コア + スパーシティ アクセラレーション
10 PetaOPS ピーク
5 PFLOPS ピーク
2.5 PFLOPS ピーク
156 TFLOPS ピーク
31. 31
NVIDIA DGX A100
第 3 世代 統合 AI システム
シングル ノードで5 PetaFLOPS の性能
150 倍
40 倍
40 倍
ハイエンド CPU サーバーとの比較
AI 演算
メモリ帯域幅
IO 帯域幅
32. 32
NVIDIA DGX A100
第 3 世代 統合 AI システム
シングル ノードで5 PetaFLOPS の性能
150 倍
40 倍
40 倍
ハイエンド CPU サーバーとの比較
受注開始中
AI 演算
メモリ帯域幅
IO 帯域幅
NTT PC コミュニケーションズ
ASK
34. 34
今日の AI データ センター
50 台の DGX-1 システム : AI 学習向け
600 台の CPU システム : AI 推論向け
1,100 万ドル
25 ラック
630 kW
36. 36
NVIDIA DGX A100 SUPERPOD
140 台の DGX A100 システム (1,120 基の A100)
170 台の Mellanox Quantum 200G InfiniBand スイッチ
280 Tb/秒 ネットワーク ファブリック - 15km の光ケーブル
4 PB のオールフラッシュ ネットワーク ストレージ
700 PFLOPS の AI 性能
3 週間以内で構築
37. 37
NVIDIA が SATURNV を拡張
拡張前
1,800 台の DGX システム
1.8 ExaFLOPS
4 セットの DGX SuperPOD を追加
560 台の DGX A100 = 2.8 ExaFLOPS
4.6 ExaFLOPS 総演算性能
40. 40
機械学習パイプラインは HPC の課題
O(Peta) O(Tera)
ETL
データ レイク
数百 PB
ユーザー クエリ
O(10)
レコメンデーション
候補生成 ランキング
ユーザーの埋め込み
O(Billions)
O(1000)
アイテムの埋め込み
TensorRT
Triton 推論サーバー
学習 推論
cuDNN
Magnum IO
TensorFlow
PyTorch
16,000 以上の
企業
41. 41
SPARK 3.0 が NVIDIA GPU で高速化
O(Peta) O(Tera)
ETL
RAPIDS
Magnum IO
データ レイク
数百 PB
ユーザー クエリ
O(10)
レコメンデーション
候補生成 ランキング
ユーザーの埋め込み
O(Billions)
O(1000)
アイテムの埋め込み
TensorRT
Triton 推論サーバー
学習 推論
cuDNN
Magnum IO
TensorFlow
PyTorch
42. 42
SPARK 3.0 が NVIDIA GPU で高速化
「これらの貢献は、 と
を使うことでデータ パイプライン、
モデルの学習とスコアリングを高速化し、より多くの
ブレイクスルーと洞察の獲得につながります。」
43. 43
レコメンダー システム - パーソナライズされたインターネットのエンジン
アイテム
候補生成
O(102)
順位付け
ユーザーの
埋め込み
ユーザー
アイテム群 推薦アイテム
アイテムの
埋め込み
O(10)O(109)
数十億人のユーザーと数兆個のアイテム
億単位の Etail の商品
数千本の映画
数千万の楽曲
数千万冊の本
数十億の TikTok や YouTube 動画
数十億のウェブサイト
非常にたくさんのニュース
44. 44
NVIDIA MERLIN
ディープ レコメンダー アプリケーションフレームワーク
HugeCTR
NVIDIA Merlin
NVTabular
データ レイク
数百 PB
Tensor RT
Tr iton推論サーバー
cuDNN
Magnum IO
RAPIDS
Magnum IO
ユーザー クエリ
O(10)
レコメンデーション候補生成 順位付け
ユーザーの埋め込み
O(Billions)
O(1000)
アイテムの埋め込み
ETL 2 時間 学習 1.5 日
ETL 3 分 学習 16 分
CPUs
GPUs
イテレーションの間隔が数日から数分に
簡単な 30 行のコード
データセットとクラスターに合わせて自動スケール
…
…
1TB 広告 データセット
45. 45
対話型 AI が産業を変革中
Alex: Find us a Mexican restaurant
Jarvis: The nearest Mexican Restaurant is Luna Kitchen
+
コール センター
1 日あたり 5 億コール
車内アシスタント
年間 750 万台の新車
ビデオ会議
字幕、翻訳、文字起こし
1 日あたり 2 億回の会議
スマート スピーカー
年間 1 億 5000 台販売
小売りの支援
1200 万の小売店
46. 46
JARVIS
マルチモーダル 対話型 AI サービス フレームワーク
事前学習モデル
NVIDIA JARVIS
エンドツーエンドのマルチモーダル対話型 AI サービス
10 万時間 DGX で学習した最先端モデル
NeMo で再学習
インタラクティブなレスポンス - A100 で 150ms、CPU で25秒
1 行のコードでサービスを展開
再学習
ビデオ
音声
マルチスピーカー
文字起こし
NVIDIA GPU CLOUD NVIDIA AI ツールキット
転移学習
NeMo
サービス メーカー
TRITON 推論サーバー
ダイアログ マネージャ
チャットボット
マルチスピーカー
文字起こし
Look to Talkジェスチャー
認識
音声
視覚
自然言語理解
早期アクセス プログラムに参加:
developer.nvidia.com/nvidia-jarvis
51. 51
NVIDIA EGX A100
NVIDIA Ampere GPU
第 3 世代 Tensor コア
対話型 AI 向けの新しいセキュリティエンジン
セキュアで認証済みのブートNVIDIA Mellanox ConnectX-6 DX
Dual 100 Gb/s Ethernet またはInfiniBand
ラインスピード TLS/IPSec 暗号化エンジン
通信事業者向けタイムトリガ方式転送技術
(Time-Triggered Transmission Technology for Telco:
5T for 5G)
ASAP2 SR-IOV と VirtIO オフロード
56. 56
NVIDIA ISAAC
ソフトウェアデファインド ロボティクス プラットフォーム
ISAAC SIM
マニピュレーションナビゲーション
リファレンス アプリ
ISAAC SDK
Isaac SDK v2020.1 が 5 月 26 日に公開
https://developer.nvidia.com/isaac-sdk
Isaac Sim v2020.1が 5 月 26 日に公開
https://developer.nvidia.com/isaac-sim
Jetson Xavier 開発者キット発売開始
https://developer.nvidia.com/buy-jetson
57. 57
JETSON XAVIER NX 開発者キット
Jetson Xavier NX モジュール :
最大 21 TOPS
10–15W
クレジットカードよりも小さい (45mm x 70mm)
Jetson パートナーから発売中
58. 58
NVIDIA DRIVE — ソフトウェアデファインド自動運転プラットフォーム
データ収集 モデルの学習 シミュレーション DRIVE AV DRIVE IX DRIVE RC
業界唯一の完全なエンドツーエンド プラットフォーム | クラウドから車両へ、そしてクラウドに戻る
59. 59
ORIN と AMPERE 搭載の NVIDIA DRIVE
5W から 2,000 TOPS まで — ひとつのプログラマブル アーキテクチャ
L2+
Autopilot
200 TOPS、45W
ADAS
Windshield NCAP
10 TOPS、5W
L5
Robotaxi
2,000 TOPS、800W
単一のスケーラブル アーキテクチャ — ソフトウェア互換
60. 60
新しい Orin ADASSoC
NVIDIA Ampere アーキテクチャ GPU を統合
フロントガラスの後ろに合うように設計
5W で 10 TOPS
単一のスケーラブル アーキテクチャ — ソフトウェア互換
NVIDIA DRIVE — ADAS に拡大
61. 61
NVIDIA DRIVE ロボットタクシー ソリューションがパワーアップ
Orin SoC x2
Ampere GPU x2
2000 TOPS
6 倍のパフォーマンス
4 倍の電力効率
単一のスケーラブル アーキテクチャ — ソフトウェア互換
62. 62
NVIDIA DRIVE グローバル エコシステム
乗用車 トラック サプライヤー 移動サービス スタートアップ ソフトウェア マッピング シミュレーション
何百社もの企業が NVIDIA ドライブで自動運転車や自律走行車を構築、テスト、展開
63. 63
EGX と ISAACA100 と DGX A100Omniverse RTX サーバー NVIDIA AIデータセンタースケール
コンピューティング
GTC 2020 発表
64. 64
今後の NVIDIA ENTERPRISE WEBINAR
Vol.2
5 月 29 日 (金) 午後 5 時から
「NVIDIA Ampere アーキテクチャ 詳細」
Vol.3
6 月 5 日 (金) 午後 5 時から
「NVIDIA DGX A100 & SuperPod 詳細」