NVIDIA Deep Learning SDK を利用した画像認識
•
21 j'aime•13,782 vues
NVIDIA Deep Learning Institute 2016年4月27日のNVIDIA Deep Learning Day 2016 Springの資料です。 エヌビディア合同会社 プラットフォームビジネス本部 シニア CUDA エンジニア 森野 慎也 [概要] ディープラーニング SDK のコンポーネントの役割を説明し、ディープラーニング SDK を利用した Inference アプリケーションを画像認識の例を用いてご紹介します。 ※ 2016/5/2に、イベント当日に使用した資料に更新しました。
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à NVIDIA Deep Learning SDK を利用した画像認識
Similaire à NVIDIA Deep Learning SDK を利用した画像認識 (20)
Plus de NVIDIA Japan
Plus de NVIDIA Japan (20)
Dernier
Dernier (12)
NVIDIA Deep Learning SDK を利用した画像認識
- 1. 森野 慎也, シニア CUDA エンジニア,プラットフォームビジネス本部, エヌビディア合同会社 「NVIDIA Deep Learning SDK を 利用した画像認識」
- 2. 2 GPU INFERENCE ENGINE 高性能なフレームワークで、 GPU上の推論エンジンを、容易に開発する。 ディープラーニングによる推論を用いた、 製品展開のためのソリューション トレーニング済みネットワーク、ターゲットGPUに対して、 推論エンジンの性能を最適化 32-bit、16-bit 演算を用いた推論エンジン Hyperscale, ADAS, Embedded 向け HTTP (~10ms) developer.nvidia.com/gpu-inference-engine データセンターにおける GPU Inference Engine 画像分類 オブジェクト 検知 音声認識 --- ディープラーニングにおける最高の推論パフォーマンス
- 3. 3 GPU INFERENCE ENGINE ディープラーニングにおける最高の推論パフォーマンス developer.nvidia.com/gpu-inference-engine 自動運転におけるGPU Inference Engine 歩行者検知 レーン トラッキング 交通標識の 認識 --- NVIDIA DRIVE PX 2 高性能なフレームワークで、 GPU上の推論エンジンを、容易に開発する。 ディープラーニングによる推論を用いた、 製品展開のためのソリューション トレーニング済みネットワーク、ターゲットGPUに対して、 推論エンジンの性能を最適化 32-bit、16-bit 演算を用いた推論エンジン Hyperscale, ADAS, Embedded 向け
- 4. 4 トレーニング と 推論(inference) トレーニング 推論 モデル 種々のモデルを 試す必要がある モデルは決定済み 演算処理 Back propagationによる 係数の最適化 演算はForwardのみ 係数も決定済み バッチサイズ 学習データが大量であり、 バッチサイズは大きい バッチサイズは、認識対象数。 一般にトレーニングより小さい プラットフォーム マルチGPU、マルチノードを活用。 ストロングスケーリング 単一の端末で実行。 メモリバンド幅の制約が強い 混合精度演算が有効 要件の比較
- 5. 5 ニューラルネットワーク演算の高性能化 ～GIEの背景にある技法～ 参考: S6136 - NVIDIA™ GIE: High-Performance GPU Inference Engine Michael Andersch GPU Architect, NVIDIA
- 6. 6 ニューラルネットワーク演算の高性能化 - コンボリューションアルゴリズムの選択 - グラフ最適化 - メタパラメータ - テンソルレイアウト - BLASのより有効な活用 アプローチ
- 7. 7 最適なコンボリューションアルゴリズムは、コンボリューションレイヤの次元に依存する。 0.73 1.84 1.83 2.03 2.07 2.26 1.92 1.98 1.25 conv 1.1 conv 1.2 conv 2.1 conv 2.2 conv 3.1 conv 3.2 conv 4.1 conv 4.2 conv 5.0 Winogradによる実行性能向上 (GEMMを用いたコンボリューションと比較 VGG-E layers, N=1) 推論ソフトウエアの最適化 課題 : 小さいバッチで、コンボリューションを高効率で演算する Winogradに関する参考文献 : Andrew Lavin, Scott Gray, http://arxiv.org/abs/1509.09308
- 8. 8 VGG-E - 19 weight layers - コンボリューションのサイズは、3x3。 - チャンネル数が変わる。 - 64 → 128 → 256 → 512 Karen Simonyan & Andrew Zisserman, VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION http://arxiv.org/abs/1409.1556
- 9. 9 最適なコンボリューションアルゴリズムは、コンボリューションレイヤの次元に依存する。 0.73 1.84 1.83 2.03 2.07 2.26 1.92 1.98 1.25 conv 1.1 conv 1.2 conv 2.1 conv 2.2 conv 3.1 conv 3.2 conv 4.1 conv 4.2 conv 5.0 Winogradによる実行性能向上 (GEMMを用いたコンボリューションと比較 VGG-E layers, N=1) 推論ソフトウエアの最適化 課題 : 小さいバッチで、コンボリューションを高効率で演算する Winogradに関する参考文献 : Andrew Lavin, Scott Gray, http://arxiv.org/abs/1509.09308
- 10. 10 推論ソフトウエアの最適化 課題 : グラフ最適化 tensor concat 1x1 conv. 3x3 conv. 5x5 conv. 1x1 conv. 1x1 conv. 1x1 conv. max pool input
- 11. 11 推論ソフトウエアの最適化 課題 : グラフ最適化 concat max pool input next input 3x3 conv. relu bias 1x1 conv. relu bias 3x3 conv. relu bias 3x3 conv. relu bias concat 1x1 conv. relu bias 3x3 conv. relu bias
- 12. 12 カーネル融合 メモリアクセスを減らす 3x3 conv. relubiasGPU Kernel GPU DRAM READ WRITE READ WRITE READ WRITE 3x3 conv. + bias + reluGPU Kernel GPU DRAM READ WRITE カーネル融合 (a) カーネル融合前 (b) カーネル融合後
- 13. 13 推論ソフトウエアの最適化 グラフ最適化 : 縦方向に処理を融合 concat max pool input next input concat 1x1 CBR 3x3 CBR 5x5 CBR 1x1 CBR 1x1 CBR 1x1 CBR
- 14. 14 推論ソフトウエアの最適化 グラフ最適化: 横方向に処理を融合 concat max pool input next input concat 3x3 CBR 5x5 CBR 1x1 CBR 1x1 CBR
- 15. 15 推論ソフトウエアの最適化 グラフ最適化: Concatenationを除去 max pool input next input 3x3 CBR 5x5 CBR 1x1 CBR 1x1 CBR
- 16. 16 推論ソフトウエアの最適化 グラフ最適化: 並行実行(コンカレンシ) max pool input next input 3x3 CBR 5x5 CBR 1x1 CBR 1x1 CBR
- 17. 17 推論ソフトウエアの最適化 課題: cuBLAS関数をより効率的に活用 「GEMM」の代わりに「GEMV」を使う バッチサイズが小さいと、B行列が狭くなる GEMVのバッチ実行により性能向上 GEMM(行列積) : α*op(A) *op(B) + β*C GEMV (行列・ベクタ積) : α*op(A)*x + β*y op: 行列転置に関するオペレータ
- 18. 18 データレイアウト・テクスチャ - テンソルレイアウト - 例) NHalf2 - GEMMによる行列演算で、事前に係数行列を転置 - NN/NT GEMMの利用 ( NT > NN > TN ) - テクスチャメモリをコンボリューションに使用 - 13% 推論性能向上 (GoogLeNet, バッチサイズ 1) メタパラメータ 5/2/20
- 19. 19 テンソルフォーマット • テンソルの内部表現では、隣り合ったイメージの値を交互に配置するレイアウトを用いる。 • 推論を16 bit演算で行った場合、NCHW レイアウトより、 非常に高速。 NHalf2
- 20. 20 PASCAL世代での推論の高速化 高速な混合精度演算のサポート 推論向けのGPU製品では、新しいベクタ演算命令をサポートしていく。 複数要素の内積演算 : 8-bit 整数入力、32-bit 加算 等価なFP32演算と比べ、4倍のスループット 高い精度が必要なレイヤでは、フルスピードのFP32演算処理を利用
- 22. 22 GPU INFERENCE ENGINE ニューラルネットワークの最適化 • ネットワークレイヤの融合 • Concatenationレイヤの除去 • カーネル特殊化 • ターゲットプラットフォームに対する オートチューニング • 最適なテンソルレイアウトの選択 • バッチサイズのチューニング トレーニング済みの ニューラルネットワーク 最適化された 推論 エンジン developer.nvidia.com/gpu-inference-engine
- 23. 23 GPU Inference Engine ワークフロー DIGITS TRAINING TOOLS OPTIMIZATION ENGINE EXECUTION ENGINE STRATEGY
- 24. 24 GPU INFERENCE ENGINE パフォーマンス バッチサイズ パフォーマンス 電力効率 Tesla M4 128 1153 images/s 20 images/s/W Jetson TX1 2 133 images/s 24 images/s/W developer.nvidia.com/gpu-inference-engine