【たぶん日本初導入！】Azure Stack Hub with GPUの性能と機能紹介

2. Copyright © NTT Communications Corporation. All rights reserved. 自己紹介 2 NTT Communications Innovation Center 鈴ヶ嶺聡哲 Suzugamine Sotetsu 所属：・イノベーションセンターテクノロジー部門 AIインフラチーム業務内容：・クラウドの技術検証・MLOps 対外活動：・NTT Tech Conference #5 macOSの仮想化技術について・NTT Com Advent Calendar 2020 Rustで実装するNetflow Collector ・APN Partner向け AWS GameDay Online ~ APN杯 ~ 3位 suzusuzu @suzu_3_14159265

4. Copyright © NTT Communications Corporation. All rights reserved. ■ クラウドアーキテクチャ • 青線：生産側が生データをクラウドに送信 • 赤線：消費側が結果をリクエスト • 緑線：クラウドは生データを処理して結果を返すクラウドアーキテクチャ 4 引用: Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646.

5. Copyright © NTT Communications Corporation. All rights reserved. ● クラウドアーキテクチャの課題 ○ IoTにおいて不十分な点が複数存在 ■ 応答時間が遅い ● 中央処理・データ集約による遅延 ■ プライバシー保護の要件が満たせない ● 外部クラウドに秘匿情報 ■ エネルギー効率が著しく低い ● 全デバイスが生データでクラウドに通信クラウドアーキテクチャの課題 5 引用: Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646.

6. Copyright © NTT Communications Corporation. All rights reserved. ■ データ漏洩 • クラウド上の自社のアプリケーションに内在した脆弱性の結果、顧客の名前とパスワードを窃取された ■ データ喪失 • 社内手続きを忘れることにより更新処理が反映されず ■ 不十分な認証情報・アクセス管理 • GitHubに上げられた認証情報の盗み出し攻撃 • 仮想通貨マイニングのためのアカウントハイジャッククラウドアーキテクチャの落とし穴 6

7. Copyright © NTT Communications Corporation. All rights reserved. ■ エッジコンピューティング • ネットワークのエッジで計算を可能とする技術 • ダウン・アップストリームデータの計算をする • エッジはデータソースとデータセンタの間に存在するあらゆるCompute・ Networkリソースを指す ■ 得られる効果 • 応答時間が遅い 👉 近距離のエッジによる高速化 • プライバシー保護の要件が満たせない 👉 秘匿情報をエッジで管理 • エネルギー効率が著しく低い 👉 途中計算によるデータ・通信削減エッジコンピューティング 7 引用: Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646.

8. Copyright © NTT Communications Corporation. All rights reserved. ■ 近年、Edge Computingに関する論文数が急増エッジコンピューティングに関する論文数の急増 8 引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8 (2019): 1474-1481.

9. Copyright © NTT Communications Corporation. All rights reserved. ■ 事例 • Multi-access Edge Computing ■ 課題：動画トラヒックは年々増加 • インターネットの帯域リソースを占有 ■ 解決：エッジによるキャッシュ • 低遅延化・処理の分散化させる技術 👉 ユーザ体験やNetwork効率が向上エッジコンピューティングの事例1 9 引用: K. Cao, Y. Liu, G. Meng and Q. Sun, "An Overview on Edge Computing Research," in IEEE Access, vol. 8, pp. 85714-85728, 2020, doi: 10.1109/ACCESS.2020.2991734. インターネットトラヒックの月平均の統計と予測

10. Copyright © NTT Communications Corporation. All rights reserved. エッジコンピューティングの事例2 10 東京ドームで顔認証入場・顔認証決済の実証実験を開始 | プレスリリース | Panasonic Newsroom Japan 日立がドローンの空撮映像で災害状況解析！高精度ＡＩ開発｜ニュースイッチ by 日刊工業新聞社 ■ エッジコンピューティングによるAI利用事例 ■ エッジコンピューティングでAIを扱う課題 • リアルタイムに遅延なく推論する計算性能 • データの秘匿性を満たすため、エッジ内で推論・学習を完結する必要がある

11. Copyright © NTT Communications Corporation. All rights reserved. ■ 代表的なエッジコンピューティングの3層モデルエッジコンピューティングの3層モデル 11 引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8 (2019): 1474-1481.

12. Copyright © NTT Communications Corporation. All rights reserved. ■ 課題：AIにおける「Edge」に適しているソリューションとは？🤔 AIにおける最適な「Edge」とは？ 12 推論・学習可能な計算リソース素早い開発効率・基盤 DevOps クラウド連携サポート体制引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8 (2019): 1474-1481.

14. Copyright © NTT Communications Corporation. All rights reserved. ■ オンプレミス環境でMicrosoft Azureサービスを提供 • 例：データセンター ■ 3つのメリット • エッジおよび非接続ソリューション ✔ 応答時間や接続性の要件に対応可能 ✔ 例：工場、クルーズ船 • さまざまな規制に対応 ✔ 規制やポリシーの要件に対応する柔軟性 ✔ 例：グローバルな監査、財務報告書の作成 • オンプレミスのクラウドアプリモデル ✔ Azure のコンテナ、サーバーレス ✔ AzureとAzure Stack Hub連携によるDevOps Azure Stack Hubとは？ 14 引用: https://docs.microsoft.com/ja-jp/azure-stack/operator/azure-stack-overview?WT.mc_id=AZ-MVP- 5003408&view=azs-2008#why-use-azure-stack-hub

15. Copyright © NTT Communications Corporation. All rights reserved. ■ Azure Stack Hubのサービス一覧 • Azure VM (Windows および Linux 用) • Azure Web Apps および Azure Functions • Azure Key Vault • Azure Blob Storage • DNS • ロードバランサー • Azure IoT Hub • Azure Event Hubs • Azure Container Registry(Preview) • Azure Kubernetes Service(Preview) Azure Stack Hubのサービス一覧 15

16. Copyright © NTT Communications Corporation. All rights reserved. ■ Azure Stack Hub のアーキテクチャ • 4 - 16台のサーバー • リーフスイッチ • BMCスイッチ ■ 接続モデル • Connectedモデル ✔ インターネット・Azureに接続 • Disconnectedモデル ✔ インターネットへ接続不可 Azure Stack Hubのアーキテクチャ 16 引用: https://docs.microsoft.com/ja-jp/azure-stack/operator/azure-stack-overview?WT.mc_id=AZ-MVP- 5003408&view=azs-2008#azure-stack-hub-architecture

17. Copyright © NTT Communications Corporation. All rights reserved. ■ Azure Stack Hub の管理方法 • Azure と同じ操作モデルが適用可能 Azure Stack Hubとは？ 17 引用: https://docs.microsoft.com/ja-jp/azure-stack/operator/azure-stack-overview?view=azs-2008#how-is-azure-stack-hub-managed

19. Copyright © NTT Communications Corporation. All rights reserved. • 2020年9月22日にGPU版 Azure Stack HubがGA ■ ベンダー • HPE • Dell • Lenovo ■ 提供されるVM Type • NCv3(NVIDIA V100 Tensor Core GPU) ✔ 今回、こちらの性能検証と機能を紹介 • NCT4_v3(NVIDIA T4 Tensor Core GPU) • NVv4(AMD Mi25) Azure Stack Hub with GPU 19 引用: Azure Stack Hub with GPU's now generally available | Azure の更新情報

20. Copyright © NTT Communications Corporation. All rights reserved. ■ 今回導入したシステム構成(Dell) • Compute: PowerEdge R840 4台 ✔ 1台あたりの構成 ✔ CPU 2台 ✔ 24 Core Platinum 8260 2.4GHz ✔ GPU 2台 ✔ NVIDIA Tesla V100S ✔ Memory ✔ 1532GB ✔ SSD 24台 ✔ 合計 92.16TB • TOR: PowerSwitch S5048-ON(10G) 2台 • Mgt: PowerSwitch S3048-ON(1G) • Mgt Sever: PowerEdge R640 Azure Stack Hub with GPU 20 Azure Stack Hub with GPU

26. Copyright © NTT Communications Corporation. All rights reserved. 1. 機械学習ベンチマークによる性能検証 2. 3層モデルにおけるAzure Stack Hubの機能検証 a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化 b. Kubernetesを利用した機械学習モデルの学習性能検証と機能検証 26

27. Copyright © NTT Communications Corporation. All rights reserved. 1. 機械学習ベンチマークによる性能検証 2. 3層モデルにおけるAzure Stack Hubの機能検証 a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化 b. Kubernetesを利用した機械学習モデルの学習性能検証と機能検証 27

28. Copyright © NTT Communications Corporation. All rights reserved. ■ Azure Stack Hub with GPUの性能検証 • 比較対象 ✔ Azure Stack Hub with GPU ✔ Azure ✔ AWS ✔ GCP • 4つの機械学習ベンチマーク ✔ Tensorflow ✔ tf_cnn_benchmark ✔ MLPerf ✔ training object detection ✔ inference ssd-mobilenet ✔ inference ssd-resnet34 機械学習ベンチマークによる性能検証 28

29. Copyright © NTT Communications Corporation. All rights reserved. 各クラウドの環境設定 29 ■ 各クラウドの環境設定 • GPU V100を1枚のインスタンスを作成 Azure Stack Hub with GPU Azure AWS GCP VM Type Standard_NC6s_v3 Standard_NC6s_v3 p3.2xlarge n1-standard-8 vCPU 6 6 8 8 Memory 112 112 61 30 GPU V100S PCIe V100 PCIe V100 SXM V100 SXM Best

30. Copyright © NTT Communications Corporation. All rights reserved. NVIDIA Tesla V100の比較表 30 V100 PCIe V100 SXM2 V100S PCIe CUDAコア 5,120 5,120 5,120 Tensorコア 640 640 640 倍精度浮動小数点性能 7 TFlops 7.8 TFlops 8.2 TFLOPS 単精度浮動小数点性能 14 TFLOPS 15.7 TFLOPS 16.4 TFLOPS Tensor演算性能 112 TFLOPS 125 TFLOPS 130 TFLOPS メモリ 32GB/16GB HBM2 32GB/16GB HBM2 32GB HBM2 メモリ帯域幅 900 GB/sec 900 GB/sec 1134 GB/sec インターコネクト帯域幅 32 GB/sec 300 GB/sec 32 GB/sec 最大消費電力 250 W 300 W 250 W 引用: NVIDIA V100S Datasheet Best Azure Stack Hub with GPUに搭載されている V100S PCIeは高性能

31. Copyright © NTT Communications Corporation. All rights reserved. ■ tf_cnn_benchmark • Tensorflowが公開している画像認識モデル(CNN)のベンチマーク ■ MLPerf • 機械学習用の業界標準ベンチマーク各種ベンチマークの設定 31 tf_cnn_benchmark MLPerf training Object detection MLPerf inference ssd-mobilenet MLPerf inference ssd-resnet34 framework tensorflow tensorflow tensorflow tensorflow model resnet50 Mask R-CNN with a ResNet50 ssd-mobilenet 300x300 ssd-resnet34 1200x1200 dataset synthetic data COCO 2017 COCO 2017 COCO 2017

32. Copyright © NTT Communications Corporation. All rights reserved. 結果 ■ Azure Stack Hub with GPUが今回検証した全てのベンチマークにおいて優れた結果を示した ■ V100S PCIeの高いGPU性能が要因と思われる機械学習ベンチマークによる性能検証の結果 32 Good Azure Stack Hub with GPUは高性能 tf_cnn_benchmark MLPerf training Object detection MLPerf inference ssd-mobilenet 300x300 MLPerf inference ssd-resnet34 1200x1200

33. Copyright © NTT Communications Corporation. All rights reserved. 1. 機械学習ベンチマークによる性能検証 👉 高性能な計算リソース 1. 3層モデルにおけるAzure Stack Hubの機能検証 a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化 b. Kubernetesを利用した機械学習モデルの学習性能検証と機能検証 33

35. Copyright © NTT Communications Corporation. All rights reserved. ■ ユーザー • 遊戯施設の運営者 ■ 目的 • コロナ禍における密を避けるために、密集度のリアルタイム把握 ■ 方法 • 機械学習による物体認識を用いた人物カウント ■ 要件 • 生データ（来場者の画像）は機密上外部には送らない • リアルタイムに把握するために高速処理が必要 • 推論結果を中央管理で可視化 • システムの構築・運用の自動化問題設定 35

36. Copyright © NTT Communications Corporation. All rights reserved. ■ 「Edge」をAzure Stack Hub with GPU • 3層モデルを基にアーキテクチャを構成エッジコンピューティングの3層モデル（再掲） 36 引用: Shi, Weisong, George Pallis, and Zhiwei Xu. "Edge computing [scanning the issue]." Proceedings of the IEEE 107.8 (2019): 1474-1481.

37. Copyright © NTT Communications Corporation. All rights reserved. 全体アーキテクチャ 37 IoT IoT Devices Sensors Blob Storage Azure Stack Hub with GPU IoT Devices Sensors Edge Cloud Blob Storage VM Power BI Private Terraform provisioning streaming analytics Event Hubs Inference Inference Inference Inference Event Hubs K8s

39. Copyright © NTT Communications Corporation. All rights reserved. リアルタイム推論アーキテクチャ 39 1. IoTデバイスから秘匿性のあるカメラ画像をAzure Stack HubのBlob Storageにアップロード IoT IoT Devices Sensors Blob Storage Azure Stack Hub with GPU IoT Devices Sensors Edge Cloud Blob Storage VM Power BI Private Terraform provisioning streaming analytics Event Hubs Inference Inference Inference Inference Event Hubs K8s

40. Copyright © NTT Communications Corporation. All rights reserved. リアルタイム推論アーキテクチャ 40 2. アップロード完了をAzure Stack HubのEvent Hubsに通知して推論開始 IoT IoT Devices Sensors Blob Storage Azure Stack Hub with GPU IoT Devices Sensors Edge Cloud Blob Storage VM Power BI Private Terraform provisioning streaming analytics Event Hubs Inference Inference Inference Inference Event Hubs K8s

41. Copyright © NTT Communications Corporation. All rights reserved. リアルタイム推論アーキテクチャ 41 IoT IoT Devices Sensors Blob Storage Azure Stack Hub with GPU IoT Devices Sensors Edge Cloud Blob Storage VM Power BI Private Terraform provisioning streaming analytics Event Hubs Inference Inference Inference Inference Event Hubs K8s 3. GPU VMがEvent Hubsからメッセージを受け取り、Blob Storageにある画像を推論

42. Copyright © NTT Communications Corporation. All rights reserved. リアルタイム推論アーキテクチャ 42 IoT IoT Devices Sensors Blob Storage Azure Stack Hub with GPU IoT Devices Sensors Edge Cloud Blob Storage VM Power BI Private Terraform provisioning streaming analytics Event Hubs Inference Inference Inference Inference Event Hubs K8s 4. GPU VMがAzureのEvent Hubsに推論結果を送る

43. Copyright © NTT Communications Corporation. All rights reserved. リアルタイム推論アーキテクチャ 43 IoT IoT Devices Sensors Blob Storage Azure Stack Hub with GPU IoT Devices Sensors Edge Cloud Blob Storage VM Power BI Private Terraform provisioning streaming analytics Event Hubs Inference Inference Inference Inference Event Hubs K8s 5. Streaming analyticsがEventHubsとPower BIを接続

45. Copyright © NTT Communications Corporation. All rights reserved. 1. 機械学習ベンチマークによる性能検証 👉 高性能な計算リソース 1. 3層モデルにおけるAzure Stack Hubの機能検証 a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化 👉 プライバシー要件を満たしたリアルタイム推論が可能 a. Kubernetesを利用した機械学習モデルの学習性能検証と機能検証 45

46. Copyright © NTT Communications Corporation. All rights reserved. 1. 機械学習ベンチマークによる性能検証 👉 高性能な計算リソース 1. 3層モデルにおけるAzure Stack Hubの機能検証 a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化 👉 プライバシー要件を満たしたリアルタイム推論が可能 a. Kubernetesを利用した機械学習モデルの学習性能検証と機能検証 46

47. Copyright © NTT Communications Corporation. All rights reserved. 学習アーキテクチャ 47 1. Blob Storageに格納されている秘匿性のある画像を入力とする IoT IoT Devices Sensors Blob Storage Azure Stack Hub with GPU IoT Devices Sensors Edge Cloud Blob Storage VM Power BI Private Terraform provisioning streaming analytics Event Hubs Inference Inference Inference Inference Event Hubs K8s

48. Copyright © NTT Communications Corporation. All rights reserved. 学習アーキテクチャ 48 IoT IoT Devices Sensors Blob Storage Azure Stack Hub with GPU IoT Devices Sensors Edge Cloud Blob Storage VM Power BI Private Terraform provisioning streaming analytics Event Hubs Inference Inference Inference Inference Event Hubs K8s 2. Kubernetesのリソース管理を利用して学習し、モデルをBlob Storageにアップロード

49. Copyright © NTT Communications Corporation. All rights reserved. 学習アーキテクチャ 49 IoT IoT Devices Sensors Blob Storage Azure Stack Hub with GPU IoT Devices Sensors Edge Cloud Blob Storage VM Power BI Private Terraform provisioning streaming analytics Event Hubs Inference Inference Inference Inference Event Hubs K8s 3. 保存したモデルは推論VMのモデルと比較して更新する

51. Copyright © NTT Communications Corporation. All rights reserved. 1. 機械学習ベンチマークによる性能検証 👉 高性能な計算リソース 1. 3層モデルにおけるAzure Stack Hubの機能検証 a. Event Hubsを利用したリアルタイム推論とPower BIによる可視化 👉 プライバシー要件を満たしたリアルタイム推論が可能 a. Kubernetesを利用した機械学習モデルの学習 👉 GPUリソースを適切に管理してエッジ内のみで学習可能性能検証と機能検証 51

52. Copyright © NTT Communications Corporation. All rights reserved. ■ Azure Stack Hub with GPUの性能・機能検証の結果 • 高性能な計算リソース • プライバシー要件を満たしたリアルタイム推論が可能 • GPUリソースを適切に管理してエッジ内のみで学習可能まとめ 52 Azure Stack Hubは優れたエッジソリューション IoT Edge Cloud Private I n f e r e n c e Azure Stack Hub with GPU Azure Stack Hub with GPUは AIにおける「Edge」に適したソリューション

【たぶん日本初導入！】Azure Stack Hub with GPUの性能と機能紹介

【たぶん日本初導入！】Azure Stack Hub with GPUの性能と機能紹介

Recommandé

Contenu connexe

Tendances

Tendances(20)

Similaire à 【たぶん日本初導入！】Azure Stack Hub with GPUの性能と機能紹介

Similaire à 【たぶん日本初導入！】Azure Stack Hub with GPUの性能と機能紹介(20)

Plus de NTT Communications Technology Development

Plus de NTT Communications Technology Development(20)

Dernier

Dernier(13)

【たぶん日本初導入！】Azure Stack Hub with GPUの性能と機能紹介