Azure IoTサービスと、Azure ML Studio を使った Sound AI on Edge のサンプル紹介と解説 IoT ALGYAN オンラインセミナー 2020/5/26 の資料

1. Sound AI on Edge
解説
マイクロソフト
Sr Technical Specialist IoT GBB
太田 寛

2. 自己紹介
Microsoft Corporation
GBB IoT Technical Specialist
Twitter @embedded_george
前職は組込みSW技術者
Azure全般、特にIoTを普及啓発！
http://aka.ms/IoTKitHoLV5
IoT実案件支援
IoT ALGYAN（開発者コミュニティ）支援
http://algyan.connpass.com
歴オタ、御朱印集め、ギター好き

3. アジェンダ
• そもそもの動機
• Azure IoT Edge 概要
• Sound AI on Edge 解説

4. 最近流行の
AI on Edge を
やってみたい

5. TensorflowとかCNNとか
本格的なものを使いたい

6. でも、画像はみんなが
やってるから嫌だな

7. • 実用的なのは画像より、音じゃない？
• 異音とか
• 人の感情に働きかけるとか
• 画像はプライバシーの問題あるし…

8. 8
Power
BI
PowerApps Web Apps
Mobile Apps
Manage
View and manage solutions
Azure Sphere
Secured MCU Secured OS Cloud Security
Business Integration
Connect to business apps & services
Office 365
Dynamics 365
Edge Modules:
• Protocol Adaptation
• Functions
• Stream Analytics
• Machine Learning
• AI
Azure
IoT Edge
• Integrated view for CISO & SecOps personas to review enterprise security posture, including IoT solutions.
• Holistic view of IoT solution security posture for DevOps and IoT solution managers to review and manage day to day security status
Azure Security
Center for IoT
3rd Party applications
Azure IoT Device SDK
3rd Party Industry specific sensors & devices
(RTOS, Linux, Windows, Android, iOS)
IoT Hub
Container
Registry
Kubernetes
Service
Compute
(VMs)
Content
Delivery
Network
Data
Explorer
Front Door
Resourc
e
Manager
(ARM)
Storage
Domain
Name
System
Microsoft
Flow
Key Vault
Service
Bus
Application
Insights
Functions
SQL Azure
Cosmos DB
Web
Apps
Azure Stream
Analytics
Event Hub
Device
Provisioning
Service Time Series
Insights
Maps

9. クラウドのバックエンドサービスDevice App
IoT Hub
C2D
D2C
Device Twin
Direct Methods
テレメタリー
クラウドからメッセージを
デバイスに送る
Properties
経過も通知受信可能な
デバイスのメソッドを起動
Properties
クラウド側から指定可能な変数
デバイス側由来の変数
クラウド側で付与可能な
メタデータ
Methods
Read/Write Read
Read/WriteRead/Notification
プロパティ更新、メソッドコールは
IoT Hubに履歴として保存される
Large File Upload
ログや画像などの
比較的大きなフィアルの受信
Invoke
Upload
Send
Send
<256KB
<256KB

10. デバイスをIoT Hubにつなぐ – Azure IoT Device SDK
サポートされたOS、言語の詳細情報
https://docs.microsoft.com/ja-jp/azure/iot-hub/iot-hub-device-sdk-platform-support
接続するデバイス

11. Azure IoT Edge

12. Azure IoT Edge

13. ロジックの配置と実行制御をリモートから

14. IoT Edge Custom Module
Custom Module
VS 2019、
VS Codeで
開発＆デバッグ
＋ DevOps

15. Azure IoT Edge Moduleとは…

16. クラウドのバックエンドサービスEdge Module
IoT Hub
C2M
M2C
Module Twin
Direct Methods
テレメタリー
クラウドからメッセージを
モジュールに送る
Properties
経過も通知受信可能な
モジュールのメソッドを起動
Properties
クラウド側から指定可能な変数
モジュール側由来の変数
クラウド側で付与可能な
メタデータ
Methods
Read/Write Read
Read/WriteRead/Notification
プロパティ更新、メソッドコールは
IoT Hubに履歴として保存される
Invoke
Send
Send
<256KB
<256KB
モジュール間
Invoke も可

17. 本題
AI on Edge
https://github.com/ms-iotkithol-
jp/MicCaptureSoundAIIoTSample

18. Step1 音データの収集

19. Step 2 クラウド上での学習とテスト

20. Step 3 Edgeへのデプロイと予測実行

21. 振り返ってみて…
• ドキュメントが少なすぎる…
• 基本ドキュメントはあるけれど
• 説明シンプル過ぎ
• フレームワークやライブラリー変わりすぎ
• データ収集から学習、配置、実行まで一貫した内容がない（よぅ）
• Python ってさ…
• バージョン不整合問題辛すぎる
• 2.x と 3.5 と 3.6 以上

22. 他にも…
• https://github.com/gloveboxes/Azure-IoT-Edge-Custom-
Vision-Speech-Image-Classification
• https://github.com/toolboc/azure-iot-edge-deepstream-
module-with-iot-central

23. 求む！ コントリビューター
• せっかく、github で公開しているので…
• プルリクとかしてくれたら嬉しい…
• 特に、音の AI の専門の方、よろしくね！

24. © Microsoft Corporation
https://aka.ms/AA8gql4

25. Webinar 是非
• Azure IoT 開発者認定試験
AZ-220 対策
• 6/9 16:30-17:30

26. de:code 2020
今年はオンライン開催！
• IoT 関連セッション
X01 - Azure IoT 最新動向 – クラウドからエッジまで網羅的にご紹
介
X02 - セキュリティは万全ですか？ Azure Sphereによるセキュリ
ティ紹介
X05 - SaaSで迅速にIoTを実現 - Azure IoT Central最新アップデー
トと活用術
X06 - そのロジック IoT Edge で動きます
X07 - ベールを脱いだAzure RTOS - 最新情報をいろいろとお届けし
ます
D05 - アマダのAzureへの取り組みとDevOPS・MLOPS環境の構築
と運用

27.  本書に記載した情報は、本書各項目に関する発行日現在の Microsoft の見解を表明するものですMicrosoftは絶えず変化する市場に対応しなければならないため、ここに記載した情報に対
していかなる責務を負うものではなく、提示された情報の信憑性については保証できません
 本書は情報提供のみを目的としています Microsoft は、明示的または暗示的を問わず、本書にいかなる保証も与えるものではありません
 すべての当該著作権法を遵守することはお客様の責務ですMicrosoftの書面による明確な許可なく、本書の如何なる部分についても、転載や検索システムへの格納または挿入を行うことは、
どのような形式または手段（電子的、機械的、複写、レコーディング、その他）、および目的であっても禁じられていますこれらは著作権保護された権利を制限するものではありません
 Microsoftは、本書の内容を保護する特許、特許出願書、商標、著作権、またはその他の知的財産権を保有する場合がありますMicrosoftから書面によるライセンス契約が明確に供給され
る場合を除いて、本書の提供はこれらの特許、商標、著作権、またはその他の知的財産へのライセンスを与えるものではありません
© 2020 Microsoft Corporation. All rights reserved.
Microsoft, Windows, その他本文中に登場した各製品名は、Microsoft Corporation の米国およびその他の国における登録商標または商標です
その他、記載されている会社名および製品名は、一般に各社の商標です