物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ＋AI」ソリューション開発をどう変える？

Copyright © Tokyo Electron Device LTD. All Rights Reserved.
物流・社会インフラWG 活動内容のご紹介
Live Video Analytics は
「カメラ＋AI」ソリューション開発をどう変える？
クラウドIoTカンパニーエンベデッドソリューション部
Microsoft MVP for Microsoft Azure
茂出木裕也

Copyright © Tokyo Electron Device LTD. All Rights Reserved. 2
自己紹介
• 組み込み機器のファームウェア(BIOS)開発のプログラマー職を経て、
2007年に東京エレクトロンデバイスに入社
• 以後、約9年間は Microsoft社の組み込みOS(Windows Embedded)製品を担当
• 2016年4月より、 Microsoft Azureを中心とした IoT やクラウドソリューションを担当
Microsoft MVP for Microsoft Azure

物流・社会インフラWG これまでの活動

産業別ワーキンググループでMicrosoft AzureをベースにしたIoTの利用シナリオを共同検証
ビジネスWG 分析WG 製造WG 物流・社会WG
ヘルスケアWG Pepper WG ドローンWG xR WG

物流・社会インフラWG紹介
イベント畜産輸送・交通

【取り組み事例】養豚で機械学習を活用した出荷予測の検証
物流・社会インフラWGで、養豚の出荷予測の検証プロジェクトを実施
養豚の出荷に要する日数や頭数は、飼育担当者が
経験に基づいて判断(属人性が高い)
出産から出荷までの日数を、過去10年分の出荷データ
や天候などの外部データを用いた Azure Machine
Learningで推測
実績と比べて1週間程度の誤差で機械学習による予測
ができることを検証し実証
属人性から一般化への、一定の成果を得た

物流・社会インフラWG 新しいテーマ
Live Video Analytics (LVA)

Live Video Analytics on IoT Edge
https://docs.microsoft.com/ja-jp/azure/media-services/live-video-analytics-edge/overview
エッジデバイスでビデオを分析し、結果をAzureのクラウドサービスやビジネスアプリケーションと連携

物流・社会インフラWG での取り組み
⚫まずは技術検証 (LVAで何ができる？)
1. エッジデバイスは仮想マシン(VM)で構築+サンプルの動画と
AIモデルを利用
2. 物理デバイス(エッジPC)とUSBカメラを利用
⚫LVAを「やってみた」結果を皆様と共有
⚫WGで活用シナリオやアイデア出し (どう活用できそう？)
⚫[募集] 現場・フィールドでの実証実験

技術検証1.
LVA サンプル・チュートリアル

技術検証1. LVA サンプル・チュートリアル
⚫ エッジデバイス: Azure Linux VM (Ubuntu 18.04-LTS) + IoT Edge Runtime
⚫ カメラ: 無し (サンプル動画)
⚫ AIモデル: YOLO v3 (サンプルモデル)
⚫ アプリケーション: IoT Central テンプレート (サンプルアプリ)

Live Video Analytics で推論モデルを使用する
https://docs.microsoft.com/ja-jp/azure/media-services/live-video-analytics-edge/media-graph-
extension-concept#use-your-inferencing-model-with-live-video-analytics
独自のAI(推論モデル)でビデオを分析 ※サンプルだと、映像からバスやトラックのオブジェクトを検出するAIモデル

ビデオ分析 – 物体とモーション検出アプリケーションのアーキテクチャ
https://docs.microsoft.com/ja-jp/azure/iot-central/retail/architecture-video-analytics
Azure IoT Central (SaaS) では、物体やモーションを検出するテンプレートが提供

Live Video Analytics で何ができる？(サンプル動画)

Webアプリ(IoT Central のダッシュボード)で分析した結果を可視化

オブジェクト検出時の映像はAzure Storage(BLOB)に記録される
AMP viewer (Azure Media Player) で再生可能
https://github.com/Azure/live-video-
analytics/tree/master/utilities/amp-viewer

技術検証2.
物理デバイス(EdgePC+Camera)

検証2. 物理デバイス+物理カメラ (USBカメラがあれば大丈夫！)
【Edge PC】
CPU: Core i5
RAM: 8GB
OS: Ubuntu 18.04
+ IoT Edge Runtime
【Camera】
Logicool C920
USB接続
analytics/tree/master/utilities/USB-to-RTSP
USBカメラの映像をRTSP (Real Time Streaming Protocol) の
ストリームに変換するコンテナー

Tips: USB-to-RTSP でUSBカメラをRTSPで利用する
【usb-to-rtsp コンテナの実行】
sudo docker run --name usb-to-rtsp --device=/dev/video0 --env VIDEO_PIPELINE="v4l2src device=/dev/video0 !
videoconvert ! videoscale! video/x-raw ! x264enc tune=zerolatency ! rtph264pay name=pay0" -p 554:8554 -d -i usb-to-rtsp:v1
⚫ デフォルトのストリームポートは 8554 → コンテナーからのRTSPストリームをエッジPC(Ubuntu)のポート 554 にマッピング
⚫ rtsp://{エッジPCのIPアドレス}:554/stream1 で、エッジPCに接続されたUSBカメラ映像を取得できるようになる

サンプルのAIモデル(YOLO v3)で検出可能なオブジェクトは？
analytics/blob/master/utilities/video-analysis/yolov3-onnx/tags.txt
80種類のオブジェクトを認識
bus
train
truck
boat
traffic light
fire hydrant
stop sign
parking meter
bench
bird
cat
dog
…etc

サンプルのAIモデル(YOLO v3)で検出可能なオブジェクトを切り替える

カメラ映像から交通量調査(おもちゃ)

IoT Central で「車」と「トラック」を検出

LVA 何に使えそう？活用シナリオ例

低湿保管庫の監視 (共創ラボ 2019年3月に実施)

当時の構成(7セグ数字読み取り→湿度の変化を可視化)

当時の構成にLVAを加えると？
・保管庫自体を監視するカメラを設置
・センサーでドアの開閉をトリガーにして
カメラ映像を数値の変化を関連付け

WGでの活用アイデア
目的・用途収集データアウトプット内容
オフィス・食堂での密チェック(行列チェック) 一定の空間の人数・PowerBIで可視化
・一定数以上の人数がカウントされた場合はアラート
オフィスのマスクの着用状況のチェック一定の空間の人物検出及びマス
ク検出
・マスク着用率を可視化して一定数以下はアラート
コールセンター等の出勤確認(PCの前に人が座っているかの確認) PCでのカメラを自動取得？
オンラインMTG時の社員の顔画像で感情分析顔画像・FACE APIで感情分析、感情の起伏を可視化
オンライン試験での監視員受験者に動きがあった前後20秒
をあとから確認する
卓球の試合でカメラで自動的に判定
相撲の勝敗判定/あっちむいてホイの勝敗判定
iPad等で手で動作するものに対して、ジェスチャー非接触でコマンドを入力できる。
カメラでライブで顔認証して認証した人の動作で入力する
決められた標準手順を実行した時に人によってサイクルタイムが変わる
一つの作業のサイクルタイムが大きく変わるとアラートを出すような感じる。
生産管理のところでも使えるかもしれない。
LVAじゃないと実現できない事って？
LVAがあるからこそ、「カメラ＋AI」のアイデアを形にするまでの時間・工数を削減できる

New: EFLOW (Azure IoT Edge for Linux on Windows) 対応
Windows OS 搭載の
エッジデバイスでも活用できる！

Live Video Analytics (LVA)
これから始める方へ

Github: live-video-analytics
https://github.com/Azure/live-video-analytics

Media Services と IoT Central
https://docs.microsoft.com/ja-jp/azure/iot-
central/retail/architecture-video-analytics
https://docs.microsoft.com/ja-jp/azure/media-
services/live-video-analytics-edge/overview
Media Services: LVAの仕組みを理解する IoT Central: 簡単に使えるテンプレートでLVAを体験する
IoT Edge、IoT Central、AMS(Azure Media Services)、Digital Twins…様々なスキルが必要

クイックスタート・チュートリアル
https://docs.microsoft.com/ja-jp/azure/media-
services/live-video-analytics-edge/get-started-detect-
motion-emit-events-quickstart
https://docs.microsoft.com/ja-jp/azure/iot-
central/retail/tutorial-video-analytics-deploy
Media Services: LVAの仕組みを理解する IoT Central: 簡単に使えるテンプレートでLVAを体験する

物流・社会インフラWG
「共創」のご案内

一緒に「共創」しませんか？
⚫カメラを設置してやってみたい事がある！(ユーザー企業様)
⚫LVAで一緒にやってみたい事がある！(パートナー企業様)
⚫AIモデルの作成が得意、クラウドアプリ開発が得意・・・などなど

クラウドIoTカンパニーエンベデッドソリューション部
URL:https://esg.teldevice.co.jp/iot/azure/
TEL: 045-443-4021

物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ＋AI」ソリューション開発をどう変える？

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à 物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ＋AI」ソリューション開発をどう変える？

Similaire à 物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ＋AI」ソリューション開発をどう変える？ (20)

Plus de IoTビジネス共創ラボ

Plus de IoTビジネス共創ラボ (13)

Dernier

Dernier (8)

物流・社会インフラWG 活動内容のご紹介 Live Video Analytics は「カメラ＋AI」ソリューション開発をどう変える？