Azure media analitics 概要

#azurejp#dotnetlab
https://www.facebook.com/sakiaruto/
https://twitter.com/sakiaruto/
https://sakiaruto.com

アジェンダ
• 動画を取り巻く状況
• Azure MediaAnalitics 概要
• なぜMedia Analytics ？
• Azure Media Analytics
• Azure Media Analytics 各機能
• サイトご紹介

自己紹介
•鶴田貴則（Studioさきあると）
• 中小企業零細向け PCサポート、ITサポート
• ライブ配信を 6年程しております。
• 最近は、Office365・Azure もしております。
https://www.facebook.com/sakiaruto/
https://twitter.com/sakiaruto/
ポンコツITサポートの奮戦記
http://motsu.azurewebsites.net/

ご紹介
品川駅のアトレのフードコートに、同級生が、
アメリカのクラフトビールのお店を出店いたしました。
美味しいビールなので是非お立ち寄りください。

注意事項
本資料について個人で準備した環境において、個人的に実施した結果や調
査をもとに記載しております。
また、本資料の内容ならびに閲覧により生じた一切の問題及び不利益につ
いて、発表者は一切の責任を負うことができませんのでご了承ください。

注意事項
Azure MediaServicesで
公式公表されている資料は、ほぼ旧ポータルです。
お気をつけてください。
Azure MediaServices は、ほぼ、新ポータルに移行し
ました。

コンテンツがつなぐもの
多様化
デバイス・接触時間・趣向・表現方法・収益化

動画サービス（例）
視聴のみ
動画配信可
能で、視聴
も可能
動画で配信
できるSNS
誰でも発信できる時代へ

Live は、
10倍以上
の視聴時間とエンゲ
ージメント
Live は、
多くの優良なユーザーを
引き込む可能性が高いため、大
きな広告の機会でもある

HTML5
サイ
ト
構成
絵
コンテ
クリエイターやエンジニアがまだまだ不足している。

HTML5
サイ
ト
構成
絵
コンテ
クリエイターやエンジニアがまだまだ不足している。
安定した高品質サービスに向けての投資
機材への投資
かける程良い。

Streaming /
CDN
コンテンツ
保護
Processing取り込み
と保管
メディア配信のコア機能を
API として提供
Azure Media Services
PlayerAnalytics
配信サーバー
を立てなくて
いい！

Platform Services
Infrastructure Services
WebApps
Mobile
Apps
API
Management
API
Apps
Logic
Apps
Notification
Hubs
HDInsight Machine
Learning
Stream
Analytics
Data
Factory
Event
Hubs
Mobile
Engagement
SQL
Database
DocumentDB
Redis
Cache Search
Tables
SQLData
Warehouse
Hybrid
Operations
Azure AD
Connect Health
AD Privileged
Identity
Management
Backup
Operational
Insights
Import/Export
Site
Recovery
StorSimple
Cloud
Services
Batch Remote App
Service
Fabric Visual Studio
Application
Insights
AzureSDK
TeamProject
Security &
Management
Portal
Active
Directory
Multi-Factor
Authentication
Automation
Key Vault
Store/
Marketplace
VM ImageGallery
& VMDepot
Content Delivery
Network (CDN)
Media
Insights
VoD/Live
Transcoding
Azure Media
Player
Multi DRM VoD/LiveChannel
Streaming

コンテンツはある！だけど…
• サービスを差別化するのにあなたは何をしますか？
• どのようにしてコンテンツの価値を高めることができま
すか？
• テキスト、顔、ロゴ、画像、特定の行動を検索しやすく
しますか？
• 検索可能性、視認性を高めるためにコンテンツから、さ
らに多くのデータを引き出す方法はありますか？
なぜ Media Analytics ？

高度な機械学習を通じてビデオファイルから実用的な洞察を
引き出すのを容易にします。
• 検索可能なビデオとオーディオを作る
• ビデオおよびオーディオコンテンツ自体から直接取り出
し、リッチメタデータのデータベースを作成する
• 強力な新しいメディアプロセッサ
Azure Media Analyticsとは - コンテンツの強化
https://azure.microsoft.com/ja-jp/services/media-services/media-analytics/

開発者
Data Scientist /IT
Deep Learning
コア機械学習
Azure での機械学習の選択肢

Face &
Emotion
detection
顔のカウントおよび性別・
年齢・感情の判定
Hyperlapse
スタビライザーとタイムラプス
Video
summarization
ハイライトシーンによる
要約ビデオの自動作成
Motion
detection
動きのあった箇所の検知
Object
Character
Recognition
(OCR)
ビデオ内の画像から、テキ
ストを抽出
Speech-to-
Text
話しているテキストを抽出
現在、8言語対応
450 6th St.
San Francisco
Face
Redaction
特定の人の顔に
ぼかしを入れる
Azure Media Analytics
テキストを生成ビデオを生成

Indexer(Speech to Text の一種）
• 音声からテキストへの変換を可能にする
• サポート言語
一般提供：英語、スペイン語
プレビュー：ドイツ語、フランス語、イタリア語、中国語、アラビア語、日本語
• カスタムの語彙適応能力
ユーザーは、音声認識を向上させるために
ビデオに関連する単語のリストを提供します
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-process-
content-with-indexer2
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-index-
content

Azure Media Indexer
Azure Media
Indexer
オーディオデコード
語彙の適応
セグメンテーション
音声認識
キャプションの配置
Closed captions
(TTML/WebVTT/SAMI)
Audio or Video
MP4, WMV, MP3, M4A,
AAC, WAV, WMA
Audio Indexing Blob
(AIB) for use with SQL
Server and custom
filter add-on
Flexible metadatafiles
(keywords, word info)

Face Recognition(顔認知）
• あなたのビデオに現れる顔を検出する
• フレームの周りを移動するときに顔を追跡する
• 顔の位置とタイムスタンプを含む出力メタデータ
• 年齢の検出
• 性別の検出
• 顔認識
画像はイメージです
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-
face-and-emotion-detection

Emotion Recognition(感情認知）
• ビデオ内の表情に基づいて人や人の感情を時間の経過と共に認識する
• 野生の本物の感情のために設計されています。
• 心理学的研究が普遍的であると特定した表現に基づいて感情を識別する
• エクスペリエンスのパーソナライズ、メディアと製品へのレスポンスの
分析、および群衆分析のためのソリューション
• 感情認識：幸福、悲しみ、驚き、怒り、軽蔑、恐怖、消化、中立
• ユースケース - オーディエンス分析、パーソナライゼーションなど
face-and-emotion-detection

Motion detection（動態認知）
• 静的なカメラ映像と共に使用して、ビデオモーションがどこで発生して
いるかを識別する
• セキュリティビデオフィードを対象としたこの技術は、実際の動き（部
屋に入る人など）と誤検知（例えば、影や光の変化に伴う風の葉など）
を区別することができます。
• 非常に長い監視ビデオから関心のある瞬間を抽出することができ、無関
係な無関係なイベントでスパムを被らずにカメラのフィードからセキュ
リティ警告を生成することができます。
https://azure.microsoft.com/en-us/documentation/articles/media-services-motion-detection/
https://azure.microsoft.com/ja-jp/blog/motion-detection/

• ビデオコンテンツからテキストを抽出す
る
• パフォーマンスと品質のバランスを取る
ために独自のサンプリングレートを選択
できる
• 動画のどこを見てるかを指定する（例：
キャプションの下3分の1）
• 出力は場所を含むテキストを記述する
Text: Who are we?
Location:
(200,100,250,50)
Time: 0:45:02
Text: Who are you and who
is the person sitting
next to you?
Location:
(100,250,350,90)
Time: 0:45:02
Video OCR
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-video-
optical-character-recognition

• 一人で撮ったビデオをスムーズなタイムラプスに変換する。
• 前方移動カメラのシナリオ（アクションスポーツ）のために
設計されています
Hyperlapse
hyperlapse-content
https://docs.com/sakiaruto/2104/azure-mediaservices-hyperlapce
Azure Media Services 使ってみました～HyperLapce

• ハイライトシーンによる要約ビデオの自動作成します
• フレームは、ビデオ品質、多様性、および映像の安定性に
基づいて選択されます
https://docs.microsoft.com/ja-jp/azure/media-services/media-services-video-
summarization
https://azure.microsoft.com/en-us/blog/video-summarization-on-
azure-media-analytics/
Summarization(ビデオサマリー)

• ビデオをぼかして個人のアイデンティティを保護する
• 顔の自動検出と修正
• ライセンスプレートなどの動的設定で識別可能な情報にタグを
付けてぼかす
Face Redaction

• 動画コンテンツポリシー違反を検出する
• 不快で不法で不適切なコンテンツを手動で閲覧するのに費やす
時間とコストを節約する
• 現在、アダルトコンテンツの分類をサポートしています
Contents Moderation
https://azure.microsoft.com/en-us/blog/content-
moderator-azure-media-analytics/
https://www.microsoft.com/en-us/Moderator

もしかして、デモサイトってある？
あります。
https://www.videobreakdown.com/Home/
Video Breakdown
キーワードやトピック
人の名前

Video Breakdown 人の認識
キーワードやトピック
• クリックすると、その
箇所に飛びます
感情認知
この人が
どれだけ
出ている
か

高度な機械学習を通じてビデオファイルから実用的な洞察を
引き出すのを容易にします。
• 検索可能なビデオとオーディオを作りましょう。
• ビデオおよびオーディオコンテンツ自体から直接取り出
し、リッチメタデータのデータを生成する
• 生成されるものは、
テキストに関するもの
ビデオに関するものがある。
• しかもAPI連携で簡単に
Azure Media Analytics
⇒コンテンツに新たな価値を与えましょう。

参考
• InterBEE2016 - Computer Vision and Media Analytics
https://docs.com/dahatake/7077/interbee2016-computer-vision-and-media-
analytics

ご清聴ありがとうございました

Azure media analitics 概要

Recommandé

Recommandé

Contenu connexe

En vedette

En vedette (20)

Azure media analitics 概要