チャットボットアプリを例に、 Azure のビッグデータ向けサービスを使ったデータ収集・分析について

1. アプリのロギングから
データ収集・分析・活用
チャットボットアプリを例に Azure のビッグデータ向けサービスと連携
2018-03
CLR/H #13
Cogbot #13

2. ABOUT ME
@BEACH_SIDE
横浜 篤
よこはま あつし
http://beachside.hatenablog.com/
株式会社アイティーブレーン
Edge Technology and Projects 部
部長
Using…
C#, ASP.NET, Azure, Cognitive Services, Bot Framework….
開発者募集しています♪
C#er ♪
Cogbot
コミュニティ
BEACHSIDE BLOG

3. 前
説
表示フォント：HGS明朝B

4. （｀・ω・´）((ｷﾘｯ
本日のチャットボットの話の前提…
Microsoft Bot Framework で実装
ASP.NET ベースのアプリケーション
Azure 上でホスト
Azure Bot Service などの App Service 上で動くもの

5. Bot
Telemetry
(_｀・ω・)_ﾊﾞｧﾝ
Business
Insights
=
Telemetry

6. 表示フォント：HGS明朝B
チャットボットをはじめとする AI を活用す
るアプリケーションは、
運用後
データをどう収集し、どう改善に生かすかが
生死の分かれ目である…
注：あくまで個人的見解です。

7. ログの出力
Telemetry ：取得から活用のイメージ
Application
Data
Management
Analytics Visualization
収集・変換 分析 可視化
改善
ソフトウェアの改善とビジネスの発展へ

8. Application
Data
Management
Analytics
Visualization
ログの出力
Telemetry ：取得から活用のイメージ
収集・変換
分析
可視化
改善
継続的なサイクルでソフトウェアの改善とビジネスの発展へ

9. 表示フォント：HGS明朝B
本
編
開
幕

10. 本日お伝えしたいこと
•Chatbot でテレメトリーとして使えるデータの出力方法
•データの収集・変換～分析に使える Azure のサービス群
WARNING 2018年3月時点ノ情報デスWARNING
チャットボットやAIが絡むシステムを作った先に待っているデータ収集・活用という
辛い現実と向き合うために…

11. Application
Data
Management
Analytics
Visualization
1. ログの出力
Bot Framework で作られたチャットボットを例に
Application

12. Bot Framework におけるログの出力 – (1)
地道にログを実装して出力する
• SDK を利用すると、数行のコードで会話のログが取得可能
http://beachside.hatenablog.com/entry/2017/08/23/234500
• サーバーのテレメトリー（リクエストの応答時間など）の実装が面倒？
会話から利用傾向や
ボットの応答の精度改善に活用
非機能要件の改善に活用

13. Bot Framework におけるログの出力– (2)
Application Insights の活用
• アプリケーションのパフォーマンスを管理するサービス
• 実装したログの出力に加え、リクエストの応答時間やセッション
数などのロギング、アラート、グラフィカルな表示も可能

14. Application Insights のデータ活用
Blob Storage へエクスポートしてデータの永続化
• Application Insights のデータストアの保存期限は有限
• “継続的” にエクスポートする機能（連続エクスポート）搭載
カスタムイベントを活用して、用途に応じた
エクスポートすると便利かも！

15. Application Insights
• Azure Portalでログの可視化
• 連続エクスポート
DEMO

16. Application
Data
Management
Analytics
Visualization
Azure のサービスでデータ収集・変換
2. 収集・変換
Data
Management

17. 適切なサービスを使いましょう
データの収集と変換 – 自力編
Azure Functions でBlobトリガー！
• コーディングが好きなひとなら楽々
• ログの出力先は Blob だけじゃない
• トリガーがないデータストアはどーすんねん（めんどくさい）
• データストアが増えれば増えただけ実装＆メンテナンス（めんどくさい）
• スモールスタートとしてならば….ありか…

18. データの収集と変換 – マネージドサービスの利用
Azure Data Factory (v2)
• データの収集、各種処理のパイプラインを構築できる
• スケジュール実行などで ”継続的” にパイプラインの実行可能
• GUIを使ってノンコーディングで構築やPowerShellやプログラムで
構築
ボクはコード書きたいけどね

19. Azure Data Factory (v2) の概要
• Connect & Collect
オンプレ/クラウドのあらゆるデータソースに接続し、データを取り込む
• Transform & Enrich
HDInsight Hadoop, Spark, Data Lake Analytics, Machine Learning など
のサービスと接続して変換や処理
• Publish
データストアへ出力してBIツールや各種アプリケーションで利用できる状態に
• Monitor
Azure Portal, Azure Monitor, Microsoft Operations Management Suiteなど
の監視ツールが組み込まれており、動作の監視が可能

20. Azure Data Factory (V2)
DEMO

21. データの保存 – ビッグデータ向けの保存サービス
Data Lake Store
• 分析などでデータを利用時に構造を定義して変換 (schema on read)
SQL Data Warehouse
• スキーマが定義されたテーブルにデータを格納 (schema on write)

22. Data Lake Store 概要 – 実質無制限のデータストア
ハイパフォーマンス
• ペタバイト単位のデータに超並列処理でクエリを実行できる
セキュア
• アクセス制御、暗号化などエンタープライズ向けのセキュリティ
高可用性
• Azure Storage 等と同様に2つのレプリカを保持
全てのファイルをそのままの書式で格納、分析などでデータを利用時に構造を
定義して変換 (schema on read)

23. SQL Data Warehouse 概要 – PaaS型のデータウエアハウス
ハイパフォーマンス
• シェアードナッシング型の超並列アーキテクチャ
• コンピュート層とストレージ層が分かれており、スケールアウトが容易
セキュア
• アクセス制御、暗号化などエンタープライズ向けのセキュリティ
高可用性
• Azure Storage 等と同様に2つのレプリカを保持
分析などでデータを利用時に構造を定義して変換 (schema on read)

24. Application
Data
Management
Analytics
Visualization
Azure のビッグデータ分析用のサービス
3. 分析
Analytics

25. データ分析 – 自力編
Azure Functions でゴリゴリに分析
• ビッグデータ扱うにはさすがに厳しいだろ…
適切なサービスを使いましょう

26. 分析 – ビッグデータ向け
HDInsight
• Hadoop, Spark クラスタのマネージドサービス
Data Lake Store Analytics
• 分析時に柔軟にサーバーリソースを割り当てる「サーバーレス」のアーキテクチャで
多くのノードで並列分析処理
• C# ベースの言語で SQL を U-SQL という言語による分析
• Cognitive Services, Python, R などの機能・モジュールを組込み可能
Azure Databricks という Apache Spark
ベースの新たな分析プラットフォームも！

27. Azure Data Lake Store Analytics
Apache YARN ベースの分析基盤
• 実質無制限のビッグデータを処理
• 自動スケールやジョブ実行の仕組みが組み込まれている
• U-SQLで処理可能で、PythonやRやCognitive Services との連携も可能
• Azure Data Lake Store に最適化

28. HDInsight
Hadoop, Spark のマネージドサービス
• 実質無制限のビッグデータを処理
• オープンソースの Hortonworks Data Platform

29. 分析 – 分析が終わったら…
BI ツールやアプリのデータストアへ転送して活用
• Data Factory のパイプラインで転送したり…
• Stream Analytics で転送したり…

30. Application
Data
Management
Analytics
Visualization
活用して、Business を改善しよう
4. 可視化
Visualization

31. 可視化 – Microsoft Power BI

32. Application
Data
Management
Analytics
Visualization
まとめ
継続的な運用がカギに

33. 本日お伝えしたかったこと
• Chatbot でテレメトリーとして使えるデータの出力方法
• データの収集・変換～分析に使える Azure のサービス群
ログと合わせて、Application Insights を有効に活用
して楽できます。
適切なサービスを使って 継続的 にデータの収集・
分析できる仕組みを構築しましょう。

34. 関連リソース
Application Insights
• https://azure.microsoft.com/ja-jp/services/application-insights/
Data Factory (V2)
• https://docs.microsoft.com/ja-jp/azure/data-factory/introduction
Data Warehouse
• https://azure.microsoft.com/ja-jp/services/sql-data-warehouse/
Data Lake
• https://azure.microsoft.com/ja-jp/solutions/data-lake/
HDInsight
• https://azure.microsoft.com/ja-jp/services/hdinsight/
Azure Databricks
• https://azure.microsoft.com/ja-jp/services/hdinsight/

35. … .. . ..
Thank you !!
CLR/H #13
Cogbot #13