[Japan Tech summit 2017] DAL 002 セッション資料

1. Microsoft Tech Summit 2017本情報の内容（添付文書、リンク先などを含む）は、Microsoft Tech Summit 2017 開催日（2017 年 11 月 8日 - 9 日）時点のものであり、予告なく変更される場合があります。

4. CLOUD
MOBILE

6. GB
TB
PB

7. デバイス数の爆発的な増加が
更なるデータの爆発的な増加を推進
そこから得た知見を
ビジネスの推進に活用
2013-2020 CAGR = 41%
40
B
4.0B1.3B
2010 2013 2020

8. 社内 社外
非リレー
ショナル
データ
非構造
半構造
リレーショ
ナルデータ
構造化
Office 文章システムログ
テキスト・音声電子メール
各種統計 行政 金融取引
人事
勤怠
在庫
会計
セン
サー
情報 位置 SNS
マルチメ
ディア
交通 気象 医療
口コミ文章

10. このような非構造化データが増えてくると事前に
スキーマは定義することは現実的ではない

11. ETL パイプライン
スキーマの定義
Relational
LOB
Applications
Schema-on-Write
事前
事前
変換、クレンジング
直ちに必要でないデータは、
別の場所に移動されているか、捨てられる

12. 無限に保存 分析 結果の参照
あらゆるデー
タソースから
のデータ収集
全てのデータに価値がある: Schema-on-Read
 ネイティブのフォーマット
実行時（読み込み）に指定

13. 構造／セミ構造／非構造のデータ（イメージ、オーディオ、ビデオ、CSV、
JSON、PDF、センサー等々）の全てを含む統合データストア
RDB、Data Warehouse 等と比較すると対象データ
や量が圧倒的に多い
Data Lake 実装の一例とし
てのApache Hadoop

14. 多くのデバイスやシステムで生成されるデータを
たった一台で分析するのは限界がある
一人じゃムリ…
手分けしよう！
Hadoopを含め分散システムは運用が大変

15. Azure Data Lake Store
HDInsight & Azure Data Lake Analytics

17. Hadoop WebHDFS
クライアント
Azure Data Lake store
既存アプリケーション
クライアント
Hadoop WebHDFS
クライアント
Data Lake Store の中身

18. Azure Data Lake Store • 個々のファイルはExtent(断片)
に分割される
• Extentは最大250MB
• 各Extentは3ノードに複製され、
ノード障害への耐性を持つ
• 断片化されたデータは並列分散
処理に影響する（後述）
断片 1 断片 2 断片 3 断片 N
断片 1 断片 2 断片 3
ファイル 1 断片 1 断片 2 断片 3 断片 N
ファイル 4 断片 1 断片 2

20. Azure Data Lake Store
• Hadoop 2.0から導入された、
クラスターリソース管理の仕組み
• リソースはコンテナで管理

21. .Split(‘;’)

22. Interactive
Batch
Streaming
Machine
Learning

25. 入出力とSuperVertex
をジョブグラフとして
可視化
INPUT
OUTPUT
SV1
SV2
SV3
Vertex（各四角形）が1部の
Workを表す。全Vertexの処
理が終わると全体の処理が
終了。
Vertexは処理タスクごとにグルーピ
ングされSuperVertex（ステージ）
に展開
同じステージのVertexは、異なるデー
タに同じ処理を実行

26. @rows =
SELECT
Gender,
AGG<MyAgg>(Income) AS Result
FROM
@HugeInput
GROUP BY Gender;
Gender==
Female
@HugeInput
Vertex 0 Vertex 1
Gender==Male
作業を分割するシンプルな例

27. Job Resources
C#
C++
Algebra
Other files
(system files, deployed resources)
managed dll
Unmanaged dll
コンパイラ
INPUT
OUTPUT
各Vertexで実行できるようにデプロイ

28. Extent Vertex
Extent Vertex
Extent Vertex
Extent Vertex
小さなファイル 大きなファイル
ファイルサイズが大きくなりデータが分割される（Extentが増加）
と並列分散処理される可能性が高くなる
バイナリデータ等は並列処理できないので注意

29. • 1 AU ~= 1 YARN コンテナ
✓ Windows OS VM
✓ 2 cores
✓ 6 GB of memory
※(OS、コード等で共有）
• 性能やコストに影響
• 実行時のみコストがかかる
（サーバーレス）
• アカウント単位で最大250AUs

30. 並列度の要求（コンテナ数）= 1 並列度の要求（コンテナ数）= 4
１度に１つ
のvertexが
動く
１度に4つ
のvertex
が動く

31. 並列度の要求（コンテナ数）= 4 クリティカルパス
ジョブを最後まで実行し続けるVertexの
依存関係チェーン。
次のステージは、前
のステージが完了す
る前に開始可能
下の vertex が上の
vertex の出力に依存

33. 252 個の処理
Vertex の平
均実行時間
43 億行
データの読み込みと
書き込み
失敗した vertex … し
かし自動的にリトライ
ステージ全体が成功
で完了

34. 顔の解析
画像へのタグ付け
感情分析
OCR
テキストからの重要語句の抽出
テキストの感情分析
Azure Data Lake における
Cognitive 機能

38. 人々の“はたらく”をよりスマートに。リコーは、さまざまなワークプレイスの
変革をテクノロジーとサービスのイノベーションでお客様とともに実現します。

39. リアルな顧客像が不明
データ集約/整理できて
いない
マーケティング施策が定
まらない
「SPA=製造小売業」のお客様の抱える課題を解決

43. Power BI
データの可視化
Azure Data Lake Analytics
• テキストデータの加工
• 画像データの解析
Azure Data Lake Store
SNS データの保存

44. Cognitive Services での解析 Data Lake Analytics での解析
利用方法 REST API ライブラリ(dll)
呼び出し回数 制限あり
(10トランザクション/秒）
無制限
費用 従量課金
(例:102円/トランザクション)
なし(Data Lake Analytics利用料金のみ)
スループット ストレージとAPIサーバー間
での通信が発生
Data Lake Storeのデータを直接処理

47. ✕
○
✕
所有者のみディレクトリ
へのアクセス権を持つ

48. Data Lake
Azure Active Directory

49. 割当数
AU
割当数
実行
時間
料金

51. 最後に

53. Session ID Title
MAI009 【金融機関/FISCにも対応】 Azure Stackでのクロスプレミス 最新のAI/Cognitive Servicesとは？
PRD004 ビジネスの見える化で意思決定を早める！ Office 365 の Power BI 活用術

54. ■
 https://docs.microsoft.com/ja-jp/azure/data-lake-store/
■
 https://blogs.msdn.microsoft.com/azuredatalake/
■
 https://docs.microsoft.com/ja-jp/azure/data-lake-analytics/
■
 https://github.com/Azure-Samples?utf8=%E2%9C%93&q=data%20lake

55. ■
 https://aka.ms/spauth

56. Power BI
データの可視化
Azure Data Lake Analytics
• テキストデータの加工
• 画像データの解析
Azure Data Lake Store
SNS データの保存

58. @imgs
FileName
TweetID
TweetID FileName

59. @imgs
Tags

60. String.Join(“,”, Tags.Select(p =>
String.Format("{0}:{1}", p.Key, p.Value)))