やりたいことから考えるMicrosoft Azure 上のデータストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで

db analytics showcase Sapporo 2017

Microsoft アカウント
Microsoft Azure 無料サブスクリプション
Visual Studio 無料サブスクリプション
Python SDK Windows版のインストール
Python SDK Mac のインストール
Microsoft Developer Network
Azure コマンドラインインタフェースのインストール
AzCopy コマンドラインツール (Azure Storage 用)
ストレージエクスプローラー・Windows版のインストール
ストレージエクスプローラー・Mac版のインストール

システム形態の変遷
クライアント
サーバー
クラウド上のサーバーやサービス、APIを
組み合わせたマッシュアップ・システム
スタンドアロン
システム
従来のWebアプリ／
Webサービス

https://azure.microsoft.com/ja-jp/resources/templates/

Computational Network Toolkit (CNTK)
Vowpal Wabbit XGBoost Rattle
mxnet Weka Apache Drill
CUDA, CUDNN, Nvidia Driver
GPU based Deep
Learning Tools
Use Deep Learning
Toolkit for DSVM
Ubuntu Edition Only
* Microsoft
Cognitive Toolkit
(CNTK)
Y Y
* Tensorflow Y Y
* MXNet Y Y
* Caffe & Caffe2 N Y
* Torch N Y
* Theano N Y
* Keras N Y
* NVidia Digits N Y
* CUDA, CUDNN,
Nvidia Driver
Y Y

https://azure.microsoft.com/ja-
jp/documentation/learning-paths/data-science-process/

Platform Services
Infrastructure Services
Web Apps
Mobile
Apps
API
Management
API Apps
Logic Apps
Notification
Hubs
Content
Delivery
Network (CDN)
Media
Services
BizTalk
Services
Hybrid
Connections
Service Bus
Storage
Queues
Hybrid
Operations
Backup
StorSimple
Azure Site
Recovery
Import/Export
SQL
Database
DocumentDB
Redis
Cache
Azure
Search
Storage
Tables
Data
Warehouse Azure AD
Health Monitoring
AD Privileged
Identity
Management
Operational
Analytics
Cloud
Services
Batch
RemoteApp
Service
Fabric
Visual Studio
App
Insights
Azure
SDK
VS Online
Domain Services
HDInsight Machine
Learning
Stream
Analytics
Data
Factory
Event
Hubs
Mobile
Engagement
Data
Lake
IoT Hub
Data
Catalog
Security &
Management
Azure Active
Directory
Multi-Factor
Authentication
Automation
Portal
Key Vault
Store/
Marketplace
VM Image Gallery
& VM Depot
Azure AD
B2C
Scheduler
The Azure Platform

様々なアプリ開発が行われています
Web & mobile Business apps Microservice apps
Development & test Big data & analytics Internet of Things
Backup, recovery
& archive
High Performance
Computing
Digital media

Identity
& security
Media
& CDN
Integration Developer
services
Data
Analytics
& IoT
MY APP

デバイス
Machine
Learning
Stream
Analytics
SQL
Database
Azure
Storage
HDInsight
(Hadoop)
Event Hubs
BIツール
（Power BI など）
機器
制御装置
Stream Analytics
Data Factory
Data Lake
Store
SQL
Data
Warehouse
業務システム
Machine Learning
API
IoT Hub
Document
DB
Data Lake
Analytics service
Revolution R
Enterprise
Recommendations,
customer churn,
forecasting, etc.
Face, vision Speech, text
Cognitive
Services

デバイス
Machine
Learning
Stream
Analytics
SQL
Database
Azure
Storage
HDInsight
(Hadoop)
Event Hubs
BIツール
機器
制御装置
Stream Analytics
Data Factory
Data Lake
Store
SQL
Data
Warehouse
業務システム
Machine Learning
API
IoT Hub
Document
DB
Data Lake
Analytics service
Revolution R
Enterprise
Recommendations,
customer churn,
forecasting, etc.
Cognitive
Services
①大量データの
受け入れ
②リアルタイム処理
データの集約
③データの蓄積
・構造化
・非構造化
・文書
など様々な形式
での保存
④データの加
工・移行
⑥機械学習
⑦Hadoop解析
⑧マイクロソフト技
術を用いた分散
解析
⑨・通常のR
・MSが機能を
追加した企業
向けR
を使用した解析
⑪クラウドベースの Self-
Service BI 機能
⑫機械学習の予測
モデルを業務システ
ムなどから呼び出し
可能にするサービス
外部クラウドなど
からのデータ取り
込み
②リアルタイム処理
データの加工
⑤ディープラーニング
⑩Excelを用いた可視化

 Cognitive Services API
 Azure Gallery

 Microsoft R Server
 Azure Machine Learning Studio

 Cognitive Toolkit Tensor Flow

 Seamlessly blend technologies
Azure Data Lake Analytics

取り扱いたいデータタイプ
Audio, video, images. Meaningless
without adding some structure
非構造データ
Unstructured
構造化データ
Structured
CSV, Columnar Storage (Parquet,
ORC). Strict data model structure
JSON, XML, sensor data, social media,
device data, web logs. Flexible data
model structure
文書など、緩やかな構
造を持つ半構造データ
Semi-Structured

✓ Azure Storage
様々な文書、Blobデータ、テーブル形式のデータが保存可能なストレージ
✓ SQL Database
SQL Server 2016 と同等の機能を提供する PaaS 型データベースサービス
✓ Azure Database for MySQL/PostgreSQL
PaaS 型データベースサービスのMySQL/PostgreSQL版
✓ Cosmos DB
マルチデータモデルのグローバル分散DB
✓ Azure Data Lake Store
ビッグデータの分析ワークロードに対応する大規模データ格納エリア
✓ Azure SQL Data Warehouse
ペタバイト単位のストレージを有した PaaS 型データウェアハウスサービス

IoT Hub
Event Hubs
Data Warehouse
Data Factory
App Insights Log Analytics
Monitor
CDN
Search Power BI
Blob Storage Pillars
Open &
Interoperable
Manageable &
Cost Efficient
Scalable &
Performant
Secure &
Compliant
Durable &
Available
Machine
Learning
Stream
Analytics
Batch
Functions
Data Lake
Analytics
Azure HDInsight
Big Data Use Cases
Ingest & ETL Streaming Analytics & Machine Learning Data Aggregation Presentation

Queues
Reliable queues at
scale for cloud
services
ファイルを保存する際には
この3つの選択肢があります

https://docs.microsoft.com/ja-jp/azure/storage/storage-decide-blobs-files-disks

OS
アプリアプリアプリアプリ

BLOB
効率
利用
仮想
マシン
+
BLOB
001.log
002.log
003.log
004.log
EN
EN
EN
EN
EN
EN
PS
PS
PS
PS EN
EN
001.log
002.log
003.log
004.log
disk1.vhd
PS = パーティションサーバー
EN ＝エクステントノード
001.log
002.log
003.log
004.log
EN
EN
EN
EN
EN
EN
PS
PS
PS
PS EN
EN

Block 1 Block 4Block 3Block 2
Image.jpg
Sparse File
512 byte aligned
512
1024
1536
2048
2560

AZCopy – Robocopy for Azure Storage
Storage Explorer – Cross platform UX

Data Movement Library on CoreCLR
Python client library

仮想マシン
SQL Enterprise
DS4 の場合
8 Core/ 28 GB RAM
Disk #0
読み取り/書き込み Disk #1
Disk #2
P30
読み取りのみ
C:
システム
D:
キャッシュ
永続性あり永続性なし永続性あり (複数ボリュームの分割やストライプの構成が可能)
Premium Storage
デフォルト作成(仮想マシン付属）ユーザーが任意に追加
・OS
・Page ファイル
・DBMS Exe
・SQL Server
バッファープール拡張
https://azure.microsoft.com/ja-jp/documentation/articles/virtual-machines-sql-server-performance-best-practices/
https://azure.microsoft.com/ja-jp/documentation/articles/virtual-machines-sql-server-use-premium-storage/
Disk #n
P30
読み取りのみ
E:
・SQL データ(ページ圧縮)
・Temp DB
Disk #3
P30
なし
F:
・Transaction-
Log
Disk Cache
344GB
最大Disk IOPS
256MB/sec
P30合計の
600MB/sは出ない
・NTFSアロケーションユニットサイズ: 64KB
・データベースページ圧縮: 有効
Table用、Index用、Temp DB用に別
ドライブに拡張可能
キャッシュ設定は添付の
ＵＲＬを参照
最大Disk IOPS
200MB/sec
最大Disk IOPS
200MB/sec
最大Disk IOPS
200MB/sec

フルマネージドの RDBMS
データベース
RDBMS
OS
Azure が管理
利用者が管理
VM上の RDBMS
ホスト OS
仮想化
フルコントロール
データベース
RDBMS
OS
仮想化
ホスト OS
容易な管理
Azure Database

SQL Server
物理マシン/仮想マシン
SQL Server on Azure VM
仮想マシン
SQL Database, Data Warehouse
PaaS

物理マシン/仮想マシン
VM Template /Market place
仮想マシン
Azure Database for
MySQL / PostgreSQL

論理データベース
Write
Write Ack
Ack
Read
value write
Ack
特徴
無停止フェールオーバー
無停止スケールアップ(プラン変更)
自動パフォーマンスチューニング
スループット指定によるプロビジョニング

データベーストランザクションユニット (DTU) とエラスティックデータベーストランザクションユニット (eDTU) の説明
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-what-is-a-dtu

Azure SQL Database Query Performance Insight
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-query-performance
Query Store is turned on by default for Azure SQL Database
https://azure.microsoft.com/ja-jp/updates/query-store-on-is-the-new-default-for-azure-sql-database/

Queries
?
SQL Database
Deeper Insight
Query
Store

SQL Database Advisor
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-advisor
Azure Portal を使用した SQL Database Advisor
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-advisor-portal

領域改善後
新しいインデックス提案が作成されるまで 18時間以内
T-SQL文が実行されるまでのタイムラグ即時（数分以内）
「悪い」チューニング内容に対しての検知時間 1時間以内
次のインデックス提案が行われるまでの待ち時
間
即時（数分以内）
導入までの総時間 1日以内

SQL Database の脅威の検出
https://docs.microsoft.com/ja-jp/azure/sql-database/sql-database-threat-detection

コントロール
ノード
SQL
DB
Azure Blob Storage(WASB)
100 DWU < > 2000 DWUコントロールノード
ユーザーからの接続
コンピュートとストレージの調整
コンピュート
ノード
コンピュート
ノード
コンピュート
ノード
コンピュート
ノード
SQL
DB
SQL
DB
SQL
DB
SQL
DB

コントロール
ノード
SQL
DB
コントロールノード
D51
D52
D53
D60
…
D41
D42
D43
D50
…
コンピュート
ノード
D31
D32
D33
D40
…
D21
D22
D23
D30
…
D11
D12
D13
D20
…
D1
D2
D3
D10
…
SQL
DB

コントロール
ノード
SQL
DB
コントロールノード
コンピュート
ノード
D51
D52
D53
D60
…
コンピュート
ノード
D41
D42
D43
D50
…
コンピュート
ノード
D31
D32
D33
D40
…
コンピュート
ノード
D21
D22
D23
D30
…
コンピュート
ノード
D11
D12
D13
D20
…コンピュート
ノード
D1
D2
D3
D10
…
SQL
DB
SQL
DB
SQL
DB
SQL
DB
SQL
DB
SQL
DB

54
データ無制限のストレージと分析プラットフォーム
 無制限のストレージ（エクサバイト超）
 ネイティブ HDFS に基づく実装
 HDInsight, Hortonworks, Cloudera との統合
 全ての HDFS 準拠プロジェクトとの親和性
(Spark, Storm, Flume, Sqoop, Kafka, R, etc.)
Azure Data Lake Store
- Hadoop Distributed File System (HDFS) For The Cloud
 構造化データと非構造化データに対するデータ処理
 宣言型の SQL 文とカスタムコード (UDF, UDT, UDO, … )
 ローカルとリモートに対するクエリ
 バッチ型、インタラクティブ型、ストリーミング型(in the future)
- New Query Language : U-SQL

ETL パイプライン
スキーマの定義
Relational
LOB
Applications
Schema-on-Write
直ちに必要でないデータは、全て捨てられるか、アーカイブされている

無限に保存分析結果の参照
あらゆるデータ
ソースからの
データ収集
Schema-on-Read

全データ取込
要件にかかわらず
全データ格納
そのままのフォーマットで
スキーマ定義なし
分析実行
Hadoopのような
分析エンジンの利用
インタラクティブクエリ
バッチ型クエリ
機械学習
データウェアハウス
リアルタイム分析
リレーショ
ナル
デバイス
観察／仮説
集まったデータから仮説を
たてる

58
 無制限のサイズ
 ギガバイトからペタバイトのサイズの単一ファイル
 巨大なスループットを必要とする大規模な分析システムを実現
 あらゆるスループットに自動最適化
 ペタバイト超のデータの並列コンピューティング
 同一リージョン内に３つのコピーを自動的に作成
 インストールやチューニングは不要
 数分で稼働開始
 必要に応じてどのようなサイズにもスケールアウト可能

データウェアハウスデータレイクストア
非構造Rawデータ
（ログ、文書、バイナリ）
Tier 1
Machine
Learning
Data Lake
Analytics HDInsight
目的に合わせた
データウェハウス分析処理
（売上分析、経営分析）
データウェハウスに
格納しきれなかった
過去データ、関連データ
を連結して分析
ハードウェアの性能限界
によって行えなかった
処理量の分析を実現
※ディスク／コンピューティング
非構造データの
分析処理
（画像、音声、映像など）
広範囲のデータを利用した
機械学習、統計解析処理
などによる高度分析
SQL Data
Warehouse
Data Lake
Analytics HDInsight
Data Lake
Analytics
構造化データ
半構造データ
分析用に加工(csv等)
Tier 2
アーカイブデータ
Tier 2, DWHのアーカイブ
Tier 3

Analytics
Storage
HDInsight
(“managed clusters”)
Azure Data Lake

LOB Applications
SocialDevices
Clickstream
Sensors
Video
Web
Relational
HDInsight
Data Lake Analytics
Machine Learning
Spark
R

Azure Storage Blob
外部表Azure SQL
Data Warehouse

HDInsight
開発者は OSS に馴染んでいる:
Java, Eclipse, Hive, etc.
マネージド Hadoop クラスタにおいて、
カスタマイズ・管理が可能で、フレキ
シビリティがある
C#, SQL & PowerShell のスキル・
経験を活かせる
利便性、効率性、自動スケール、
ジョブ実行の仕組みが提供される

一般的なパターン
処理読み込み保存
INSERT
OUTPUT
OUTPUT
SELECT…
FROM…
WHERE…
+
Python、R
EXTRACT
EXTRACT
SELECT
SELECT
Azure
Data
Lake
Azure
Data
Lake
Azure
SQL
DB
Azure
Storage
Blobs
Azure
Storage
Blobs
RowSet RowSet
Cognitive
Services

REFERENCE ASSEMBLY WebLogExtASM;
@rs =
EXTRACT
UserID string,
Start DateTime,
End DateTime,
Region string,
SitesVisited string,
PagesVisited string
FROM “/Logs/WebLogRecords.txt”
USING WebLogExtractor ();
@result = SELECT UserID,
(End.Subtract(Start)).TotalSeconds AS Duration
FROM @rs ORDER BY Duration DESC FETCH 10;
OUTPUT @result TO “/Logs/Results/top10.tsv"
USING Outputter.Tsv();
• 型定義は C# の型定義と同じ
• データをファイルから抽出・読み込み
するときに、スキーマが必要
Data Lake Store 内のファイル
独自形式を解析するカスタム関数
C# の関数
行セット:
（中間テーブルの概念
に近い）
TSV形式で書き込む関数

U-SQL ジョブのサブミット
Azure PortalやVisual StudioのAzure Data Lake ToolsからU-SQLジョブをサブミット可能
67

従来型の処理・分析 Azure Data Lake を中心とした処理・分析
Business
apps
Custom
apps
Sensors
and devices
ADL Store
People
非構造化データも
含めてあらゆる
データを格納
Azure SQL
DW
Azure AD
Power BI
ADF
ADL
Analytics
• 処理・分析業務の大半はデータ準備作業が占める
• 処理・分析業務に手間・時間が必要
Business
apps
Custom
apps
Sensors
and devices
HDInsight
ユーザー管理、認証
データの連携
Power BI
File System
Database
Database
Hadoop
DWH
Data Mart

デバイス
Machine
Learning
Stream
Analytics
SQL
Database
Azure
Storage
HDInsight
(Hadoop)
Event Hubs
BIツール
機器
制御装置
Stream Analytics
Data Factory
Data Lake
Store
SQL
Data
Warehouse
業務システム
Machine Learning
API
IoT Hub
Document
DB
Data Lake
Analytics service
Revolution R
Enterprise
Recommendations,
customer churn,
forecasting, etc.
Cognitive
Services
リアルタイム
バッチ

Data Factory Tools for Visual Studio
Azure Portal

Azure Table
Storage
(Web ログ
レコード)
Data Factory
HDInsight
(Web ログを
ファイルにして
バッチ処理で集計)
SQL Database
(集計データを
DB テーブル
に格納)
Power BI

社内システム
Data
Management
Gateway
SQL Database
Data Warehouse
Blob Storage
Table Storage

接続
メッセージ作成
メッセージ送信
var cs = “接続文字列”;
var path = “イベントハブ名”;
var eh = EventHubClient.CreateFromConnectionString(cs, path);
var msg = new {
user = this.User.Identity.Name,
level = level,
timestamp = demo.Timestamp
};
var json = JsonConvert.SerializeObject(msg);
eh.Send(new EventData(Encoding.UTF8.GetBytes(json)));

EventProcessorHostを使う
•
•
•
Functionsを使う
•
•
IEventProcessor
ProcessEventAsync(msg)
IEventProcessor
ProcessEventAsync(msg)
Run(string msg)

Point of
Service Devices
Self Checkout
Stations
Kiosks
Smart
Phones
Slates/
Tablets
PCs/
Laptops
Servers
Digital
Signs
Diagnostic
EquipmentRemote Medical
Monitors
Logic
Controllers
Specialized
DevicesThin
Clients
Handhelds
Security
POS
Terminals
Automation
Devices
Vending
Machines
Kinect
ATM

Stream Analytics
入力出力クエリデータストリーム
参照

• “入力”、“出力”をクリックし、それ
ぞれ作成
• “クエリ”をクリックし、クエリを定義
• 作業が終わったら“▶開始”で実
行開始

SELECT user level AS SATLevel timestamp
INTO
FROM

デバイス接続性とデバイス管理
およびブローカーサービス
データ管理と高度な分析情報活用
業務の生産性と
プロセスの最適化
IoT Agent
/ Gateway
予兆／原因の学習モデル
ダッシュボード
参照
ERP
• 顧客
• 設備
• 担当者
Notification
Hubs
通知
予兆イベント
メンテ方法
の推奨
• ヘルス状態
• インシデント管理
• 対応のディスパッチ
現地技術要員の
モバイルデバイス
オペレーション
センター
• イベント :
✓ドア開閉、軸アライメント、キャビン速度、
モーター温度など
• アラーム :
✓故障アラーム、エラーコードなど
http://isstke.azurewebsites.net/#/
Event Hub
Stream
Analytics
Azure ML
制御機器とセンサーのデータ
マシンデータの
蓄積
メンテナンス方法の
学習モデル
Machine Learning
Blob Storage
セルフサービス分析
Power BI

Microsoft data platform solutions
Product Category Description More Info
SQL Server 2016 RDBMS Earned top spot in Gartner’s Operational Database magic
quadrant. JSON support. Linux TBD
https://www.microsoft.com/en-us/server-
cloud/products/sql-server-2016/
SQL Database RDBMS/DBaaS Cloud-based service that is provisioned and scaled quickly.
Has built-in high availability and disaster recovery. JSON
support
https://azure.microsoft.com/en-
us/services/sql-database/
SQL Data Warehouse MPP RDBMS/DBaaS Cloud-based service that handles relational big data.
Provision and scale quickly. Can pause service to reduce
cost
us/services/sql-data-warehouse/
Analytics Platform System (APS) MPP RDBMS Big data analytics appliance for high performance and
seamless integration of all your data
cloud/products/analytics-platform-
system/
Azure Data Lake Store Hadoop storage Removes the complexities of ingesting and storing all of
your data while making it faster to get up and running with
batch, streaming, and interactive analytics
us/services/data-lake-store/
Azure Data Lake Analytics On-demand analytics job
service/Big Data-as-a-
service
Cloud-based service that dynamically provisions resources
so you can run queries on exabytes of data. Includes U-
SQL, a new big data query language
us/services/data-lake-analytics/
HDInsight PaaS Hadoop
compute/Hadoop
clusters-as-a-service
A managed Apache Hadoop, Spark, R, HBase, Kafka, and
Storm cloud service made easy
us/services/hdinsight/
DocumentDB PaaS NoSQL: Document
Store
Get your apps up and running in hours with a fully
managed NoSQL database service that indexes, stores, and
queries data using familiar SQL syntax
us/services/documentdb/
Azure Table Storage PaaS NoSQL: Key-value
Store
Store large amount of semi-structured data in the cloud https://azure.microsoft.com/en-
us/services/storage/tables/

What do all of these have in common?

They can all use Azure Analysis
Services
Azure Analysis Services

BI semantic model
Business logic & metrics
Data modeling
Security
Lifecycle management
In-memory
cache
On-premises
Cloud
Data sources
SQL Database
SQL Data Warehouse
Other data sources
SQL Server
Analytics platform
system
Other data sources
On-premises
Cloud
Client tools
Power BI
Excel
Third party BI tools
Power BI Desktop

Rich semantic modelling
locatioidentifier
identifiertype
fieldidentifier
numberofunitssoldtodate
remaningnumber
Numberofuntissoldtoday
receivedback
productidentifier
descriptionline1
descriptionline2
qtyafterqtysales
familyidentifier
Source Data
Complex raw data optimized for processing
Semantic Model
Rich, business user friendly semantic model
Product Id
Product Name
Product Description
Category
Category Id
Category Name
Category Description
Sub Category
Product Id
Shelf qty
Return qty
Order qty
Sale qty
Cloud Data
On-Premises
Data

データ管理をきっかけに処理を実行

DOMINOS STORES
Key Vault
Azure Active Directory
Azure Files
SSIS FRANCHISEE
AZURE WEST EUROPE
Azure Function
KEMPSSDE
SSRS
IN- AND EXTERNAL DATA SOURCES

/orderprocessing
O365
App
Insights
/index.html
Azure Functions Proxies
/couponprocessing

Use Bindings in Your Code function.json
"bindings": [
{
"type": "httpTrigger",
"direction": "in",
"webHookType": "genericJson",
"name": "req"
},
{
"type": "http",
"direction": "out",
"name": "res"
},
{
"type": "queue",
"name": "eventOutput",
"queueName": "aievents1",
"connection":"AiStorageConnection",
"direction": "out"
}
]
public static class OrderHandler
{
[FunctionName("OrderWebhook")]
public static async Task<HttpResponseMessage> Run(
[HttpTrigger] HttpRequestMessage req,
[Queue("aievents1", Connection = "AiStorageConnection")]
IAsyncCollector<String> eventOutput,
TraceWriter log)
{
log.Info($"Webhook was triggered!");
string jsonContent = await req.Content.ReadAsStringAsync();
dynamic data = JsonConvert.DeserializeObject(jsonContent);
await eventOutput.AddAsync(
JsonConvert.SerializeObject(GetLogData(data)));
int orderId = PlaceOrder(data);
return req.CreateResponse(HttpStatusCode.OK,
new {orderNumber = orderId });
}
. . .
}

• Workflow in the cloud
• Powerful control flow
• Connect functions and
APIs
• Declarative definition to
persist in source control
and drive deployments

Logic Apps
Cloud APIs and platform
• Supports over 125 built-in connectors
• Scales to meet your needs
• Enables rapid development
• Extends with custom APIs and
Functions
API connections
• Authenticate once and reuse

Big Data Solutions
Decision Tree
https://biz-excellence.com/2016/08/30/big-data-dt/

Machine Learning
Solutions
Decision Tree
https://biz-excellence.com/2016/09/13/machine-
learning-dt/

Microsoft data platform solutions
Product Category Description More Info
SQL Server 2016 RDBMS Earned top spot in Gartner’s Operational Database magic
quadrant. JSON support. Linux TBD
cloud/products/sql-server-2016/
SQL Database RDBMS/DBaaS Cloud-based service that is provisioned and scaled quickly.
Has built-in high availability and disaster recovery. JSON
support
us/services/sql-database/
SQL Data Warehouse MPP RDBMS/DBaaS Cloud-based service that handles relational big data.
Provision and scale quickly. Can pause service to reduce cost
us/services/sql-data-warehouse/
Analytics Platform System (APS) MPP RDBMS Big data analytics appliance for high performance and
seamless integration of all your data
cloud/products/analytics-platform-system/
Azure Data Lake Store Hadoop storage Removes the complexities of ingesting and storing all of your
data while making it faster to get up and running with batch,
streaming, and interactive analytics
us/services/data-lake-store/
Azure Data Lake Analytics On-demand analytics job
service/Big Data-as-a-
service
Cloud-based service that dynamically provisions resources so
you can run queries on exabytes of data. Includes U-SQL, a
new big data query language
us/services/data-lake-analytics/
HDInsight PaaS Hadoop
compute/Hadoop
clusters-as-a-service
A managed Apache Hadoop, Spark, R, HBase, Kafka, and
Storm cloud service made easy
us/services/hdinsight/
DocumentDB PaaS NoSQL: Document
Store
Get your apps up and running in hours with a fully managed
NoSQL database service that indexes, stores, and queries
data using familiar SQL syntax
us/services/documentdb/
Azure Table Storage PaaS NoSQL: Key-value
Store
Store large amount of semi-structured data in the cloud https://azure.microsoft.com/en-
us/services/storage/tables/

Microsoft Big Data Portfolio
SQL Server Stretch
Business intelligence
Machine learning analytics
Insights
Azure SQL Database
SQL Server 2016
SQL Server 2016 Fast Track
Azure SQL DW
ADLS & ADLA
DocumentDB
HDInsight
Hadoop
Analytics Platform System
Sequential Scale Out + AcrossScale Up
Key
Relational Non-relational
On-premisesCloud
Microsoft has solutions covering
and connecting all four
quadrants – that’s why SQL
Server is one of the most utilized
databases in the world

Azure
Data Lake Store
Azure
Blob Storage
Purpose Optimized for big data analytics General purpose bulk storage
Use Cases Batch, Interactive, Streaming App backend, backup data, media storage for
streaming
Units of Storage Accounts / Folders / Files Accounts / Containers / Blobs
Structure Hierarchical File System Flat namespace
WebHDFS Implements WebHDFS No (WASB)
Security AD SAS keys
Storage Auto Shared/Files chunked Manually manage expansion/Files intact
Service State Generally Available. PolyBase
just supported!
Generally Available
Billing Pay for data stored and for I/O Pay for data stored and for I/O
Region Availability Two US regions (Other regions coming soon) All Azure Regions
ADL Store vs Blob Store
https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-comparison-with-blob-storage

Want
Hadoop?
Need exact
same on-
prem
Need
interactive /
streaming?
Mandatory
No strong opinion
Azure Marketplace (IaaS)
• Need all workloads exactly like on-
premises
• Need 100% Hortonworks/Cloudera/MapR
Azure HDInsight
• Most Hadoop workloads
• Fully managed by Microsoft
• Sell HDI + ADLS
• Stickier to Microsoft than VMs
• Can do interactive (Spark) and streaming
(Storm/Spark)
• Easiest experience for admin: no sense of
clusters, instant scale per job
• Easiest experience for developers: Visual
Studio/U-SQL (C#+SQL)
• Sell ADLA + ADLS
• Batch workloads only
Need everything exactly
like on-prem
Need core
projects Yes Batch is OK
Always present
ADLA if .NET or
Visual Studio Shop
If .NET or
VS shop?

Azure SQL DW HDInsight Hive HDInsight Spark Azure Data Lake SQL Server (IaaS)
Volume Petabytes Petabytes Petabytes Petabytes Terabytes
Security Encryption, TD,
Audit
ADLS / Apache
Ranger
ADLS AAD Security
Groups (data)
Encryption, TD
Audit
Languages T-SQL HiveQL SparkSQL, HiveQL,
Scala, Java, Python,
R
U-SQL T-SQL
Extensibility No Yes, .NET/SerDe Yes, Packages Yes, .NET Yes, .NET CLR
External File
Types
ORC, TXT,
Parquet, RCFile
ORC, CSV, Parquet
+ others
Parquet, JSON,
Hive + others
Many ORC, TXT, Parquet,
RCFile
Admin Low-Medium Medium-High Medium-High Low High
Cost Model DWU Nodes & VM Nodes & VM Units/Jobs VM
Schema
Definition
Schema on Write
/ Polybase
Schema on Read Schema on Read Schema on Read Schema on Write /
Polybase
Max DB Size 240TB Comp (5X
= 1PB)
Unlimited 64TB (64 1TB drives)

機械学習 Deep Learning 深層強化学習
画像解析
音声解析
データ分類
異常検知, 顧客グルーピング
数値予測
売上予測, 需要予測, 品質管理
ラベル分類
不良品分析, 故障予測, チャーン分析
機械学習より強力な分析
自律学習型ロボット
自動運転車
テキストや画像等の自動生成
活用例
主に多層のニューラルネットワーク
を用いた手法での分析
分析のためには、莫大なデータ量、
計算量、知識・スキルを要する
統計に基づいた手法での分析
そのため、比較的少ないデータ量と
計算量で分析を行うことができる
定義したあるべき姿に従い試行錯誤
をして自ら学習を行うための分析手
法である強化学習と、深層学習を組
み合わせた分析
Azure Machine Learning Cognitive Toolkit / GPU Instance (N-Series)
マイクロソフトが提供する技術

テキストデータ
機器のログデータなど
画像データ
監視カメラの録画データ, 機器の外観画像, 顔画像など
動画データ
監視カメラの録画データ, 機器の稼働状況, 人の作業映像など
音声データ
マイクからの収集データ, 稼働音, 室内音, 人の音声など
数値データ
センサーデータ, 機器の制御データ＆計測データなど67,234,23,45...
機械学習
・統計理論に基づいた
分析手法を用いる
・用意するべきデータ量と
処理する計算量の敷居が低め
・導入しやすい
Deep Learning
・データ量が大きいため、
強力な分析手法が必要
・「膨大なデータ量を用意」
「莫大な計算量を処理」
が必要で、敷居が非常に高い
・導入にはそれなりの覚悟が必要

Action
People
Automated
Systems
Apps
Web
Mobile
Bots
Intelligence
Dashboards &
Visualizations
Cortana
Bot
Framework
Cognitive
Services
Power BI
Information
Management
Event Hubs
Data Catalog
Data Factory
Machine Learning
and Analytics
HDInsight
Stream
Analytics
Intelligence
Data Lake
Analytics
Machine
Learning
Big Data Stores
SQL Data
Warehouse
Data Lake
Store
Data
Sources
Apps
Sensors
&
Devices
Data
Cortana Intelligence Suite

学習済み
モデル利用
学習モデル
作成

機械学習教師あり学習
教師なし学習
強化学習
決定木
線形回帰
SVM
ロジスティック回帰
ニューラルネットワーク
クラスタリング
次元削減
Q学習
K-mean法
主成分分析
正準相関分析
ディープニューラル
ネットワーク
畳みこみニューラル
ネットワーク
再帰的ニューラル
ネットワーク
回帰結合ニューラル
ネットワーク

https://azure.microsoft.com/en-us/services/cognitive-services/
わずか数行のコードで強力なアルゴリズムを持つアプリの作成が可能です。
iOS、Android、Windows などのプラットフォームを問わず機能します。

https://azure.microsoft.com/ja-jp/services/machine-learning/
ユーザーは簡単に予測分析ソリューションを構築、デプロイ、共有できます。

https://www.youtube.com/watch?v=9gDDO5ldT-4&feature=youtu.be
AI技術を利用したディープラーニング(深層学習)ツールキットです。旧称「CNTK」から改名されました。
ソースコード： https://github.com/Microsoft/CNTK

SearchSpeech
マーケティング (Buzz)
新規チャネル
定型業務の削減
新たな解決方法
製品の評価分析
お客様対応の向上
コカ・コーラ誕生
100周年キャンペーン
コカ・コーラボトルを
「100歳」と認識
• 自撮り写真をUp
＆結果をSNS拡散
ナビタイムジャパン様
自然言語入力による
路線検索BOT
• ユーザーとの新たな接点
(LINE)
• 自然言語入力
Vision Language Knowledge

Vision Knowledge SearchSpeech Language
新規チャネル
Microsoft Support
Virtual Agent
自然言語入力による
自動応答サポート窓口
• 過去Q&Aデータ解析
に基づく回答抽出
• 定型外は“人対応”
UBER
登録ドライバーを
スマホ経由で顔認証
VOLVO
表情からの危険予測

Search
新規チャネル
アロバ様
監視カメラによる
店舗内行動分析
• 顔認識による顧
客識別
• 表情分析
東京サマーランド
様にて導入済み
HmComm 様
コールセンター
ソリューション
• 会話をテキスト化、
キーワードを解析
• 過去Q&A検索
• 内容をCRM保存
Vision KnowledgeSpeech Language

導入事例：東京サマーランド様

Video
Intelligent Kiosk
https://github.com/Microsoft/Cognitive-Samples-IntelligentKiosk

“(want to|request)”
HoloLens
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・

やりたいことから考えるMicrosoft Azure 上のデータストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで

やりたいことから考えるMicrosoft Azure 上のデータストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで

Recommandé

Recommandé

Contenu connexe

Tendances

Tendances (20)

Similaire à やりたいことから考えるMicrosoft Azure 上のデータストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで

Similaire à やりたいことから考えるMicrosoft Azure 上のデータストアの選び方とデータサイエンティスト向け活用法。KVSからDWHまで (20)

Plus de Daisuke Masubuchi

Plus de Daisuke Masubuchi (20)

Dernier

Dernier (8)