第29回 SQL Server 勉強会 (JSSUG) - Azure Synapse Analytics 概要

畠山大有 | Daiyu Hatakeyama | @dahatake
Architect && Software Engineer && Applied Data Scientist
Microsoft Japan
Azure Synapse Analytics
最初の一歩

Big Data
または
Relational Data
Data Lake Data warehouse
使いやすさ
迅速な探索
すぐに利用開始
実証済みのセキュリティ
鉄壁のプライバシー
信頼性の高いパフォーマン
ス

使いやすさ
迅速な探索
すぐに利用開始
実証済みのセキュリティ
鉄壁のプライバシー
信頼性の高いパフォーマン
ス

制限のない世界へようこそ
データウェアハウスとビッグデータ分析を 1 つのサービスに統合

a new class of analytics service
サーバーレス型 + プロビジョニング型
統合された SQL + Spark
構造/非構造データに対する
統合されたセキュリティ
ワークロード認識型分析
オンラインスケーリング
共有データに対する
マルチコンピュートプール
Azure Synapse

Azure Analytics
Store
Transform QueryIngest
Azure
Data Factory
Azure Data Lake
Storage
Azure Databricks Azure SQL Data
Warehouse
クラウドデータ
SaaS データ
オンプレミスデータ
デバイスデータ
Power BI
Azure
Machine Learning

Limitless data warehouse with unmatched time to insights
Store Azure Data Lake Storage
クラウドデー
タ
SaaS データ
オンプレミスデータ
デイバイス
データ
Power BI
Azure
Machine Learning

Azure Synapse は、すべての要素がうまく組み合わされ
た
シームレスな統合により、分析プロセスをさらに合理
化させることが可能でしょう。
Azure Synapse は、データエンジニアからアナリスト
まで、すべてのユーザーが簡単に共同作業を行い、ビ
ジネス価値を向上させるために、すべてを統合するこ
とを可能にするでしょう。
Azure Synapse は、ドイツ銀行のような組織が分析ワー
クロードに必要とするスケーラビリティを提供すると
同時に、インフラストラクチャの複雑さを軽減します。
Azure Synapse は、より高速な分析、より迅速なインサ
イト、
そして、より良いディシジョンと改善された効果を得
る為の
素早い道筋を実現させます。
Azure Synapse は、大容量のデータから迅速かつ簡単に、
ストレスなくデータの検索や探索ができ、当社のビジ
ネスの価値を最大化することができる、これまで不足
していたピースです。
早期採用企業からのフィードバック

• Challenge
• Solution
ユニバーサル
データ
レイクビジネスデータレイク
 Spark と SQL 両方のワークロード
すべての
タスクを管理
Azure Synapse によるエンド to エンドの
分析

Integrated data platform for BI, AI and continuous intelligence
Platform
Azure
Data Lake Storage
Common Data Model
Enterprise Security
Optimized for Analytics
METASTORE
SECURITY
MANAGEMENT
MONITORING
DATA INTEGRATION
Analytics Runtimes
PROVISIONED ON-DEMAND
Form Factors
SQL
Languages
Python .NET Java Scala R
Experience Synapse Analytics Studio
AI / Machine Learning / IoT / Intelligent Apps / BI をシングルサービスで

大規模 DWH クエリでは、世界最高性能
https://azure.microsoft.com/en-us/services/sql-data-warehouse/compare/

Control
Node
Compute
Node
Compute
Node
Compute
Node
Compute
Node
SQL
DB
SQL
DB
SQL
DB
SQL
DB
Blob storage
コンピュート
• クエリ処理
• スケールアップ/ダウン
ストレージ
Blob Storage でのデータ管
理
Massively Parallel
Processing (MPP) Engine
Azure Infrastructure and
Storage
App
Data Loading
(PolyBase, ADF, SSIS, REST,
OLE, ODBC, ADF, AZCopy, PS)
DMS
SQL
DB
制御ノード
• 接続管理
• コンピュートと
ストレージの調整
DMS
DMS DMS DMS
データ移動サービス
ノード/ストレージ間の
データ移動調整
SQL Data warehouse - Architecture

D36 D48D42 D54 D60
D32 D44D38 D50 D56
D33 D45D39 D51 D57
D34 D46D40 D52 D58
D35 D47D41 D53 D59
D31 D43D37 D49 D55
ディストリビューショ
ン
(60 の非共有ストレー
ジ)
コントロール
ノード
コンピュート
ノード
DMS
DMS
D12D6 D18 D24 D30
D8D2 D14 D20 D26
D9D3 D15 D21 D27
D10D4 D16 D22 D28
D11D5 D17 D23 D29
D7D1 D13 D19 D25
Data Movement
Services

D12D6 D18 D24 D30
D8D2 D14 D20 D26
D9D3 D15 D21 D27
D10D4 D16 D22 D28
D11D5 D17 D23 D29
D7D1 D13 D19 D25
ディストリビューショ
ン
(60 の非共有ストレー
ジ)
コントロール
ノード
DMS
D36 D48D42 D54 D60
D32 D44D38 D50 D56
D33 D45D39 D51 D57
D34 D46D40 D52 D58
D35 D47D41 D53 D59
D31 D43D37 D49 D55
DMS DMS DMS DMS DMS DMS
コンピュート
ノード
DMS DMS DMS DMS
Data Movement
Services

Control Node
Compute Node
Storage
Result
Compute NodeCompute Node
Alter Database <DBNAME> Set Result_Set_Caching O
Best in class price
performance
Interactive dashboarding with
Result-set Caching
- ミリ秒のレスポンス
- Pause/Resume/Scale 実行時にもキャッシュは持続
- 完全なマネージドキャッシュ (1 TB サイズ)

Best in class price
performance
Interactive dashboarding with
Materialized Views
- 自動的なデータリフレッシュとメンテナンス
- 自動的なクエリリライト
- ビルトインアドバイザー

Intra Cluster Workload Isolation
(Scale In)
Marketing
CREATE WORKLOAD GROUP Sales
WITH
(
[ MIN_PERCENTAGE_RESOURCE = 60 ]
[ CAP_PERCENTAGE_RESOURCE = 100 ]
[ MAX_CONCURRENCY = 6 ]
)
40%
Compute
1000c DWU
60%
Sales
60%
100
%
Workload aware query
execution
Workload Isolation
- 複数ワークロードの共有
- 予約とリソース共有の設定
- オンラインでの変更

Event Hubs
IoT Hub
Heterogenous Data
Preparation & Ingestion
Native SQL Streaming
- 高スループットの取込み (最大 200MB/秒)
- 数秒レベルの遅延
- 取込みスループットは、コンピュートスケールで設定
- 分析機能 (SQL ベースクエリ for joins, aggregations, filters)
Streaming Ingestion
T-SQL Language
Data Warehouse
SQL Analytics

Streaming Ingestion
Event Hubs
IoT Hub
T-SQL Language
Data Warehouse
Azure Data Lake
--Copy files in parallel directly into data warehouse table
COPY INTO [dbo].[weatherTable]
FROM 'abfss://<storageaccount>.blob.core.windows.net/<filepath>'
WITH (
FILE_FORMAT = 'DELIMITEDTEXT’,
SECRET = CredentialObject);
Heterogenous Data
Preparation &
Ingestion
COPY ステートメント
- 単純な権限 (CONTROL 権限は不要)
- 外部テーブルは不要
- 標準的な CSV をサポート (例 : custom row terminators,
escape delimiters, SQL dates)
- ワイルドカードのサポート
SQL Analytics

--T-SQL syntax for scoring data in SQL DW
SELECT d.*, p.Score
FROM PREDICT(MODEL = @onnx_model, DATA = dbo.mytable AS d)
WITH (Score float) AS p;
Upload
models
T-SQL Language
Data Warehouse
Data
+
Score
models
Model
Create
models
Predictions
=
SQL Analytics
機械学習の
推論組み込み

Data Lake Integration
ParquetDirect for interactive data lake
exploration
- 10 倍超の性能改善
- Full カラム型最適化 (optimizer, batch)
- ビルトインの透過的キャッシング (SSD, in-memory,
resultset)
13X
SQL Analytics

SELECT
TOP 100 *
FROM
OPENROWSET(
BULK 'https://<storage>/path/to/files/*.parquet’,
FORMAT = 'Parquet’
) AS [r]
Data Lake SQL on-demand Client

フォルダー内のファイルのサブセットの読み取り複数フォルダーにあるすべてのファイルの読み取り
SELECT
payment_type,
SUM(fare_amount) AS fare_total
FROM OPENROWSET(
BULK 'https://XXX.blob.core.windows.net/csv/taxi/
yellow_tripdata_2017-*.csv',
FORMAT = 'CSV',
FIRSTROW = 2 )
WITH (
vendor_id VARCHAR(100) COLLATE Latin1_General_BIN2,
pickup_datetime DATETIME2,
dropoff_datetime DATETIME2,
passenger_count INT,
trip_distance FLOAT,
<…columns>
) AS nyc
GROUP BY payment_type
ORDER BY payment_type
SELECT YEAR(pickup_datetime) as [year],
SUM(passenger_count) AS passengers_total,
COUNT(*) AS [rides_total]
FROM OPENROWSET(
BULK 'https://XXX.blob.core.windows.net/csv/t*i/',
FORMAT = 'CSV',
FIRSTROW = 2 )
WITH (
vendor_id VARCHAR(100) COLLATE Latin1_General_BIN2,
pickup_datetime DATETIME2,
dropoff_datetime DATETIME2,
passenger_count INT,
trip_distance FLOAT,
<… columns>
) AS nyc
GROUP BY YEAR(pickup_datetime)
ORDER BY YEAR(pickup_datetime)

JSON_QUERY 関数の例JSON_VALUE 関数の例
SELECT
JSON_QUERY(jsonContent, '$.authors') AS authors,
jsonContent
FROM
OPENROWSET(
BULK 'https://XXX.blob.core.windows.net/json/books/*.json',
FORMAT='CSV',
FIELDTERMINATOR ='0x0b',
FIELDQUOTE = '0x0b',
ROWTERMINATOR = '0x0b'
)
WITH (
jsonContent varchar(8000)
) AS [r]
WHERE
JSON_VALUE(jsonContent, '$.title') = 'Probabilistic and Statist
ical Methods in Cryptology, An Introduction by Selected Topics'
SELECT
JSON_VALUE(jsonContent, '$.title') AS title,
JSON_VALUE(jsonContent, '$.publisher') as publisher,
jsonContent
FROM
OPENROWSET(
BULK 'https://XXX.blob.core.windows.net/json/books/*.json',
FORMAT='CSV',
FIELDTERMINATOR ='0x0b',
FIELDQUOTE = '0x0b',
ROWTERMINATOR = '0x0b'
)
WITH (
jsonContent varchar(8000)
) AS [r]
WHERE
JSON_VALUE(jsonContent, '$.title') = 'Probabilistic and Statisti
cal Methods in Cryptology, An Introduction by Selected Topics'

類似点
分散型 Analytics Engine
T-SQL のサポート
データウェアハウス機能
相違点
サーバーレスクエリ
データはデータレイクに存在し、データ
ロード不要
管理オーバーヘッドが無い
適用領域
データレイクに対するダイレクトクエリ
類似点
分散型 Analytics Engine
T-SQL のサポート
データウェアハウス機能
相違点
プロビジョニングされている
ロードデータに対するガバナンスが有効
ワークロードに特化した最適化
先進的なワークロードマネジメント
適用領域
ロードデータに対する最適化されたワーク
ロード

Data Lake 上のあらゆるデータをペタバイトスケールでクエリ可能
ステートレス型のサービスアーキテクチャ – 状態とコンピューティングの分離
同一形態のサービスとしては、最高レベルの性能
自己チューニング型のワークロードマネジメント：キャパシティプランニング, ア
クセス制御,
リソースガバナンス
リソース状況認識型タスクスケジューラーによる高い同時実行性

SQL クエリを実行するだけ, 管理インフラは不要 !
データは、Azure Storage に配置するだけ, コピーやロードは不要 !
Spark で定義したテーブルが自動的に利用可能, データの 2 重保持は不要 !
SQL のスキルと好みのツールを利用, 新たな学習は不要 !
SQL グレードのセキュリティ, 妥協の必要はなし !

ボトルネック
• 巨大なDB
複数データソース
小さい
Web /
Mobile
Operational
Store
Data
Warehouse

SQL Database PostgreSQL MySQL
Azure Hyperscale Databases
スケールする Relational Databases
100 Tran / sec
GB
100万 Tran / Sec
100TB

Azure
Open Source AnalyticsAzure Analytics
ベストな OSS と Azure サービスを組み合わ
せ、
エンド to エンドのシングルサービスとして
提供
HDInsight
Enterprise-grade service for open source analytics
Ingest
Azure Data
Factory
Prep
Azure
Databricks
Explore
Azure Data
Explorer
Streaming
Azure Stream
Analytics
IoT
Azure IoT
Hub
Share
Azure Data
Share
Store
Azure Data
Lake Storage
Hadoop Spark Kafka
Azure Synapse Azure HDInsight

Web /
Mobile
Operational
Store
IoT Type
Ingest
Analytical
Store
Visualize
API
Build ML
Model
Data
Warehouse
Orchestrater
Search
Streaming

DATA LAKE
Hash Partitions
UserPartitions

DATA LAKE
Hash Partitions
UserPartitions
COMPUTE
Data Cell
Query Task

Data movement
channel
Communication channel
DATA LAKE
Meta data
Transactions
Centralized services
UserPartitions
Hash Partitions

Data movement
channel
Elastic DQP - Auto-scale
Meta data
Transactions
Auto-scale
• 増分単位は、ノード
• タスクは以前のトポロジーで継続実行
• スケールは、セルの数と同じタスク数に制
限

Data movement
channel
Elastic DQP - Auto-scale
Meta data
Transactions
Auto-scale

Data movement
channel
Elastic DQP - Fault tolerance
Meta data
Transactions

Data movement
channel
Elastic DQP - Fault tolerance
Meta data
Transactions
Fault tolerance

Data movement
channel
Elastic DQP - Hot spot
Meta data
Transactions

Data movement
channel
Meta data
Transactions
Hot spot

Data movement
channel
Meta data
Transactions
Sustained hot spot

• Azure ストレージアカウント (非構造化データ)、 Synapse データセット (準構造化データ) 、
Synapse データベース (構造化データ) をシングルウィンドウで表示し、データ探索を行う

• Azure Data Lake Storage Gen2 アカウントとファイルシステムの表示
ADLS Gen2 Account
Container (filesystem)
Filepath

• データのプレビュー

• アクセス制御 - ファイルやフォルダーに対して、POSIX ACL 準拠の設定

• SQL スクリプトや Notebook を
• T-SQL や PySpark コードを自動生成します

• 複数ファイルを同時に選択 (対象に) して、１つの SQL スクリプトを自動生成

• １つのワークスペースに存在している異なる複数の
データベース (SQL pool, SQL on-demand, Spark SQL) を
１つのウィンドウで閲覧
SQL pool
SQL on-demand
Spark

テーブルから DataFrame にロードする PySpark のコードを生成

• Notebooks
• %%<言語名>

• Notebook のセルを実行すると、セルの直下に Spark アプリケーションの実行状況が表示

• スケーラビリティ
• ジョブ当たり最大 4GB/s のスループット
• シンプル
• ビジュアルオーサリング、もしくは、コード (Python, .Net, etc.) ベース
• サーバーレスで、インフラの管理は不要
• あらゆるデータへアクセス
• 90 以上のコネクターが提供され、更に、クラウド/オンプレミス/SaaS の全領域で拡大
• 自己ホスト型統合ランタイムによって、ハイブリッドなデータ移動を実現

• データフローは、ビジュアルにデータ変換
• コードフリー

Synapse ワークスペース内で、Save
ボタンをクリックするだけで、変更
がパブリッシュ

Step-by-Step Achievements スムーズな学習環境
 無料
 日本語対応
 ブラウザーのみでOK
ハンズオン環境も含めて
 ダウンロード可能なサンプ
ルコード
 Product/Service, 技術レベル,
job role, などに応じたガイダ
ンス
 Video, チュートリアル, ハンズ
オン
 スキルアップを促す
 ユーザープロファイ
ル毎に
カスタマイズ
www.microsoft.com/learn

www.microsoft.com/ja-jp/events

第29回 SQL Server 勉強会 (JSSUG) - Azure Synapse Analytics 概要

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to 第29回 SQL Server 勉強会 (JSSUG) - Azure Synapse Analytics 概要

Similar to 第29回 SQL Server 勉強会 (JSSUG) - Azure Synapse Analytics 概要 (20)

More from Daiyu Hatakeyama

More from Daiyu Hatakeyama (20)

Recently uploaded

Recently uploaded (11)

第29回 SQL Server 勉強会 (JSSUG) - Azure Synapse Analytics 概要