Azure Cosmos DB 用 Azure Synapse Link についての紹介資料です。 JSSUG (Japan SQL Server User Group) 第33回 SQL Server 勉強会

1. Azure Synapse Link
Intro
33rd SQL Server Study – 22nd Aug, 2020
#JSSUG #msdevjp
Presented by @mappie_kochi

2. 04
03
02
01
Agenda
概要
Azure Synapse Link の概要とアップデート予定
Azure Cosmos DB ⽤ Azure Synapse Link の設定
構築
Azure Synapse Link から Azure Cosmos DB 分析ストアに接続
操作
まとめ
#JSSUG #msdevjp

3. Azure Synapse Link について
概要
#JSSUG #msdevjp

4. • ユーザーのETLに対する対応がなくなり、
ほぼリアルタイムで緊密でシームレスな統
合が可能
• ビジネスインテリジェンス (BI)、分析、機
械学習パイプラインとの連携
• Synapse Spark もしくは Synapse
SQL にてリンクされたデータにアクセス
Azure
Synapse Link
抽出・変換・ロードのための
対応がゼロに
クラウドネイティブのハイブリッドトランザクションと分析処理
(HTAP) 機能
#JSSUG #msdevjp

5. HTAP (Hybrid Transaction Analytical Processing)
同じデータベースの中にトランザクション処理⽤の
⾏指向テーブルと、分析処理に最適化した列指
向テーブルを混在させるハイブリット戦略
同じインメモリDB上で処理
発想としては昔から登場しており、いわゆる
「基幹系と情報系の⼀元化」に通じる内容
HTAPはコンセプト
トランザクション処理向けに
最適化
⾏指向テーブル
分析処理向けに最適化
列指向テーブル
#JSSUG #msdevjp

6. Azure Synapse Link の利点
01 Azure Synapse Studio Orchestrate や
Azure Data Factory などを使⽤した ETL
ジョブの実⾏・管理がない。
管理する ETL ジョブがない
03 Azure Synapse Link for Azure Cosmos
DB の場合、Azure Synapse Link は Azure
Cosmos DB 分析ストアにアクセスするため、運
⽤ワークロードへの影響がない。
運⽤環境への影響がない
05 従来必要だった ETL パイプライン⽤のストレージ
とコンピューティングのレイヤーが不要。
Azure Synapse Analytics の⾼度なエラス
ティックコンピューティングエンジンを使⽤してデータ
にアクセスすることで実⾏コストが⼤幅に向上。
コスト効率がよい
02運⽤データに対して⾏われたすべての更新に対し
て、ほぼリアルタイムで直接アクセス可能。
ほぼリアルタイムにアクセス
04Azure Synapse Link for Azure Cosmos
DB の場合、Cosmos DB が複数の Azure
リージョンに分散している場合は最も近いリージョン
コピーに対して分析クエリを発⾏。
グローバルに分散されたデータも対応
#JSSUG #msdevjp

7. Azure Synapse Link for Azure Cosmos DB
トランザクションストア 分析ストア
トランザクションの読み
取りおよび書き込み用に
最適化された行ストア
分析クエリ用に最適化された
列ストア
運用データ
機械学習
ビックデータ分析
BI ダッシュボード
自動で同期自動で同期
#JSSUG #msdevjp

8. サポート内容
Azure Cosmos DB の場合、「HTAP コンテナー」と「OLAP コンテナー」の2種類のコンテナーが存在
※Azure Synapse Link が有効になっているのは HTAP コンテナー
#JSSUG #msdevjp

9. サポートされる Spark のコード⽣成アクション
詳細は、https://docs.microsoft.com/ja-jp/azure/synapse-analytics/synapse-
link/concept-synapse-link-cosmos-db-support を参照
#JSSUG #msdevjp

10. 制限事項 (2020/8/22 現在)
• パブリックプレビューは Azure Cosmos DB SQL (Core) API のみ
• MongoDB API および、Cassandra API については、プライベートプレビュー
• 今後は、すべての API で実⾏できるようになる (予定らしい)
• 分析ストアは新規コンテナーのみ設定可能
• Azure Cosmos DB アカウントは新規でも既存でも OK
• すでにあるコンテナに対して分析ストアを有効にすることはできない
• Synapse SQL でのアクセス
• Synapse SQL Serverless での Azure Cosmos DB 分析ストアへのアクセスはプライベートプレビュー
• プロビジョニング済み Synapse SQL でのアクセスは未対応
• 2020/9 以降は、Azure Synapse Link について以下の課⾦が発⽣する予定
• Azure Cosmos DB 分析ストアの課⾦
#JSSUG #msdevjp

11. Azure Synapse Link の設定
構築
#JSSUG #msdevjp

12. 設定は 4 ステップ
Azure Synapse ワーク
スペース環境を作成
Spark プールを追加
02 Synapse ワー
クスペースを作成
Azure Cosmos DB の
データエクスプローラーから
Synapse Link を有効
化
03 Synapse
Link 有効化
Synapse ワークスペース
から Linked Services
を設定
04 接続
Azure Cosmos DB ア
カウント (SQL API) を
作成
01 Cosmos DB
作成
#JSSUG #msdevjp

13. 詳細な解説は ブログ記事にて
https://qiita.com/ymasaoka/items/3caac5045f0e5349504f
#JSSUG #msdevjp

14. Demo

15. Azure Cosmos DB 分析ストアへの接続
操作
#JSSUG #msdevjp

16. GitHub サンプル
本家 (English): Azure-Samples/Synapse
⽇本語訳 (Japanese): ymasaoka/Synapse
※⽇本語訳は、独⾃で⽇本語訳を⾏った内容であり、Microsoft ⾮公式の内容です。
#JSSUG #msdevjp

17. Demo

18. 詳細な解説は ブログ記事にて
https://qiita.com/ymasaoka/items/c177152672a8280ff4f7
#JSSUG #msdevjp

19. まとめ
• 構造化データ、⾮構造化データ関係なく同じように活⽤できる時代が⽬の前に︕
• Synapse Link を使⽤して、Azure Synapse Analytics で既存データをさらに活⽤
• Synapse Link を試すなら、Synapse Analytics のリンクサービスとして Cosmos DB を登録
• パプリックプレビューは SQL API のみ
• MongoDB API および、Cassandra API については、プライベートプレビュー
• Azure Cosmos DB データエクスプローラーでも有効化設定が必要
• 2020/08/31 までは無料で利⽤可能 (試すなら今︕)
• Synapse Link でデータアクセスするには、Synapse Spark もしくは Synapse SQL を利⽤
• 2020/08/22 現在は Synapse Spark でアクセス
• Synapse SQL Serverless でのアクセスはプライベートプレビュー
• プロビジョニング済み Synapse SQL でのアクセスは未対応
#JSSUG #msdevjp