Google Cloud Next 19 in Tokyo ミニセッション資料

1. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync × Google BigQuery
３ステップで各データソースとのデータ連携を実現

2. © 2019 CData Software Japan, LLC | www.cdata.com/jp
クラウドエース様との協業を開始

3. © 2019 CData Software Japan, LLC | www.cdata.com/jp
自己紹介
• CData Software Japan 合同会社
• エンジニア
• 宮本 航太
• @miyamon(Twitter)
• kota.miyamoto.902(Facebook)

4. © 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・（デモ）同期ジョブ作成～実行まで
・CData Sync の活用例 と 様々な機能について
・BigQuery 対応のCData Driver

5. © 2019 CData Software Japan, LLC | www.cdata.com/jp
About CData Software
Bi-directional Access to Live App, Database, & Web API Data Through Standard Drivers
・CData Software, Inc. / Started: 1994 (/nsoftware)
・Location: Chapel Hill, NC a spin-off of /n software
・CData Japan: 2016/6 (JV with Infoteria)
・20年以上にわたりデータ関連コンポーネントを提供
・150+ 対応データソース
・「標準化によりAPI を使いやすく」をミッションに連携ツールを提供

6. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CDatα Software = データ連携用のドライバ屋
150+種類のデータソース 標準SQLインタフェース
SELECT * from クラウド が出来る 各種 ドライバ を提供

7. © 2019 CData Software Japan, LLC | www.cdata.com/jp
ドライバでAPIをデータベースとして操作
ユーザーはAPIを意識することなく、
データベースを扱う感覚でクラウドデータとの連携を実現

8. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Global Customers

9. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Software Japan Customers

10. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Drivers はOEM で活躍
Embedded in the leading BI, ETL, Data Integration, Data Virtualization, and Data Warehousing tools

11. © 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・（デモ）同期ジョブ作成～実行まで
・CData Sync の活用例 と 様々な機能について
・BigQuery 対応のCData Driver

12. © 2019 CData Software Japan, LLC | www.cdata.com/jp
About CData SyncTM
Replicate Any Data Source To Any Database With A Few Clicks
 クラウド/SaaS のデータをノンコーディングで直観的
にDB にレプリケーション（複製）できるツール
 クラウドデータを使い慣れたRDB やデータストアに
同期

13. © 2019 CData Software Japan, LLC | www.cdata.com/jp
同期先を BigQuery、 Cloud SQL にした場合の
イメージ

14. © 2019 CData Software Japan, LLC | www.cdata.com/jp
イメージ① クラウド、オンプレのDBを同期
Oracle
SQL Server
MySQL
PosgreSQL
・オンプレ
・クラウド ・BigQuery、Cloud SQL

15. © 2019 CData Software Japan, LLC | www.cdata.com/jp
イメージ② DB以外のデータソースを同期
・BigQuery、Cloud SQL
・クラウドデータソース
Salesforce
kintone
Marketo
Google
Spreadsheets
Twitter
Google
Analytics
Office 365
Dynamics
365
JSON
XML
・ファイル
CSV

16. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync の主な特徴
Replicate Any Data Source To Any Database With A Few Clicks

17. © 2019 CData Software Japan, LLC | www.cdata.com/jp
And more…
Salesforce
FacebookGmail Twitter Stripe
Google
Adwords
Dynamics
365
JSON
Google
Analytics
JiraGitHubTwilio
kintone
Office 365
Quick BooksZohoHubSpot Sugar CRMSharePointEloquaMarketoNetSuiteDynamics
CRM
YouTube
Analytics
Google
Spreadsheets
SendGridSAPActive
Driectory
Google
Contacts
XML
CData Sync Data Sources
100 を超えるエンタープライズデータソースに対応

18. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Cloud
Access
On premise
MySQLDB2 MongoDB
PosgreSQL SQL Server SQLite
CSVCassandra
Oracle
Amazon
Redshift
Amazon S3 Snowflake
Google
Cloud SQL
Google
BigQuery
Azure SQL
Database
CData Sync 同期先DB
主要RDB から、クラウドデータストアまで
And more…

19. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync のメリット
データ連携部分のコストを削減させ、同期先データの使い方に注力することができます
ノーコードでこれだけのデータソースを扱うことができること！

20. © 2019 CData Software Japan, LLC | www.cdata.com/jp
CData Sync の多様な活用シーン
And more…

21. © 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・（デモ）同期ジョブ作成～実行まで
・CData Sync の活用例 と 様々な機能について
・BigQuery 対応のCData Driver

22. © 2019 CData Software Japan, LLC | www.cdata.com/jp
3ステップでノーコードで同期設定
①データソースを選択して、コネクショ
ン設定
②同期先DB、データストアを選択し
てコネクション設定
③同期先ジョブ（テーブル、条件、
バッチ感覚など）を設定

23. © 2019 CData Software Japan, LLC | www.cdata.com/jp
デモで行う同期内容について
・BigQuery
・Salesforce
• Salesforce にある Account オブジェクトを
BigQuery に 「Account」 テーブルとして流し込みます。
Account

24. © 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ１. データソースの接続情報を設定

25. © 2019 CData Software Japan, LLC | www.cdata.com/jp

26. © 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ２. 同期先の接続情報を設定

27. © 2019 CData Software Japan, LLC | www.cdata.com/jp

28. © 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ３. 同期ジョブを作成

29. © 2019 CData Software Japan, LLC | www.cdata.com/jp
And more…

30. © 2019 CData Software Japan, LLC | www.cdata.com/jp
ステップ１～３で作成したジョブを実行してみます

31. © 2019 CData Software Japan, LLC | www.cdata.com/jp

32. © 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・（デモ）同期ジョブ作成～実行まで
・CData Sync の活用例 と 様々な機能について
・BigQuery 対応のCData Driver

33. © 2019 CData Software Japan, LLC | www.cdata.com/jp
悩み：経営分析のため毎月のデータを保持したい
実現するためには色々面倒な壁が。DB定義修正、処理追加、テストなどなど
各月で確定した集計データは見れるんだけど、
そこからドリルダウンしてもっとみたい！
各月で締めたデータを保持するのはできるんだけど、
DB定義も修正して、月次バッチにも処理を追加したり、い
ろいろ工数が掛かりそうだな。

34. © 2019 CData Software Japan, LLC | www.cdata.com/jp
１テーブルに年月カラムを追加してデータを蓄積
月次処理６月分 月次処理７月分 月次処理８月分
YYYYMM ID Name
201906 00001 cdata1
YYYYMM ID NAME
201906 00001 cdata1
201907 00002 cdata2
YYYYMM ID NAME
201906 00001 cdata1
201907 00002 cdata2
201908 00003 cdata3

35. © 2019 CData Software Japan, LLC | www.cdata.com/jp
同期した月毎にテーブルを分けて保持
月次処理６月分 月次処理７月分 月次処理８月分
BigQuery の場合、クエリのたびに対象テーブルをフルスキャンするため、
対象のテーブルを絞り込むことによってコスト削減につながる

36. © 2019 CData Software Japan, LLC | www.cdata.com/jp
差分があったデータのみ分割テーブルとして保持
月次処理６月分 月次処理７月分 月次処理８月分
YYYYMM ID NAME
201907 00006 cdata6
YYYYMM ID NAME
201908 00007 cdata7
201908 00008 cdata8
201908 00009 cdata9
YYYYMM ID Name
201906 00001 cdata1
201906 00002 cdata2
201906 00003 cdata3
201906 00004 cdata4
201906 00005 cdata5
当該月データのみを持つテーブル構造なので、テーブルの絞り込みによりコスト削減
※差分更新可能なデータソースのみ対応

37. © 2019 CData Software Japan, LLC | www.cdata.com/jp
定期ジョブとしてスケジューリング
• 月単位だけではなく、時間単位や日単位でもスケジューリングが可能

38. © 2019 CData Software Japan, LLC | www.cdata.com/jp
定期ジョブとしてスケジューリング
• Cron 形式でスケジューリングもできます！

39. © 2019 CData Software Japan, LLC | www.cdata.com/jp
API も自動的に作成されます
コマンドベースでジョブの作成や実行が可能

40. © 2019 CData Software Japan, LLC | www.cdata.com/jp
他にも……
• SQLの関数を使うことや、テーブル結合も可
• 同期先のテーブル削除、データ削除を行ってからのジョブ実行
• 差分更新も可（対応しているコネクタのみ）
• CData Sync はクロスプラットフォームに対応
・・・・

41. © 2019 CData Software Japan, LLC | www.cdata.com/jp
アジェンダ
・CData Software について
・CData Sync について
・（デモ）同期ジョブ作成～実行まで
・CData Sync の活用例 と 様々な機能について
・BigQuery 対応のCData Driver

42. © 2019 CData Software Japan, LLC | www.cdata.com/jp
BigQuery 対応の CData Driver
ODBC、JDBC、ADO.NET、
Excel Add-In など、
多種多様なアプリケーションと
BigQuery とのデータ連携を実現

43. © 2019 CData Software Japan, LLC | www.cdata.com/jp
Contact Us
Worldwide Offices for Global Sales and Support
30日間ご利用頂ける無償評価版
がダウンロード可能です。
ご試用お待ちしてます！！
https://www.cdata.com/jp/sync/

44. © 2019 CData Software Japan, LLC | www.cdata.com/jp
最後に
本日のミニセッションの詳しい内容は、
CData Software Blog に掲載してい
ます！
こちらの QRコードからGO！！
★クラウドエース様ブース近辺にいますので、お気軽にお声がけください★