2021年11月11日に実施した「Qlik Replicateを基礎から学ぶ勉強会#10 - Google BigQuery/Cloud Storage・DB2 for LUWエンドポイントと利用編」の資料です。

1. © 2019 QlikTech International AB. All rights reserved.
Google BigQueryの
ターゲットエンドポイント
としての利用
クリックテック・ジャパン株式会社

2. © 2019 QlikTech International AB. All rights reserved.
2
• Google BigQuery側での基本セットアップ
• Qlik Replicate側での基本セットアップ
• Qlik Replicateでのエンドポイント定義
• 制限事項など
アジェンダ

3. © 2019 QlikTech International AB. All rights reserved.
3
Google BigQuery
側での基本セットアップ

4. 4
必要な権限
このセクションでは、レプリケートに必要な Google クラウド BigQuery サービス アカウントのアクセス許可について説明します。
• ターゲットにデータセットを作成するレプリケーションタスクが必要ない場合は、次のロールを設定します。
 Project >オーナーもしくは編集者
 BigQuery > BigQueryデータオーナー
• ターゲットにデータセットを作成するためにレプリケーションタスクが必要な場合は、次のロールを設定します。
 Project >オーナーもしくは編集者
 BigQuery > BigQueryデータ編集者
• サービス アカウント キーを作成すると、接続情報を含む JSON ファイルがコンピューターにダウンロードされます。このファイルの内
容を Google Cloud BigQuery エンドポイントのService account keyフィールドにコピーする必要があります。

5. 5
新規プロジェクトの作成
• ホーム画面トップから[プロジェクトの選択]をクリックし、[新しいプロジェク
ト]を選択します。(既にプロジェクトを作成済みの場合は、利用するプロ
ジェクトを一覧から選択します。）
• プロジェクト名を入力し、[作成]をクリックします。

6. 6
サービスアカウントの作成
• [APIとサービス] > [認証情報]を選択します。 • 画面トップの[認証情報を作成] > [サービスアカウント]を選択します。

7. 7
サービスアカウントの作成
• [サービスアカウント名]を入力して[作成して続行]をクリックします。 • [ロールを選択]をクリックし、[現在使用中] > [オーナー] (もしくは
[Project] > [オーナー]）を選択します。

8. 8
サービスアカウントの作成
• [別のロールを追加]をクリックします。 • [BigQuery] > [BigQueryデータオーナー]もしくは[BigQuery
データ編集者]を選択し、[続行]をクリックします。

9. 9
サービスアカウントの作成
• [完了]をクリックします。 • 作成したサービスアカウントをクリックします。

10. 10
サービスアカウントの作成
• [キー]のタブを選択し、[鍵を追加] > [新しい鍵を作成]を選択し
ます。
• [JSON] を選択して、[作成]をクリックします。

11. 11
サービスアカウントの作成

12. 12
Qlik Replicate側での
基本セットアップ

13. 13
Qlik Replicate for Windows
• Replicateサーバー マシンに以下のリンクからSimba ODBC driver 2.3.3.1005をダウンロードしてインストールします。
• https://storage.googleapis.com/simba-bq-release/odbc/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005.msi

14. 14
Qlik Replicate for Windows
Replicateサーバー マシンにGoogle Cloud SDK 315.0.0をインストールします。
方法１：
• 以下のサイトの手順に従って、 Google Cloud SDK 315.0.0をインストールします。
 バージョニングされたアーカイブからのインストール | Cloud SDK のドキュメント | Google Cloud
• 以下のいずれかのリンクからソフトウェアをダウンロードしてください。
 https://storage.cloud.google.com/cloud-sdk-release/google-cloud-sdk-315.0.0-windows-x86_64.zip
 https://storage.cloud.google.com/cloud-sdk-release/google-cloud-sdk-315.0.0-windows-x86_64-bundled-
python.zip (※ SDKにはPythonが必要です。環境にPythonが導入されていない場合にはこちらを利用ください）
• もしくは、以下のサイトで旧バージョンのSDKがアーカイブされており、ここから315.0.0のGoogle Cloud SDKをダウンロードすることも可能です。
 https://console.cloud.google.com/storage/browser/cloud-sdk-release
方法2:
• Google から最新バージョンの Google Cloud SDK をダウンロードしてインストールします。
 https://dl.google.com/dl/cloudsdk/channels/rapid/GoogleCloudSDKInstaller.exe
• 次のコマンドを発行して、バージョン 315.0.0 にダウングレードします。
gcloud components update --version 315.0.0

15. 15
Qlik Replicate for Linux
レプリケートタスクでターゲット エンドポイントとして Google Cloud BigQueryを使用できるようにするには、次の手順を実行する必要があります。
• Simba ODBC driver version 2.3.3.1005をReplicateサーバーコンピュータにダウンロードします。
 https://storage.googleapis.com/simba-bq-release/odbc/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux.tar.gz
• SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005.tar.gzを以下のフォルダに展開します。
 /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux
• 展開したファイルに含まれる、以下のファイルをさらに展開します。
 /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005/LinuxSimbaODBCDriverforGoogleBigQuery64_2.3.3.1005.tar.gz
• 以下の2つのファイルを/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/SimbaODBCDriverforGoogleBigQuery64_2
3.3.1005/libに移動します。
 /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/GoogleBigQueryODBC.did
 /opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-Linux/setup/simba.googlebigqueryodbc.ini

16. 16
Qlik Replicate for Linux
• 次のように、googlebigqueryodbc.iniファイルを編集します。
 ErrorMessagesPath をODBC メッセージを含む XML ファイルのパスに変更します。既定の場所は次のとおりです。
ErrorMessagesPath=/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-
Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/ErrorMessages
 DriverManagerEncodingをUTF-16に変更します。

17. 17
Qlik Replicate for Linux
• Qlik Replicateのbinディレクトリにあるsite_arep_login.shファイルに次のパスを追加します。
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-
Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/lib
• /etc/odbcinst.iniファイルを編集し、ドライバパス (ドライバがインストールされているパス) を追加します。
[ODBC Drivers]
Simba= Installed
Simba ODBC Driver for Google BigQuery = Installed
[Simba ODBC Driver for Google BigQuery]
Description=Simba ODBC Driver for Google BigQuery(64-bit)
Driver=/opt/SimbaODBCDriverforGoogleBigQuery_2.3.3.1005-
Linux/SimbaODBCDriverforGoogleBigQuery64_2.3.3.1005/lib/libgooglebigqueryodbc_sb64.so

18. 18
Qlik Replicate for Linux
• Replicateサーバー マシンで Google Cloud SDK 315.0.0 for Linuxをダウンロードしてインストールします。
 https://dl.google.com/dl/cloudsdk/channels/rapid/downloads/google-cloud-sdk-315.0.0-linux-x86_64.tar.gz
• SDKを初期化せずに、Linux に gcloud をインストールします。
 インストール手順については、「Quickstart: Getting started with Cloud SDK」を参照してください。
 Replicateサービスユーザー(既定: attunity)に対してSDKのbinディレクトリをPATHとして登録する必要があります。Install.sh実行時にパス
登録対象のファイルとして、/etc/profileや/home/attunity/.bashrcなどを指定してパスの登録を行ってください。
• Replicateサービスを再起動します。
 /opt/attunity/replicate/bin/areplicate restart

19. 19
Qlik Replicateの動作について
• ReplicateとBigQueryでは、それぞれ以下に対応します。
• bq コマンドを実行してBigQueryへのデータロードが実行されます。
• このユーティリティはクラウド ストレージを使用せず、データは直接BigQueryのテーブルにロードされます。
• GBQ ターゲットで指定された資格情報で bq を実行すると、そのプロジェクトの gcloud を使用して顧客が設定した既存の資格情報
が上書きされます。
• ファイルは、BigQuery に圧縮されず、暗号化されていない状態でロードされます。
Qlik Replicate BigQuery
Database Project
Schema Dataset
Table Table

20. 20
Qlik Replicateでの
エンドポイント定義

21. 21
一般的な接続プロパティの設定
1. Tasksビューで、[Manage Endpoint
Connections ] をクリックして、[New Endpoint
Connection] ボタンをクリックします。
2. [Name]フィールドに、エンドポイントの名前を入力しま
す。使用するエンドポイントを識別するのに役立つ任意の
名前を指定できます。
3. 必要に応じて、[Description] フィールドに、エンドポ
イントを識別するための説明を入力します。
4. エンドポイントRoleとして[Target ] を選択します。
5. エンドポイントの [Type]として[Google Cloud
BigQuery]を選択します。
6. [Service account key] フィールドに、BigQuery
サービス アカウント キーの作成時にダウンロードされた
JSON ファイルの内容 (中かっこを含む) を貼り付けます。

22. 22
高度な接続プロパティの設定
[Advanced]タブでは、次のパラメータを設定できます。
• Max file size (KB): ファイルが Google Cloud BigQuery
ターゲット データベースに読み込まれる前に、CSV ファイルの最大サ
イズ (KB 単位) を選択または入力します。
• Location:レプリケートによって作成されたデータセットをアップロード
する場所 。
• Default dataset prefix:ターゲットテーブルを作成および更新
するBigQueryデータセットのプレフィックスを指定します。
※ これは、[Apply Changes] レプリケーション オプションが選
択されている場合に必要です。
• Create tables as clustered by primary key: このオプ
ションを選択すると、ターゲットテーブルはクラスタとして作成されます
(クラスタ化をサポートする最初の 4 つのプライマリキー列に従います)。
一般に、クラスター化されたテーブルは、通常、クエリのパフォーマンス
を向上させるだけでなく、請求コストを削減します。
※ クラスター化されたデータ・タイプの主キーを持つ表のみを作成
できます:日付、BOOL、GEOGRAPHY、INT64、数値、ス
トリング、および TIMESTAMP。
※ このオプションを選択した後で、ターゲットでテーブルをクラスター
として作成しないようにする場合は、このオプションをオフにして
タスクを再ロードします。

23. 23
クォータへの対応
• BigQueryには操作量に以下の制限(クォータ)があります
 1 日あたりのテーブル オペレーション最大数 - 1,500個のオペレーション
 詳細は「割り当てと上限 | BigQuery | Google Cloud 」のページをご参照ください。また、Replicateのクォータへの対応の
最新情報はLimitations and considerations ‒ Qlik Replicateをご確認ください。
• これらの制限を回避するには、次の手順を実行します。
 前項のエンドポイント設定の [Advanced] タブで、最大ファイル サイズ (MB) = 1000 以上を使用します。

24. 24
クォータへの対応
• [Task Settings]を開き、[Change Processing]>[Change Processing Tuning]上で：
 [Batch optimized apply]が選択されていることを確認
 [Apply batched changes in intervals]の[Longer than (seconds)]の値を60以上に設定

25. 25
クォータへの対応
• [Task Settings]を開き、[Change Processing]>[Change Processing Tuning]上で[Apply changes using SQL
MERGE] をONにすることで、処理を行うSQLステートメントの数を減らすことができます。

26. 26
クォータへの対応
• [Apply changes using SQL MERGE]の詳細について
 [Task Settings]を開き、[Change Processing]>[Change Processing Tuning]上で設定ができます。
 このオプションを選択しない場合、Batch optimized apply操作は、レプリケート NET テーブル内の異なる変更の種類ごとに個別の一括
INSERT、UPDATE、および DELETE ステートメントを実行します。
 次に、1つの MERGE ステートメントを実行して、一連の NET テーブル変更をターゲット テーブルに適用します。
 この方法は非常に効率的ですが、このオプションをサポートするエンドポイントを操作する場合は、[Apply changes using SQL MERGE]
オプションを有効にした方がより効率的です。
 この場合、テーブルごとに実行される SQL ステートメントの数が3から1に減ります。大規模で変更できないファイルベースのクラウド データ
ベース (Google Cloud BigQueryなど) での UPDATE 操作の大半は、影響を受けるファイルの書き換えを伴います。このような操作
では、テーブルごとの SQL ステートメントを3から1に減額することは非常に重要です。
 ターゲット データベースは、1 回だけ NET テーブルをスキャンするだけで、I/O が大幅に削減されます。
 このオプションが有効になっている場合、エラー処理に以下の制限がありますのでご注意ください:
• 致命的でないデータ エラーまたは回復できないDataエラーは、Tableエラーとして処理されます。
• Global error handling policyは使用できません
• Apply Conflicts error handling policyは、事前設定され、編集不可になります。
• Data error handling policyオプションの一部は使用できません。
 このオプションは、Salesforce および Oracle のソースエンドポイントではサポートされません。

27. 27
制限事項など

28. 28
制限事項
レプリケート タスクのターゲットとして Google Cloud BigQueryを使用する場合は、次の制限が適用されます。
• 次のDDLはサポートされていません。
 Drop column
 Rename column
 Change column data type
 Rename table
• ファイルは、圧縮されず、また暗号化されない形でBigQueryにロードされます。
• Transactional Apply Change Processing Modeはサポートされていません。
• Google Cloud BigQuery では、1 日あたりテーブルあたり最大 1500 Load Operationのクォータが適用されます。この制限を回避するには、エンドポイ
ント設定のAdvancedタブで[Max file size(MB)]の値を 1000 (既定) より大きくします。
• [Allow unlimited LOB size] のLOB処理オプションはサポートされていません。
• 主キーを使用せずにソース テーブルから変更をキャプチャすることはできません。このようなテーブルから変更をキャプチャする必要がある場合は、変換を利用し
て主キーを追加できます。
• Apply ConflictsとData Errorsの [Log record to the exceptions table] のエラー処理オプションはサポートされていません。
• 次のタスク設定の構成では、UPDATEが発生したときに、DELETE 操作の後に INSERT 操作が実行されます。
 Change Processing ModeがBatch optimized applyに設定されている
 [Apply changes using SQL MERG]オプションが選択されていない
 UPDATE の Apply Conflicts error handling が、No record found for applying an UPDATE: INSERT the missing
target record
• Google Cloud BigQuery ではロールバックがサポートされないため、レプリケートが更新された行を挿入できない場合、データはターゲットから削除されます。

29. 29
データ型
Qlik Replicateデータ型 Amazon Redshift データ型
BOOLEAN BOOL
BYTES VARCHAR (Length)
DATE DATE
TIME VARCHAR(20)
DATETIME
スケールが => 0 と =< 6 の場合は、次のようになります:
TIMESTAMP (s)
スケールが => 7 および =< 12 の場合は、次のようになります:
VARCHAR (37)
INT1 INT2
INT2 INT2
INT4 INT4
INT8 INT8
NUMERIC
スケールが => 0 および =< 37 の場合は、次のようになります:
NUMERIC (p,s)
スケールが => 38 で =< 127 の場合は、次のようになります:
VARCHAR (Length)
REAL4 FLOAT4
REAL8 FLOAT8
STRING
長さが => 1 および =< 65535 の場合は、次のようになります:
VARCHAR (Length in Bytes)
長さが => 65535 および =< 2147483647 の場合は、次のようになります:
VARCHAR (65535)
UINT1 INT2
UINT2 INT4
UINT4 INT8
UINT8 NUMERIC (20,0)
WSTRING
長さが => 1 および =< 65535 の場合は、次のようになります:
NVARCHAR (Length in Bytes)
長さが => 65536 および =< 2147483647 の場合は、次のようになります:
NVARCHAR (65535)
BLOB
VARCHAR (Max LOB Size *2)
[Metadata] タブの最大 LOB サイズは 31 KB を超えることはできません。
NCLOB
NVARCHAR (Max LOB Size)
[Metadata] タブの最大 LOB サイズは 31 KB を超えることはできません。
CLOB
VARCHAR (Max LOB Size)
[Metadata] タブの最大 LOB サイズは 31 KB を超えることはできません。
Qlik レプリケートのAmazon Redshiftデータベースは、ほとんどの Amazon Redshiftデータ型をサポートしています。次の表は、Qlik Replicateを使用する場合にサポートされ
る Amazon Redshift ターゲットデータ型と、Qlik Replicateデータ型からのデフォルトマッピングを示しています。

30. www.qlik.com/sap