Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à TECH TALK 2021/08/10 一歩進んだQlikアプリの開発～Qlik専用QVDファイルでシステムの効率アップ
Similaire à TECH TALK 2021/08/10 一歩進んだQlikアプリの開発～Qlik専用QVDファイルでシステムの効率アップ (20)
Plus de QlikPresalesJapan
Plus de QlikPresalesJapan (20)
TECH TALK 2021/08/10 一歩進んだQlikアプリの開発～Qlik専用QVDファイルでシステムの効率アップ
- 1. 一歩進んだQlikアプリの開発 ～Qlik専用QVDファイルで システムの効率アップ 2021/08/10 クリックテック・ジャパン株式会社 TECH TALK 鈴木 由紀 Senior Solution Architect
- 3. 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させていただき ます。
- 4. 4 • QVDとは何か？ • QVDの使用目的 • QVDの書き出しと読み込み • QVDの運用パターンと効果 • QVDを使った増分ロード • QVDに関するファイル関数 • その他の情報 • Q＆A アジェンダ
- 5. 5 QVDとは何か？
- 6. 6 QVDファイルとは？ QVD Qlik Sense アプリケーション QlikView アプリケーション QVD (QlikView Data) ファイルは、Qlik Sense やQlikViewのアプリケーションからエクスポートされる データファイルです。QVD はネイティブの Qlik 形式で、Qlik Sense または QlikView でしか書き込みと 読み出しを行えません。 ファイル名=〇〇〇〇.qvd 元データと比較して、圧縮されてデータサイズが小さくコンパクト ネイティブなデータ形式で保持されており、他のデータソースと比 べて読み取りは10～100倍高速 QVD QVD
- 7. 7 QVDファイルの形式 １つのQVDファイルは、3つの部分で構成されています。 テーブルの項目、後続の情報のレイアウト、その他のメタデータを記述した XMLヘッダー（UTF-8 char set）(UTF-8 文字セット) バイト埋め込み形式のシンボル テーブル ビット埋め込み形式の実際のテーブル データ
- 8. 8 QVDの使用目的
- 10. 10 QVDの使用目的 データベース サーバーの負荷の減少 いったんQVDファイルに格納することで、外部データ ソースから取得するデータ量を大幅に削減できます。 さらに複数のスクリプトが同じデータを使用する場合は、ソース データベースからQVDファイルに一度データ をロードし、他のアプリケーションではQVDファイルを使用します。 これにより、外部データベースおよびネットワーク トラフィックの負荷が減少します。 データベース Qlik アプリケーション Qlik アプリケーション Qlik アプリケーション QVDを使用しない場合 データベース QVDを使用する場合 QVD作成 アプリケーション Qlik アプリケーション Qlik アプリケーション Qlik アプリケーション QVD
- 15. 15 QVDの書き出しと読み込み
- 16. 16 QVDの書き出し Qlikのアプリ、ロードスクリプトで書き出します。 Store コマンドで書き出し Store [項目1, 項目2, …] from テーブル名 into ファイル名 (qvd); 例： Store * from mytable into [lib://DataFiles/myfile.qvd] (qvd); Store Name, RegNo from mytable into [lib://DataFiles/xyz.qvd] ] (qvd);
- 17. 17 QVDの書き出し Qlikのアプリ、ロードスクリプトで書き出します。 Buffer プレフィクスで自動書き出し Buffer [(オプション1 [ ,オプション2 ])] ( Load 文 または Select 文 ) オプション： incremental = 前回のロード以降、新たに追加されたデータのみ読み込み、 以前のデータはすべてQVDから読み込み、合わせてQVDを更新 stale [after] amount [(日数 または 時間)] ＝ QVDバッファの作成時からの有効期間を指定 元データにタイムスタンプがない場合に使用 名称も自動で作成され、使用されなくなった場合に自動削除されます。 自分で明示的に管理できず様々な制限があり、使用に注意が必要です。 ご参考 Help: Buffer
- 18. 18 QVDの書き出し SaaS版Qlik Senseには、Qlik DataTransferからも書き出せます。 データベースから アップロード ODBC・RESTで 接続 アプリ(QVF)から アップロード Qlikアプリで変換 後の複数データ QVD QVD Qlik DataTransferによるクラウド版Qlik Senseへ のデータ転送・更新の自動化(動画） Qlik DataTransferによるクラウド版Qlik Senseへ のデータ転送・更新の自動化(資料） 参考：
- 19. 19 SaaS版Qlik Senseの新機能 オンプレミスまたはクラウドソースからQlik Sense SaaSにニアリアルタイムでデータを転 送する機能です。 Hybrid Data Delivery New on SaaS Help:ハイブリッド データ配信 ブログ：新機能：Qlik Cloud Data ServicesとHybrid Data Delivery データをテナントに自動的かつ継続的に取り込み、 すぐに分析に使用できるQVDファイルに変換 ソースデータに変更がある場合は自動的に更新 (Active QVD) ジョブスケジュールやスクリプトは不要 現時点では、Qlik Replicate、Qlik Enterprise Managerが必要 QVDの格納はQlikクラウド内、またはお客様管理 のAmazonS3 バケット内
- 20. 20 QVDの読込 その他のテキストファイルと同様に読み込みます。 例: LOAD * from [lib://DataFiles/myfile.qvd] (qvd); LOAD Name, RegNo from [lib://DataFiles/myfile.qvd](qvd); Storeで明示的に出力されたQVDファイルは、その他のテキストファイルと同様に、データマネージャーに ドラッグアンドドロップで追加したり、スクリプトでロードできます。
- 21. 21 カタログでの表示 SaaS版Qlik Senseでは、カタログ上に表示されます。 カタログに表示されたQVDを選んでアプリを 作ることができます。 データのプロファイルやサンプルデータを見る ことができます。
- 22. 22 Demo
- 24. 24 データアーキテクチャーの考え方 ステージ1 ステージ2 ステージ3 ステージ4 • Qlikでは複数ステップに分けてデータ変換、QVD(Qlikから高速に読み書き可能なデータセット)への保存、分析での利用を行うことができます。 • より最適な運用を行うために適切なアーキテクチャーを選択することが推奨されます。 QVD QVDジェネレーター QVDジェネレーター QVDジェネレーター ベースQVD 集計済みQVD QVDジェネレーター ベースQVD QlikMart アプリケーション(QVF) アプリケーション(QVF) アプリケーション(QVF) アプリケーション(QVF)
- 25. 25 データアーキテクチャー(1) ① ステージ１アーキテクチャー アプリケーション(QVF) ソース層 プレゼンテーション層 DBなどのデータソース • プレゼンテーション層のアプリケーションがデータソースに対する接続 情報を保持し、データロード及び集計処理を実施 • 以下の理由により、開発・運用の効率が一般的に劣る： データソースに対して複数アプリから同様なクエリが発行され、余 計な負荷が発生するケースが生じる 同様なクエリや変換処理が複数のアプリケーションのスクリプトで 実装される • 最もシンプルな構成のアーキテクチャーだが、エンタープライズ環境で の実装には一般的に推奨されない エンドユーザーにダッシュボード画面 を提供するアプリケーション シンプルで作りやすいが、 複雑な要件に効率よく対応できない
- 26. 26 データアーキテクチャー(2) ② ステージ2アーキテクチャー • 第2階層にQVDファイルを利用 • プレゼンテーション層のアプリケーションは複数のQVDファイル からデータモデルを作成 • プレゼンテーション層の開発者が直接データソースにアクセス することは不要で、共通化されたQVDファイルの再利用が 可能 • プレゼンテーション層でのデータモデリングやスクリプティングが 必要となるが、データソースへのクエリに関する知識は不要 • IT担当とビジネスユーザーの役割分割が可能 QVD QVDジェネレーター アプリケーション(QVF) ソース層 プレゼンテーション層 抽出層 ＱＶＤ層 DBなどのデータソース エンドユーザーにダッシュボード画面を提供 するアプリケーション ソース層のデータソースからデータを抽出しQVD ファイルを作成 抽出層での処理により生成されたQVDで、 プレゼンテーション層のアプリケーションは これらのQVDのデータを取り込んで作成 複数のアプリで使用する共通データを QVDファイルに出力 QVDジェネレーター＝Qlikのアプリ、ただしシートは不要
- 27. 27 データアーキテクチャー(3) ③ ステージ3アーキテクチャー • 2層目と3層目にQVDを配置： 2層目のQVDはソースシステム上の正規化されたDB テーブル、もしくは非正規化されたDBビューのレプリカ 3層目のQVDは集計、非正規化、データ分割などの処 理済みのデータ • 変換処・集計処理をプレゼンテーション層から切り離し、 QVDの再利用性をさらに向上 • プレゼンテーション層から変換・集計・パフォーマンス最適化 済みデータを利用可能で、より高い再利用性を実現 • IT担当とビジネスユーザーの役割分割が可能 変換済みQVD アプリケーション(QVF) ソース層 プレゼンテーション層 抽出層 ベースQVD層 変換層 変換済みQVD層 DBなどのデータソース エンドユーザーにダッシュボード画面を提供 するアプリケーション ソース層のデータソースからデータを抽出しQVD ファイルを作成 抽出層での処理により生成されたQVD 集計、非正規化、データ分割などの変換処理 を実施 集計などの変換処理済みのQVD QVDジェネレーター＝Qlikのアプリ、ただしシートは不要 QVDジェネレーター QVDジェネレーター ベースQVD 複数のアプリで共通の変換処理を済 ませたデータをQVDファイルに出力
- 28. 28 参考：データアーキテクチャー(4) ④ ステージ4アーキテクチャー • QlikMartのプリケーションを含むアーキテクチャー。 (QlikMartはユーザーインターフェースは含まない、完成され たデータモデルを含むアプリケーション) • プレゼンテーション層のアプリケーションからQlikMartを binary loadで取り込み、データモデルを再利用 • セルフサービスBIを実現するには最適なアーキテクチャー。ダッ シュボード間で利用されるデータモデルの一貫性、ダッシュボー ドのパフォーマンスがIT担当によってより厳密に管理が可能 • IT担当とビジネスユーザーの役割分割が可能（プレゼンテー ション層では最低限のスクリプティングのみの知識が必要） QVDジェネレーター QVD QlikMart アプリケーション(QVF) ソース層 プレゼンテーション層 抽出層 ＱＶＤ層 QlikMart層 DBなどのデータソース エンドユーザーにダッシュボード画面を提供 するアプリケーション ソース層のデータソースからデータを抽出しQVD ファイルを作成 抽出層での処理により生成されたQVD プレゼンテーション層のアプリケーションに Binary Loadされる、基となるデータモデルを 保持したアプリケーション QVDジェネレーター＝Qlikのアプリ、ただしシートは不要 複数データによるデータモデルをそのま ま再利用 Binary Load を使用
- 32. 32 QVD層構築時のポイント 全テーブルをQVDに保存するための便利な方法 アプリに含まれる全てのテーブルをQVDファイルにエクスポートする場合、Store構文を複数記述するので はなく、一度に全てのテーブルをエクスポートすることができます。 例: For i=NoOfTables() To 0 Step -1 Let vTableName = TableName($(i)); If Not isNull(NoOfRows('$(vTableName)')) Then Store $(vTableName) Into [lib://DataFiles/$(vTableName).qvd](qvd); EndIf Next (赤字の保存先については実際の環境に合わせて修正が必要です。) For ~ Next: 繰り返し NoOfTables: これまでにロードされたテーブル数を返す関数 TableName: 指定した番号のテーブル名を返す関数 NoOfRows: ロード済みのテーブルに含まれる行数を返す関数
- 33. 33 QVDを使った 増分ロード
- 34. 34 増分ロード 1. データベースのソーステーブルから、新規または更新されたレ コードをロードします。通常データベースからのロードは時間 がかかりますが、増分のみのロードとして時間を短縮します。 2. これまでにロードしてQVDファイルに格納したレコードをロード します。多数のレコードがロードされますが、QVDファイルから なので、時間はかかりません。 3. 新しい QVD ファイルを作成します。これが、次回増分ロー ドで使用するファイルとなります。 継続的に更新されるデータベースから大量のデータをアプリにロードするのは時間がかかります。QVDファイルを利用して、 新規追加・変更されたレコードのみデータベースから読み込むことができます。 基本手順 データベース QVD作成 アプリケーション QVD 1.増分のみ ロード 2.QVDから ロード 3.QVDに 格納
- 35. 35 増分ロード 追加のみ 以前に読み取られたレコード数を常に記録し、ファイルの 末尾に追加されたレコードだけをロードします。 ソースデータにはレコードが追加されるのみで、変更されたり削除されたりすることがない場合のロード方法です。 データソースは、テキストファイルである必要があり、ODBC、OLE DB、またはその他のデータベースはサポートされてい ません。例えばログファイルなどに適用できます。 前回までの データ QVD作成 アプリケーション 1.増分のみ ロード 2.QVDから ロード 3.QVDに 格納 追加データ QVD 例： Buffer (Incremental) Load * From Log.txt (ansi, txt, delimiter is 't', embedded labels); テキストファイル
- 37. 37 増分ロード 挿入のみ (更新または削除なし) 2/2 例: Let BeginningThisExecTime = Now(); 明細データ: SQL SELECT X, Y, Z FROM 明細DB WHERE 更新日時 >= #$(LastExecTime)# AND 更新日時 < #$(BeginningThisExecTime)#; Concatenate LOAD X, Y, Z FROM 明細.QVD; STORE 明細データ INTO 明細.QVD; Let LastExecTime = BeginningThisExecTime; SQL WHERE 句の#記号は日付の開始と終了を定義します。ご使用中の データベースの適正な日付構文に合わせてください。 1. リロード開始時間を変数に設定 2. データベースから、変数の最終リロード時間以降で、 リロード開始時間より前の更新日時を持つレコードの みロード 3. QVDをConcatenateでロードしてマージ 4. マージ後のテーブルをQVDに格納 5. リロード開始時間を最終リロード時間の変数に設定
- 38. 38 増分ロード 挿入および更新 1/2 最後のスクリプト実行後にデータベースに挿入されたレコード、更新されたレコードをロードします。 データソースには、任意のデータベースを使用できます。 どのレコードが新しいかを認識するために、更新時にあたる項目が必要となります。 更新されたレコードについてQVDファイルを更新するために、プライマリーキーが必要です。 前回までの データ QVD作成 アプリケーション 1.挿入・更新 のみロード 2.QVDから 今回更新レコード を除いてロード 3.QVDに 格納 QVD データベース 更新データ 挿入データ QVD ファイルの読み取りは (最適化モードではなく) 標準モードで行われますが、 標準モードはデータベース全体をロードするよりも、か なり高速です。
- 39. 39 増分ロード 挿入および更新 2/2 例: Let BeginningThisExecTime = Now(); 明細データ: SQL SELECT PrimaryKey, X, Y FROM 明細DB WHERE 更新日時 >= #$(LastExecTime)# AND更新日時 < #$(BeginningThisExecTime)#; Concatenate LOAD PrimaryKey, X, Y FROM 明細.QVD WHERE NOT Exists(PrimaryKey); STORE 明細データ INTO 明細.QVD; Let LastExecTime = BeginningThisExecTime; SQL WHERE 句の#記号は日付の開始と終了を定義します。ご使用中の データベースの適正な日付構文に合わせてください。 1. リロード開始時間を変数に設定 2. データベースから、変数の最終リロード時間以降で、 リロード開始時間より前の更新日時を持つレコードの みロード 3. データベースにプライマリーキーが存在しないレコードの みQVDからConcatenateでロードしてマージ 4. マージ後のテーブルをQVDに格納 5. リロード開始時間を最終リロード時間の変数に設定
- 40. 40 削除データ 増分ロード 挿入、更新、および削除 1/2 最後のスクリプト実行後にデータベースに挿入されたレコード、更新されたレコードをロードします。 最後のスクリプト実行後にデータベースから削除されたレコードをQVDから削除します。 データソースには、任意のデータベースを使用できます。 どのレコードが新しいかを認識するために、更新時にあたる項目が必要となります。 更新されたレコードについてQVDファイルを更新するために、プライマリーキーが必要です。 前回までの データ QVD作成 アプリケーション 1.挿入・更新 のみロード 2.QVDから 今回更新レコード を除いてロード 3.削除レコードを除いて QVDに格納 QVD データベース 更新データ 挿入データ QVD ファイルの読み取りは (最適化モードではなく) 標準モードで行われますが、 標準モードはデータベース全体をロードするよりも、か なり高速です。
- 41. 41 増分ロード 挿入、更新、および削除 2/2 例: Let BeginningThisExecTime = Now(); 明細データ: SQL SELECT PrimaryKey, X, Y FROM 明細DB WHERE 更新日時 >= #$(LastExecTime)# AND更新日時 < #$(BeginningThisExecTime)#; Concatenate LOAD PrimaryKey, X, Y FROM 明細.QVD WHERE NOT Exists(PrimaryKey); Inner Join SQL SELECT PrimaryKey FROM 明細DB; If ScriptErrorCount = 0 then STORE 明細データ INTO 明細.QVD; Let LastExecTime = BeginningThisExecTime; End If 1. リロード開始時間を変数に設定 2. データベースから、変数の最終リロード時間以降で、 リロード開始時間より前の更新日時を持つレコードの みロード 3. データベースにプライマリーキーが存在しないレコードの みQVDからConcatenateでロードしてマージ 4. マージ後のテーブルにデータベースのプライマリーキーを Inner Joinすることで、データベースに存在しないデ レコードをテーブルから排除 5. テーブルをQVDに格納 6. リロード開始時間を最終リロード時間の変数に設定
- 42. 42 補足 １ Inner Join ー 双方のテーブルにあるキーのレコードのみ出力 キー 名前 1 キゥイ 2 パパイヤ 3 マンゴー テーブル１ キー 色 1 グリーン 2 イエロー 4 レッド テーブル２ Inner Join キー 名前 色 1 キゥイ グリーン 2 パパイヤ イエロー 結果
- 43. 43 補足 ２ 増分ロードを使用したアプリの初回ロード 1. 変数：最終リロード時間に適切なフォーマットでダミーの値を入れておく必要があります。 何も設定していないと、0や空白とみなされ、日時と認識されずにエラーとなります。 2. QVDは初回ロード時には作成されていないため、初回はQVDの読込を回避するロジックとす るか、またはあらかじめQVDを作成しておく必要があります。
- 45. 45 QVDに関するファイル関数 1/2 QvdCreateTime - スクリプト関数 QVD ファイルに含まれた XML ヘッダーのタイムスタンプを返します (ない場合は NULL を返します)。 QvdCreateTime('lib://dataMyFile.qvd') QvdFieldName - スクリプト関数 QVDファイルの項目番号に該当する項目名を返します。項目が存在しない場合は、NULLを返します。 QvdFieldName ('lib://dataMyFile.qvd', 5) QvdNoOfFields - スクリプト関数 QVD ファイルに含まれる項目数を返します。 QvdNoOfFields ('lib://dataMyFile.qvd')
- 46. 46 QVDに関するファイル関数 2/2 QvdNoOfRecords - スクリプト関数 QVD ファイルに含まれるレコード数を返します。 QvdNoOfRecords ('lib://dataMyFile.qvd') QvdTableName - スクリプト関数 QVD ファイルに保存されているテーブルの名前を返します。 QvdTableName ('lib://dataMyFile.qvd')
- 47. 47 その他の情報
- 49. 49 Qlik Tips Qlik Senseをご活用いただくためのTipsをご紹介します。 質問や相談など発言していただける場にする予定です。またテーマに沿ったご質問を あらかじめCommunityに投稿していただければ取り上げたいと思います。 第4回 8月17日（火）14:00 ~ 15:00 ビジュアライゼーション、関数、スクリプトについての Tipsをご紹介します。 詳細は後日、Techplayにて公開します。 https://techplay.jp/community/qlik/event 月に1回程度実施する予定です。ご要望をお知らせください。
- 50. 50 Qlik Japanグループのフォローをお願いします Tech Playのグループを フォローいただくと、イ ベント情報が届きます。 TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik
- 52. 52 日本語アプリサイト Qlik Showcase 100以上のサンプルアプリを実際に操作できます。 サイト：https://qtjsc.ap.qlikcloud.com 使い方：Qlik Showcase(日本語版デモアプリサイト)のご利用について 一部のアプリはこちらからダウンロードできます。 日本語アプリ一覧
- 55. 55 待望の「Qlik Sense 参考書」 Qlik Sense ユーザーのためのデータ分析実践バ イブル ・判型：B5 変 ・総ページ数：～480 ページ程度 ・予価本体：4,200円 (+税) • QlikSpaceの記事をベースに、書籍用に大幅 にカスタマイズ＆加筆 • 1 冊でQlik Sense の基本をマスターし（＝ 基本編）、ニーズの高い分析例（＝応用 編）をできるだけ丁寧に紹介
- 56. 56 Q＆A
- 57. 57 Q＆A # 質問 回答 1 QVDの作成はアプリケーション上で読み込んでいるテーブル単 位でしょうか？複数のテーブルを保存したい場合にはその都度 QVDの作成が必要ですか？ QVDは、テーブル単位となります。複数テーブルある場合には、都度QVDの作成が必要 ですヘルプにも１つのデータテーブルからのみ行えますとあります。。 https://help.qlik.com/ja-JP/cloud- services/Subsystems/Hub/Content/Sense_Hub/Scripting/ScriptRegula rStatements/Store.htm ただし32ページでご紹介している方法で、アプリに存在するテーブルを一気にすべてQVD に書き出すことも可能です。 2 QVDファイルは元データと比較して圧縮されるとありましたが、 QVWは元データと比較して圧縮される認識です。QVDは元 データと比較してQVWと同レベルの圧縮率と考えて よいでしょうか？ QVWやQVFと同等とお考えいただいてよいです。ただしQVDには1つのデータテーブルの み格納されるのに対し、QVWやQVFには複数テーブルが結合したデータモデルが格納さ れるので、同じ圧縮率になるとは限りません。 3 「全テーブルをQVDに保存するための便利な方法」（p32）の スクリプトはどこでも記載OKでしょうか？スクリプトの最後尾に記 載する必要がありますか？ 最後尾でないといけないことはありませんが、その時点でアプリに存在するテーブルが保存 対象となります。このスクリプトの後で作成されたテーブルやデータ変換は対象外となりま すので、適切な位置でご使用ください。 4 （AWS S3やDropboxなどにQVDが格納されている場合） 複数のQVDを一気に読み込みたい場合、FROM [lib://商 品別ロット別_2021??.xlsx]のように、「?」や「*」を使った一 括指定ができません。他に方法はありますでしょうか。 QVDを格納しているWebサービスによりますが、ファイルの一覧情報のデータをロードし、 そのデータの各行のファイルについて繰り返し処理を行うことになります。ファイルの一覧情 報は、RESTコネクタで取得できる場合が多いのではないかと思われます。
- 58. Questions?