Publicité

Contenu connexe

Similaire à Qlik Cloudデータ統合:データ変換機能のご紹介(20)

Plus de QlikPresalesJapan(20)

Publicité

Qlik Cloudデータ統合:データ変換機能のご紹介

  1. 中嶋 翔 Senior Solution Architect, Qlik Qlik TECH TALK Qlik Cloudデータ統合:データ変換機能のご紹 介 2023年3月7日
  2. 2 TECH TALKとは? Qlikの製品や機能の中から 特定のテーマを取り上げて、 技術的な情報を発信していくセミナーで す。
  3. 3 Q&Aについて • 質問はZoom画面下のQ&Aアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時Q&Aパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に共有させてい ただきます。
  4. 4 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開さ れます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、 Slideshareをご覧ください。 • SlideShareからのPDF版資料のダウンロードは、SlideShareへ の登録が必要となります。
  5. 5 5 アジェン ダ • Qlik Cloudデータ統合の概要(復習) • データの変換 - データ変換アセットの作成 • データ変換タスク作成手順 • カスタムSQL変換 • その他 • DEMO • Q&A • その他の情報
  6. 6 Qlik Cloudデータ統合 概要 復習
  7. 7 Qlik Cloud データ統合 エンタープライズ・データの配信、変換、一元化 拡張分析 ビジュアライゼーション 組込み分析 アラート /モバイル データサービス 分析サービス 基盤サービス カタログ・リネージ 人工知能・機械学習 連想エンジン オーケストレーション ガバナンス・セキュリティ コラボレーション API クラウドプラットフォーム DWH データレイク ストリーム SaaS RDBMS アプリ メインフレーム ファイル On-premises 広範な接続性 データ移動 データウェアハ ウス 自動化 アプリケーショ ン 自動化 データ変換
  8. 8 8 モダンデータスタック データソース リバースETL オーケストレーション データ変換 データレイク/ウェアハウス 可視化 データ取り込み メタデータカタログ ETL
  9. 9 Qlik Cloud データ統合 データの適時性と信頼性を向上させ、スケーラブルなアナリティクス を実現 データエンジニアが、自動化され、管理され、再利用可能なデータパイプラインを介して、 企業データをリアルタイムで配信、変換、統合するための強力なデータ統合ファブリック 自動化 パイプライン
  10. 10 Qlik Cloud データ統合 Transform : ローデータを分析可能なデータに変換する • ノーコードデータモ デリング • シンプルなインライ ンデータ変換 • プッシュダウン式 SQL処理 • グローバル変換ルー ル • データマート自動生 成 • 再利用可能 • カスタムSQLによる 複雑な変換 プッシュダウンデータ変換
  11. 11 11 データの オンボード ※実施済 Data Movement ※実施済 このWebセミナーの説明範囲 • Qlik Cloudデータ統合のコンポーネントは多岐にわたるため、本日のテックトークでは、データの変換について解説 します。 • 他のパートについては、過去のテックトークの動画をご覧ください。また、データマート作成については別セッショ ンを予定しています。 データ変換 データマート 作成 ※別セッション データカタログ リネージ ※実施済 概要 ※実施済 システム連携・プロセス自動化 (Qlik Application Automation) ※実施済 本日の 説明範囲
  12. 12 データの変換 データ変換アセットの作成
  13. 13 13 データの変換 • データ パイプラインの一部として、再利用可能なルールベースのデータ変換を作成できます。 • データオンボーディングの一部として変換を実行したり、再利用可能な変換データタスクを作成し たりできます。 • ノーコードで行レベルの変換を実行し、データセットを作成できます。 • より複雑な変換は、ローコードなカスタムSQLで対応できます。 • データ変換タスクで作成するデータセットは、テーブルとして物理化するか、都度変換を実行する ビューとして作成するかを選択できます。 • データセットごとに明示的な変換を実行したり、複数のデータセットを変換するグローバルルール を作成したりできます。データセットをフィルタリングして、行のサブセットを作成することもで きます。
  14. 14 データ変換タスク 作成手順
  15. 15 15 変換データアセットの作成 • 何れかの方法で[データを変換]を選択し、データアセットの名前や説明を指定して[追加]で作成し ます。 - 変換データタスクを作成する最も簡単な方法は、ストレージデータタスクで [...] をクリックし、[データを変 換] を選択することです。ソースデータには選択しているストレージデータタスクがデフォルトで指定されます。 - データプロジェクト画面右上で [新規追加] をクリックし、[データを変換] を選択することもできます。この 場合、使用するソースデータタスクを定義する必要があります。 ストレージデータタスクのメニューから データプロジェクト右上の新規作成から
  16. 16 16 変換データアセットの作成 1. 変換データセットでソースデータを定義します。左側の「ソース」から変換したいデータセットを 選択し、[追加] をクリックして「対象」に追加します。データセットを選択し、[SQLベースの データセットの追加] をクリックして、SQL ベースのデータセットを追加することもできます。 - [ソースデータの選択] をクリックして、他のストレージデータアセットからさらにデータセットを追加するこ ともできます。
  17. 17 17 変換データアセットの作成 2. 「データセット」タブに移動して、変換、データのフィルタリング、列の追加など、含まれる データセットに必要なすべての変更を加えます。 - 詳しい手順は、以前のテックトークのレポート資料内「データセットの管理 - 変換、フィルター、列の追加」 で確認してください。 オンボード中のデータ変換機能と同様に、すべてのデータセットに変換を反映させる「グ ローバルルール変換」や個別のデータセットや項目を変換する「明示的な変換」を定義す ることができます。
  18. 18 18 変換データアセットの作成 3. 必要な変換を追加したら、[データセットの検証] をクリックしてデータセットを検証できます。 検証でエラーが見つかった場合は、先に進む前にエラーを修正してください。
  19. 19 19 変換データアセットの作成 4. データ モデルを作成:[モデル] をクリックして、含まれるデータセット間の関係を設定します。 - モデルセクションは次回のテックトークで取り扱います。
  20. 20 20 変換データアセットの作成 5. [準備] をクリックして、データ タスクと必要なすべてのアーティファクトを準備します。これに は少し時間がかかる場合があります。 6. ステータスが [準備済み] と表示されたら、データ タスクを実行できます。 [実行] をクリックし ます。 • データタスクは、データを変換するためのデータセットの作成を開始します。 - データセットの生成を開始したときに、含めるデータセットを変更することはできません。 準備が完了すると、ターゲットデータプ ラットフォーム(例:Snowflake、 BigQueryなど)上にスキーマやテーブ ル・ビューが作成されます。 この時点で、それらが正しく作成されて いるかプラットフォーム上で確認すると より良いでしょう。
  21. 21 カスタムSQL変換
  22. 22 22 SQL ベースのデータセットの追加 • [データセットの変換] で、クエリに含めるデータセットを選択し、[SQL ベースのテーブルを追加] をクリックします。 1. 「データセット名」にデータセットの名前を入力します。[説明] に長い説明を追加することもで きます。
  23. 23 23 SQL ベースのデータセットの追加 2. 結果データセットとして取得したい内容をSELECTクエリとして入力します。クエリは、指定し たソースデータセットからのみ読み取ることができます。このデータアセットに追加された他の SQL ベースのテーブルまたは出力テーブルを参照することはできません。左側の「データセッ ト」と「列」から選択できます。  結果として欲しいSELECT文を記述します。 Create table as (select ~)の記述は不要です。  ソースのデータセット(DB名.スキーマ名.テー ブル(ビュー)名)の指定は、${テーブル (ビュー)名}の形で変数化されるため、のちに 開発環境から本番環境へデータソースの指定先 を変更する際などにに便利です。  まず、プラットフォーム上で実行できるクエリ を記述してテストしてから、データセット名を 変数化するとわかりやすいです。
  24. 24 24 SQL ベースのデータセットの追加 3. 「パラメータを抽出」をクリックして、SELECT クエリの${}パラメータを解析します。 - パラメーターを参照に置き換えて、クエリを読みやすくすることができます。パラメーターの値を変更すると、 SELECT クエリの参照も変更されます。 4. [テーブルを表示] をクリックして、クエリ出力メタデータのプレビューを取得します。
  25. 25 25 SQL ベースのデータセットの追加 5. クエリの結果に問題がなければ、右下の[OK] をクリックします。データセットがデータセット のリストに追加され、プレビューできるようになりました。 • SQL ベースのデータセットを追加しても、主キーは自動的に定義されません。[データセット] タブ でデータセットにキーを追加してください。 - 主キーを指定しない状態で検証すると、キーが無いというエラーになります。
  26. 26 26 SQL ベースのデータセットの追加 • 主キーを追加し、「データセットを検証する」を選択してエラーが解消されたことを確認します。 • タスクが実行中の場合は「停止」させ、「…」>「テーブルの再作成」を選択して、カスタムSQL データセットを追加することができます。 - これは「準備」に該当する手順ですので、再作成完了後、「実行」ボタンを押してデータを注入する必要があ ります。
  27. 27 その他
  28. 28 28 変換タスクの監視 • 変換アセット内で[監視] をクリックすると、変換タスクのステータスと進行状況を監視できます。 • 詳細については、「データタスクの監視」もしくは、以前のテックトーク「リアルタイムにデータ を配信・変換・統合:Qlik Cloudデータ統合のご紹介」を参照してください。
  29. 29 29 変換設定 • [設定] をクリックして、変換データタスクのプロパティを設定できます。 - タスクが既に実行されている場合、ランタイム設定以外の設定を変更するには、データセットをリロードする 必要があります。 • 基本設定タブ - データベース:データソースで使用するデータベース - データアセットスキーマ:ストレージデータアセットスキーマの名前を変更できます。デフォルト名は「タス ク名」です。 - 内部スキーマ:内部ストレージスキーマの名前を変更できます。デフォルト名は 「タスク名__internal」 です。 - 実体化:テーブルを作成するか (マテリアライズド)、都度変換を実行するビューのみを作成するか (非マテリ アライズド) を選択できます。 - 履歴データストア(タイプ2):過去の変更データを保持して、特定の時点でのデータを簡単に再作成できるよう にすることができます。履歴ビューとライブ履歴ビューを使用して、履歴データを表示できます。 • 実行時間タブ - 並列実行:フルロードの最大データ接続数を 1 から 50 の数値に設定できます。 - ウェアハウス:Snowflakeで使用するウェアハウスの名前です。(Snowflakeでのみ設定可能)
  30. 30 30 制限事項 • 非マテリアライズドオプションが選択されている場合、変換データタスクのデータ型を変更するこ とはできません。 • SQL ベースのデータセットでは、現在、フルロードのみがサポートされています。これは、変換タ スクを実行するたびにデータが再ロードされることを意味します。SQL ベースのデータセットは現 在のデータのみを提供し、履歴レコードは保持しません。
  31. 31 DEMO
  32. 32 Q&A
  33. 33 その他の情報
  34. 34 オンラインでの技術情報提供 • Qlik Japanプリセールスチームではオンラインの技術情報提供を推進しています。 セミナー トレーニング LT形式のTips共有 技術イベント TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik Tech Playのグループをフォローいただくと、イベント情報が届
  35. 35 35 35 35 35 35 直近の無料Webセミナー
  36. 36 36 【Qlik Japan Live】 Qlik Senseここまでできるの!? ユーザーミートアップの発表を振り返ろ う! • 日時:3月29日(水) 12:30~ • 会場:オンライン(Zoom) • 申込:テックプレイで告知中 • アジェンダ:  ユーザーミートアップ振り返り  QlikWorldについて  その他お楽しみに! 視聴申込URL
  37. 37 37 Webセミナーの資料はレポートで公開します。 Tech Playの申込ページの 「イベントレポート」のタ ブから、資料と動画をご覧 いただけます。
  38. 38 38 Webセミナー過去動画・資料 https://www.slideshare.net/QlikPresalesJapan/presentations https://youtube.com/playlist?list=PLTGfcjhh8Hh5aTTk-PDzg-dEhCtvh5IJ0 YouTube プレイリスト TECH TALK SlideShare QlikPresalesJapan
  39. 39 39 39 39 39 39 Qlik Tips プレイリスト Qlikのちょっとした技術やコツを短い動画でご紹介しています。 https://www.youtube.com/playlist?list=PLTGfcjhh8Hh5a6vjjOlBa7mAtL2H0hw7K
  40. 40 40 40 40 40 40 「Qlik Sense 参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バイ ブル ・判型:B5 変 ・総ページ数:~480 ページ程度 ・予価本体:4,200円 (+税) • QlikSpaceの記事をベースに、書籍用に大 幅にカスタマイズ&加筆 • 1 冊でQlik Sense の基本をマスターし(= 基本編)、ニーズの高い分析例(=応用 編)をできるだけ丁寧に紹介
  41. 41 その他の情報 セミナー動画・事例紹介 ・デモ・新機能紹介 Qlik Japan YouTube Qlik Community Japan 製品・技術Q&A、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公 開
  42. Thank You!
Publicité