Recommandé
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à Qlik AutoMLによる機械学習モデル生成の自動化
Similaire à Qlik AutoMLによる機械学習モデル生成の自動化 (20)
Plus de QlikPresalesJapan
Plus de QlikPresalesJapan (20)
Qlik AutoMLによる機械学習モデル生成の自動化
- 3. 3 3 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させていただき ます。
- 4. 4 4 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開されます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、 Slideshareを ご覧ください。 • SlideShareからのPDF版のダウンロードはSlideShareへの登録が必要と なります。
- 5. 5 5 アジェンダ • Qlik AutoMLの概要 • ユースケース • AutoMLの基本的な利用方法 • Qlik AutoML Connectorを使った予測の連携 バッチ実行 リアルタイム予測 • リアルタイム予測APIの利用方法 • 提供形態
- 7. 7 7 7 7 7 7 7 Qlikのサービス アナリティクスデータパイプラインを実現するクラウドサービス アナリティクスサービス ビジュアライゼーション モバイル分析 組込み分析 レポーティング 拡張分析 アラート AutoML データサービス ハイブリッド データ配信 アプリケーション 自動化 データ変換 データカタログ データ来歴 API コラボレーション ガバナンスと セキュリティ 連想エンジン 人工知能 RDBMS ファイル メインフレーム SaaS アプリ SAP データウェアハウス データレイク ストリーム 広範な接続性 オンプレミス
- 9. 9 9 機械学習がもたらすパワーをすべてのユーザーが享受 すべてのユーザーに予測分析の力を解放 探索的分析 補完的な機械学習 データサイエンス ML プラットフォーム Qlik Sense • Insight Advisor, 自然言語 • Qlik Senseでデータ探索をし、共有する Qlik Sense & Qlik AutoML • AutoML, Visualization, Authoring • AutoML Models を公開し、 Qlik Senseでデータサイエンスを利用する 3rd Party Tools • Amazon SageMaker, AzureML, DataRobot, DataBricks, etc. • Qlik Senseでハイエンドな データサイエンスを公開する Qlik は意思決定者へのインサイトの生成を民主化し、多大な価値をもたらします。 ビジネスの意思決定 新たな使用例としての将来予測 より高付加価値な問題解決
- 10. 10 データサイエンスのライフサイクル Qlikはどのように成功に導くためにライフサイクルを自動化するか 目的の定義 • 目的を明確にする • 戦略の明確化 • ML問題の定義 データパイプライン • データ収集 • データ探索 • データ準備 予測モデルの開発 • モデル構築 • キードライバー 分析 • モデルの洗練化 予測の展開 • 予測展開 • 予測統合 • 予測評価 意思決定・行動 • 処方的分析 • What-Ifシナリオ • 行動 Qlik Cloud with AutoML アナリストと意思決定者のための自動化・拡張機能
- 11. 11 11 ユースケース
- 12. 12 12 12 12 12 12 12 ビジネスライン・ソリューション分野 幅広い分野での適用 営業 • セールスパイプライン – Win/Loss予測 • 顧客離脱率／顧客維持率 • 顧客プロスペクト／ターゲティング マーケティング • 需要・収益予測 • 顧客生涯価値 • カスタマー・ネクスト・ベスト・オファー ファイナンス • 設備投資の最適化 • 経費管理 • リスクマネジメント／リスク低減 オペレーション • 労働力需要予測 • キャパシティーの割り当て • 予約のキャンセル 人事 • 従業員定着率／離職率予測 • 従業員満足度 • 採用活動／候補者プロファイリング IT • ソフトウェア／ライセンスの使用状況 • インフラ性能予測 サービス & サポート • サポートケース予測 • 予知保全 サプライチェーン • 在庫の陳腐化予測 • サプライチェーンパフォーマンス／ボトルネック • 輸送の最適化
- 13. 13 13 アナリティクスの価値を高める MLでより深い問いに答え、アクションを起こす 前期はどのような案件をクローズ したのか？ 成約率はいくらだったか？ 今期、私がクローズできそうな案件 は？ 成約率はどうなるのか？ 今期の案件を牽引する重要な 要因は何か？ より多くの収益を上げるために どのようなアクションを起こ せば いいのか? 機械学習なし 機械学習の利用 機械学習＋説明力 記述的 予測的 処方的 アクティブ インテリジェンス アクションを引き起こす
- 14. 14 セールス 顧客解約率／ 顧客維持率 過去12ヶ月の 顧客解約率は？ どの顧客が解約となった？ 機械学習なし 記述的 顧客解約率はどの程度にな ると想定されるか？ どのような顧客が離れて いきそうなのか？ 機械学習あり 予測的 解約が予測されるお客様に は、具体的にどのような理 由（キードライバー）が あるのか？ そのためには、どのように 行動すればよいのか？ 機械学習＋ 説明力 処方的 アクティブイン テリジェンス 優先順位の高い 顧客に対して、 プランや料金の 変更を促すター ゲットメールを 自動配信 対象顧客 サブスクリプションやメンバーシップ などの定期的な収益を持つ、あらゆる 業界の組織 トップ産業 ソフトウェア, サービス, メディア, 通 信 キーペルソナ セールスリーダーシップ, マーケティ ングアナリスト, ビジネスアナリスト, プロダクトマネジメント 顧客 バリュー・プロポジション より多くの顧客を囲い込み、収益源を 確保し（純収益維持）、顧客エンゲー ジメントとロイヤルティを向上させる 。 ペインポイント • 顧客が競合他社に流出する • 収益が減少している • 理由・要因の把握ができない 価値 ディスカバリークエスチョン 顧客の囲い込みに課題をお持ちではあ りませんか？ これは収益に重大な影響を与えますか ？ お客様が離れていく理由をきちんと理 解していますか？ それはデータに基 づいていますか？ 解約を数％でも減らすとはどういう効 果をもたらすか？ ディスカバリー お客様事例 • 金融サービスのeMoneyは、Qlik AutoMLを使用してユーザーアクテ ィビティを分析し、デジタルユー ザーエクスペリエンス（UX）を最 適化して、ユーザーエンゲージメ ントと顧客維持率を向上させてい ます。 • 中堅ソフトウェア企業の eSub 社 は、Qlik AutoML を使用して、ユ ーザーアクティビティデータ、サ ポートチケット、財務データを分 析し、代理店が顧客を維持できる よう支援しました。 証明 AutoMLのユースケース
- 15. 15 マーケティング 需要/収益予測 過去数四半期における当社 の地域別総売上高は？ 機械学習なし 記述的 各地域の次の四半期の売上 はどのようになると予想し ていますか？ 機械学習あり 予測的 地域ごとの収益予測の要因 は何か？ 収益を最大化するために、 どのようなアクションを起 こせばよいのか。 機械学習＋ 説明力 処方的 アクティブイン テリジェンス 各地域のリーダ ーに対して、収 益予測や推奨さ れるアクション ステップを記載 した報告書を作 成 対象顧客 収益と成長目標を持つすべての組織 トップ産業 製造業、小売業、金融サービス、消費 財、ソフトウェア、サービス、メディ ア キーペルソナ マーケティングリーダー, マーケティ ングアナリスト, ファイナンシャルア ナリスト, セールスエグゼクティブ お客様 バリュー・プロポジション 収益とキャッシュフローの維持、市場 の弱点への対応、収益に見合ったコス ト構造の調整 ペインポイント • 予期せぬ収益の未達 • 弱点への積極的な対処ができない • リスク領域に対する洞察力がない 価値 ディスカバリークエスチョン 収益予測やその根拠となるデータに自 信がありますか？市場の弱さに対して 適切な計画が立てられていますか？ 苦手な分野を予測し、素早く対応する 力があるか？ より正確な予測を持ち、ビジネスを調 整することができると、どのような意 味を持つでしょうか。 ディスカバリー お客様事例 • 世界的なメディア企業がQlik AutoMLを使用して、さまざまなデ ジタルプラットフォームのパ フォーマンスを分析し、これらの 製品から得られる収益の可能性を 予測しています。 • ヨーロッパの消費財メーカーが、 Qlik AutoMLを使用して、ブラン ドと製品ごとに週単位で収益を予 測しています。 証明 AutoMLのユースケース
- 16. 16 ファイナンス 経費管理／ フォーキャスト 前四半期の従業員の経費支 出は？ 経費の主な内訳は？ 機械学習なし 記述的 来期のカテゴリー別経費の 見込みは？ 機械学習あり 予測的 経費を押し上げる要因は何 ですか？ 経費削減のために、どのよ うに行動するのがベストな のか？ 機械学習＋ 説明力 処方的 アクティブイン テリジェンス 経費予測や該当 するカテゴリの 経費削減の指示 を管理者に報告 する。 対象顧客 販売やサービスを行う組織、経費が発 生する人員 トップ産業 プロフェッショナルサービス、ソフト ウェア、ハイテク、金融サービス、ラ イフサイエンス、その他 キーペルソナ 金融オペレーション、セールスOps、 マネージャー、アナリスト お客様 バリュー・プロポジション 経費削減と将来の支出に対する可視性 と一貫性の獲得 ペインポイント • 経費の増大が全体の収益を圧迫し ている • 将来の支出を把握・予測すること ができない • ファイナンシャル・ポリシー違反 の発生場所を把握するのは難しい 価値 ディスカバリークエスチョン 全体的な経費削減をお考えですか？ 将来の出費を予測する上で、課題はあ りますか？ 経費が適切に使われていると確信して いますか？ 全体の出費を10％減らすとどういう効 果をもたらすか？ ディスカバリー お客様事例 • Naylorは、オーバーヘッドを削減 し、経費が過剰な領域を削減する ために、Qlik AutoMLモデルを 使って、各四半期のプロジェクト ごとの予算を予測するPOCを実施 しました。 証明 AutoMLのユースケース
- 17. 17 前過去12ヶ月の間にキャン セル された予約の数は？ どのようなお客様がキャン セルされたのでしょうか？ 機械学習なし 記述的 今後数ヶ月の間に、私たち のキャンセルはどうなるの でしょうか？ どのようなお客様が解約し やすいのか？ 機械学習あり 予測的 キャンセルが予想されるお 客様には、具体的にどのよ うな理由（キードライバー ）があるのでしょうか？ キャンセルを防ぐために、 どのような対策をとればよ いのでしょうか？ 機械学習＋ 説明力 処方的 アクティブイン テリジェンス リスクの高いお 客様にコールセ ンターからアウ トバウンドコー ルを発信し、懸 念に対処し、出 席を確保する 対象顧客 業界を問わず、顧客アポイントメント を持つ組織 トップ産業 ヘルスケア、リテール、サービス キーペルソナ オペレーション管理、カスタマーケア、 ビジネスアナリスト お客様 バリュー・プロポジション 予約キャンセルを減らし、収益を維 持し、顧客満足度を高めると同時に 、コストを削減 ペインポイント • お客様がアポイントメントに来な い • コストが高い／キャンセルが増え 続けている • 理由・要因の把握ができない 価値 ディスカバリークエスチョン 予約のキャンセルが多発していません か？ 予約のキャンセルは減収につながるの でしょうか？ なぜキャンセルが発生するのか、きち んと理解していますか？ キャンセルを5％以上下がるとどうい う効果をもたらすか？ ディスカバリー お客様事例 • Qlik AutoMLを使用した3ヶ月間で、 Appalachian Regional Healthcareはパイロットクリニッ クでのキャンセル率と連絡なしの キャンセル率を20%から15%に減 らすことができ、さらに最も重要 なこととして、ARHは2ヶ月以内 に価値を理解することができまし た。 証明 AutoMLのユースケース オペレーション アポイントメントの キャンセル
- 18. 18 サプライチェーン 在庫予測 昨年はどの部材の在庫切れ があったか？ どの製品で在庫を使い切っ たか？ 機械学習なし 記述的 来年度の在庫切れも予測で きるか？ どの製品が足りなく なりそうか？ 機械学習あり 予測的 需要が供給を上回る要因は 何か？ 適切な製品を用意するため に、どのようにアクション するのがベストなのか？ 機械学習＋ 説明力 処方的 アクティブイン テリジェンス 在庫管理担当者 に在庫切れの可 能性と主要因を 通知するメール を作成 対象顧客 消費者向け製品、または需要に応じた 在庫の確保が必要な組織 トップ産業 小売, 製造, 卸売 キーペルソナ サプライチェーンマネージャー、イン ベントリーマネージャー、オペレーシ ョンアナリスト お客様 バリュー・プロポジション お客様のご要望にお応えできるよう、 最適なレベルの製品・在庫を確保し、 収益と顧客対応力を向上させる。 ペインポイント • お客様の注文に応えられない • 在庫切れによる売上損失 • 不満な顧客層 • 理由・要因の把握ができない 価値 ディスカバリークエスチョン 在庫切れで注文が滞ったことはありま すか？ 収益や顧客満足度に影響を及ぼしてい ますか？ 将来の在庫切れを予測する能力はある のでしょうか？ もし、在庫切れの可能性を予測し、需 要を満たすことができるとどのような 意味を持つでしょうか。 ディスカバリー お客様との出会い • ある大手小売業者は、Qlik AutoMLを使用して、特定の商品の 在庫補充時期を計画しようとして います。 証明 AutoMLのユースケース
- 19. 19 サービス＆サポート 予防保全 昨年、機材でどのような故 障をしたのか？ 製品・機器内のどの部品が 故障したのか？ 機械学習なし 記述的 今後数週間のうちに故 障するリスクのある製 品・機器は？ 機械学習あり 予測的 予測される不具合に対して 、先行指標は何か？ 壊れる前に直すにはどうし たらいいか？ 機械学習＋ 説明力 処方的 アクティブイン テリジェンス 故障の予測やそ の原因などの監 視ダッシュボー ドを保守チーム に提供 対象顧客 複雑な装置や機械を持つ、または提供 する組織 トップ産業 製造業、ハイテク、自動車、通信事業、 公益事業 キーペルソナ サービス＆サポートチーム、メンテナ ンス、品質保証、オペレーションアナ リスト お客様 バリュー・プロポジション 機械の重大な故障を特定し、それを未 然に防ぐことで、コストとリスクを削 減し、操業の安定性を確保する。 ペインポイント • 設備・機械類の予期せぬ故障 • 定期的なメンテナンススケジュー ルが有効でない • コストのかかるサービスや修理 • 理由・要因の把握ができない 価値 ディスカバリークエスチョン 重要な機器が頻繁に故障していません か？このような故障は、高価なサービ スや修理につながるのでしょうか？ 故障の原因を理解しているか？ 故障を事前に発見し、未然に防ぐこと ができると、どのような意味を持つで しょうか。 ディスカバリー お客様事例 • Qlik AutoMLを使用することで、 Skullcandyは、現場で故障した製 品の特定の部品や機能を予測し、 相関関係を特定し、市場に出る前 にそれらの部品を改善することが できました。 証明 AutoMLのユースケース
- 20. 20 20 モデルの説明可能性
- 21. 説明可能性と予測可能性 • 予測を行う前の重要な第一歩は 、モデルを理解し、その意味を 理解する ことです。 • 説明可能なAIとは、各分野や値が予測 結果にどのような影響を与えるかを理解す る作業です。 • 多くのユースケースにおいて、モデルの説明 可能性は予測することよりも重要です。 15
- 24. 24 Qlik AutoMLが対応している問題 二値分類 多クラス分類 回帰 顧客は会員登録をキャンセル するか？ ある患者は再入院するか？ カテゴリー • ２つのカテゴリーに分類 • バイナリー：yes or no, 成功 or 不成功など カテゴリー • ２より多いカテゴリーに分類 • しない、30日以内にする、 30以上にするなど 期待される顧客のライフタイム 価値は？ 数値 • アウトプットは数値
- 25. 25 Qlik AutoMLの利用の流れ MLの実験 ML展開 カタログ トレーニング データセット ML モデル カタログ 予測 データセット カタログ 適用 データセット Qlik Cloudのカタ ログ データと統合 AutoMLによる反復実 験 無制限にモデルを作成 し、最高のものを展開 一度展開されたモデル は、予測を行うために 利用 予測は分析利用のた めに新しいデータセット に保存
- 27. 27 アルゴリズムの種類 Elastic Net Regression 弾性ネット回帰(Elastic Net回帰) Gaussian Naive Bayes ガウスナイーブベイズ Lasso Regression 囲み選択回帰(Lasso回帰) Logistic Regression ロジスティック回帰 Nearest Neighbors Classification 最近傍分類 Random Forest Classification ランダムフォレスト分類 XGBoost Classification XGBoost 分類 Algorithms ‒ Qlik Cloud Lasso Regression 囲み選択回帰(Lasso回帰) Linear Regression 線形回帰 Random Forest Regression ランダムフォレスト回帰 SGD Regression SGD 回帰 XGBoost Regression XGBoost 回帰 2値分類、多クラス分類 回帰 参照：
- 29. 29 学習用のデータセットの準備 • AutoMLを使用するには、機械学習を行うための データセットが必要です。 • これらは、Qlik Cloudのカタログで参照することがで きるデータセットである必要があり、現在、それはス ペースの「データファイル」にアップロードまたは保存さ れたファイルである必要があります。
- 31. 31 ML実験：データビュー
- 32. 32 ML実験：スキーマビュー
- 34. 34 ML実験：特徴量の選択・変更 インデックス列(ID)として扱う列は、特徴量の対象外となっていることを確認 (以下のケースではカーディナリティが高いため自動的に選択から外れているが、外 れていない場合には手動でチェックボックスをOFFにする) 以下の作業を行うこともできます。 一番左の列のチェックボックスをOFFにして特徴量(Feature)を削除することができます。例えば、ID 列やフリーテキスト、 日付フィールド（これらは現在、追加の前処理をしないとサポートされていません）などは、特徴の選択を解除することがで きます。 必要であれば、特徴量の種類(Feature type)を変更することもできます。例えば、1 =Apple、2 =Banana、3 = Orange のように、カテゴリ的なものを表す数値がある場合、特徴タイプを変更することが有効です。これらの数値の順序は 意味をなさないので、これらの値間の数値関係を無視するように AutoML に指示する必要があります。
- 35. 35 ML実験：サイドコンフィグレーションパネル 右側のコンフィグレーションパネルで、以下の現在の設定を確認することができます。 トレーニングデータ(Training data)：学習に利用するデータセットの確認 と変更を行えます。 対象(=ターゲット: Target)：予測の対象となる目的変数の確認と変更 を行えます。 アルゴリズム(=Algorithms)：学習に自動的に利用されるアルゴリズムの 確認と選択を行えます。 モデルの最適化(Model optimization)：モデルのハイパーパラメータの 最適化を行う場合、ここでその設定を行います。 AutoML前処理(AutoML preprocessing)：AutoMLの前処理につ いての説明をここで参照することができます。
- 37. 37 自動的なデータ準備と変換(1) 1.データセット内の列をカテゴリまたは数値として分類します。 • float, double, decimalのデータ型は、常に数値と見なされます。 • 文字列データ型は常にカテゴリ型と見なされます。 • 整数データ型は、列のカーディナリティに応じてカテゴリまたは数値と見なされます。列の一意の値が50個以下の場合、列はカテゴ リと見なされます。それ以外の場合は、数値と見なされます。 2.各列にスパース性とカーディナリティがないか確認します。次の場合は、列を除外します。 • 列が 50% の NULL 以上である場合 • フィーチャの null 値を含むレコードを削除すると、他の有用なトレーニング例が破棄される可能性があります。 • 値を代入することで例を保存することができますが、レコードは現実の近似にすぎません。したがって、null値の数が多い (50% 以上) 特徴量を除外する方がよい場合があります。 • 0や空白がNullと見なされることはないことに注意してください。必要に応じて、事前にNull変換を行う必要があります。 • 列のすべての行で値が同じな場合(カーディナリティが低い)。値が1つだけの特徴量には、予測値がありません。 • 列はカテゴリであり、90%以上もしくは、1000 を超える一意の値 (カーディナリティが高い) を持つ場合。一意の値が多すぎると、 モデルがトレーニング データセットを超えて一般化することが困難になります。
- 38. 38 自動的なデータ準備と変換(2) 3. 数値の平均値と、カテゴリの最頻値を計算して保存します。 4. 数値の場合は平均値、カテゴリの場合は最頻値で欠損値を補完します。 • 代入がデータに与える影響を理解することが重要です。代入は行または列の予測力を保持しますが、以前は存在しなかったパ ターンを作成したり、存在していたパターンにノイズを追加する可能性もあります。これにより、データの有効性が低下します。 • データ収集のプラクティスを見直して、データの完了を確認し、必要に応じて新しいプロセスを実装することができます。空の値の 表現を保持したい場合は、null に “other” や “unknown” などの値で事前に補完してください。 5. カテゴリ変数をエンコードします。 • 列数が100 以下のデータセットの場合: 一意の値が13以下のカテゴリの特徴量は、one-hotエンコーディングされます。 13を超える一意の値を持つカテゴリの特徴量は、インパクトエンコーディングされます。 • 100列を超えるデータセットの場合、すべてのカテゴリ列はインパクトエンコーディングされます。
- 39. 39 自動的なデータ準備と変換(3) 6. 特徴のスケーリングに使用する各列の要約統計量を計算して保存します。 7. 特徴量のスケーリングにより各列を標準化します。 • 平均値と標準偏差は、列に対して計算されます。元の値と平均の差を標準偏差で割って標準化した値が求められます。 学習データ 元のデータの分布 標準化後のデータの分布
- 40. 40 自動的なデータ準備と変換(4) • 実験のトレーニングを開始する前に、データセット内の null 以外の ターゲットを持つすべてのデータがランダムにシャッフルされます。データ セットの20%がホールドアウトデータとして抽出されます。データセット の残りの 80%はクロスバリデーションを使用してモデルをトレーニング するために使用されます。 • クロスバリデーションの準備として、データセットはランダムに5つの部分 (フォールド) に分割されます。その後、モデルは5回トレーニングされ、 そのたびに異なる1/5のデータを非表示にして、モデルのパフォーマン スをテストします。トレーニングメトリクスはクロスバリデーション中に生 成され、計算された値の平均です。 • トレーニング後、モデルはホールドアウトデータに適用されます。ホール ドアウトデータは、クロスバリデーションのデータとは異なり、トレーニング 中にモデルによって認識されないため、モデルのトレーニングのパフォー マンスを検証するのに最適です。ホールドアウトの評価指標は、この 最終的なモデル評価中に生成されます。 8. モデルのトレーニング中に 5分割のクロスバリデーションを使用して、モデルのパフォーマンスをシミュレートします。次に、トレーニング データ の別のホールドアウトに対してモデルがテストされます。これにより、スコアリングメトリックが生成され、さまざまなアルゴリズムのパフォーマンス を評価および比較できます。
- 43. 43 ML実験の結果のレビュー：二値分類の例(2) 上(=Top)：モデルのパフォーマンススコアが最も高いモデルにフラグを表示 バージョン：モデルのバージョン HPO：ハイパーパラメータ最適化の実施状況 アルゴリズム：学習を実施したアルゴリズム名 F1(=F1値,F値)：適合率(Precision)と再現率(Recall)の調和平均で、値の範囲は0～1を取り、1に近づく ほど予測性能がよいことになる AUC：ROC曲線の下側の面積の大きさで分類予測を評価し、０から１の範囲で変動して値が大きいほど予 測性能がよいことになる 有効桁数(=適合率: Precision)：正例と分類したサンプルのうち、正解した割合 精度(=精度,正解率:Accuracy)：正例か負例を問わず、正解した割合 リコール(=再現率: Recall)： 実際の正例のうち、正例と予測したものの割合 ハイパーパラメータ(Hyperparameters)：機械学習のアルゴリズムの挙動を設定するパラメータ
- 45. 45 ML実験の結果のレビュー：二値分類の例(2) F1マクロ(F1-macro)：各クラスごとのF値を計算し、その平均を取ったもの(各クラスのF1スコアの算術平均)。値の 範囲は0～1を取り、1に近づくほど予測性能がよいことになる。 F1ミクロ(F1-micro)：混同行列全体の真陽性（TP）・偽陽性（FP）・偽陰性（FN）からF1スコアを計算。値 の範囲は0～1を取り、1に近づくほど予測性能がよいことになる。 F1加重(F1-weighted)：各クラスのF1スコアのクラスごとの頻度の加重平均。値の範囲は0～1を取り、1に近づくほ ど予測性能がよいことになる。
- 47. 47 ML実験の結果のレビュー：回帰の例(2) R2（決定係数、coefficient of determination）： １から「誤差の二乗」を「実測値-平均値の二乗」で割った 平均値を引いたもので、 1に近づくほど予測性能がよいことになる RMSE（Root Mean Squared Error）：真の値と予測値の差の二乗を取り、それらを平均した後に平方根をと ることによって計算 MSE （Mean Squared Error） ：真の値と予測値の差の二乗を取り、それらを平均することによって計算 MAE（Mean Absolute Error）：真の値と予測値の差の絶対値の平均によって計算
- 50. 50 ROCの屈曲度(=ROC曲線:ROC Curve) 真陽性率 (true positive rate)と偽陽性率(false positive rate)をそれぞれ縦軸と横軸にプロットし たグラフで、完璧に分類できるモデルでは、偽陽 性率が0のときに真陽性率が1となる。
- 51. 51 混同行列(Confusion Matrix) 2値分類問題において、予測と実際の分類を以下の形で行列 形式にまとめたもの： • 真陰性(True Negative)：検査で陰性とされ、実際に 陰性である場合 • 偽陰性(False Negative)：検査で陰性とされたものの、 実際には陽性である場合 • 偽陽性(False Positive)：検査で陽性とされたものの、 実際には陰性である場合 • 真陽性(True Positive)：検査で陽性とされ、実際に 陽性である場合
- 59. 59 ML展開での予測の作成(4) デフォルトでは、予測結果を含むデータセットを作成するだけですが、その他のファイルの追加や、使用するインデックス列を選択を行うことがで きます。 • 適用データセット：予測に利用されたデータセット • SHAP: 各レコードの SHAP 値を含むデータセットを生成します。データセットには、モデル 内の各特徴の列インデックスと<特徴量>_shapがあります。 • 座標SHAP(Coordinate SHAP): SHAP データセットと同じ値が得られますが、編成方 法は異なります。データセットには、列のインデックス、特徴量、およびSHAP値があります。 • エラーデータセット: 適用データセット内のレコードのエラーを含むデータセット。これにより、レ コードが削除されたかどうか、およびどのような理由で削除されたかがわかります。 • インデックス列：インデックス列を自動生成するか、適用データセット内の既存の列を使用す るかを選択します。
- 67. 67 Qlik AutoMLのサンプルデータ Qlik AutoML on Qlik Cloud - sample data - Qlik Community - 1966212
- 71. 71 Qlik AutoMLへの接続定義作成(2) • 呼び出すML展開を選択 • 予測値以外に、SHAP、Apply dataset(適用データセット)、 Errors(エラー)を含みたい場合には、チェックボックスをON • キー列を指定 ここで指定したキー列により、予測に使われたデータセッ トと、予測結果を含むデータセットが関係付けられます。 • 接続定義の名前を指定
- 72. 72 バッチ実行の場合(1)：スクリプトの追加 ②予測に使うテーブル名を指定 ① 接続定義からウィザードを起動 ③「AutoML Predictions」テーブルを選択 ④ [スクリプトを挿入]をクリック ⑤ スクリプトが挿入される
- 74. 74 リアルタイム予測の場合：数式の追加 • 関数に渡す列のデータ型を指定 (S=String, N=Numeric) ここで指定するデータ型の数は、以下で指定する関数に渡す列の 数と一致する必要があります。 • 呼び出すQlik AutoMLの接続定義名を指定 • 返り値として受ける列名を指定： <目的変数名>_predicted：予測値を返します。 <目的変数名>_Yes, 目的変数名>_No：Yes, Noの予測スコアを 返します。分類問題のみで利用が可能です。 • 関数に渡す列の一覧を指定 変数を含むことも可能です。 変数を含む場合、「AS <列名>」を利用して、渡す列の名称を、予 測モデルの名称と合わす必要があります。
- 75. 75 リアルタイム予測の場合：数式の例 endpoints.ScriptAggrEx(‘SNNNNNNNNNNSSNNSNNNNNSSSSSSNNS’, ‘{“RequestType”:“endpoint”, “endpoint”:{“connectionname”:“AutoML:Qlik_AutoML_Customer_Churn”, "column":"Churn_predicted"}}', id_loan, CurrentBalance, loan_age, delq_sts, Margin, countLatePayment, RefinanceRateRelativity, RealGDP, ChangeUnemploymentRate, CurrentLCV, fico, flag_fthb, cd_msa, mi_pct, cnt_units, occpy_sts, cltv, dti, orig_upb, ltv, int_rt, channel, ppmt_pnlty, st, prop_type, zipcode, loan_purpose, orig_loan_term, cnt_borr, flag_sc, )
- 81. 81 APIリクエストの例 - Curl curl "https://your-tenant.us.qlikcloud.com/api/api/v1/automl-deployments/{deploymentId}/realtime-predictions" -X POST -H "Authorization: Bearer <API-key>" -H "Content-type: application/json" -d '{"schema":{"rows":[],"schema":[{"name":"fieldname"}]}}' { "schema": [ { "name": "keyfield"}, { "name": "sex"}, { "name": "age"}, { "name": "pclass"} ], "rows": [ [1,"female",29,1], [2,"female",30,1] ] } リクエストのシンタックス スキーマ、データ行の例
- 82. 82 APIリクエストの例 – Postman(1) 取得したリアルタイム予測APIに対してPOSTリクエスト 「Authorization」のキーに「Bearer <API-key>」の値を入 力 「Content-type」のキーに「application/json」の値を入力
- 83. 83 APIリクエストの例 – Postman(2) { "schema": [ { "name": "keyfield"}, { "name": "sex"}, { "name": "age"}, { "name": "pclass"} ], "rows": [ [1,"female",29,1], [2,"female",30,1] ] } リクエストBodyに以下の形式でスキーマとデータを入力
- 85. 85 APIレスポンスの例
- 86. 86 86 提供形態
- 87. 87 Qlik AutoML 提供形態 標準 Start Up Scale Up Premier Premier Expansion Deployed Model数*1 2 5 10 20 20 同時Training数 1 5 10 15 15 Dataset Size *1 50,000 100,000 1,000万 10億 - • Premier Expansion は Premier を既に購入済みの場合に提供可能です。 *1 Rows×Columns（列×行）, ML実験で利用するデータサイズ。
- 88. 88 88 その他の情報
- 89. 89 オンラインでの技術情報提供 Qlik Japan プリセールスチームでは、オンラインの技術情報提供を推進しています。 セミナー トレーニング 技術イベント
- 90. 90 Qlik Japanグループのフォローをお願いします。 Tech Playのグループを フォローいただくと、イ ベント情報が届きます。 TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik
- 92. 92 過去のセミナー動画 YouTubeチャンネル YouTube プレイリスト：TECH TALK YouTube プレイリスト： Qlik Replicate 基礎から学ぶ勉強会 Qlik Japan Youtubeチャンネル 登録チャンネルの お願いします。
- 93. 93 93 93 93 93 93 93 「Qlik Sense 参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バ イブル 判型：b5 変 ・総ページ数：～480ページ程度 予価本体：4,200円(+税) • 1 冊でQlik Senseの基本をマスターする （＝基本編）、ニーズの高い分析例（＝応 用編）をできるだけ丁寧に紹介する。
- 94. 94 その他の情報 セミナー動画・事例紹介 デモ・新機能紹介 Qlik Japan Youtube Qlik Community Japan Qlikショーケース 日本語アプリの公開 Qlik Japanブログ 製品・技術情報の公開