TECHTALK 20230228 ビジネスユーザー向け機械学習入門第３回～機械学習のモデルの評価と検証

TECHTALK 20230228 ビジネスユーザー向け機械学習入門第３回～機械学習のモデルの評価と検証
Yuki Suzuki Senior Solution Architect ビジネスユーザー向け機械学習入門第３回機械学習のモデルの評価と検証 2023/02/14 開始までしばらくお待ちください。
Yuki Suzuki Senior Solution Architect ビジネスユーザー向け機械学習入門第３回機械学習のモデルの評価と検証 2023/02/14
4 TECH TALKとは？ Qlikの製品や機能の中から特定のテーマを取り上げて、技術的な情報を発信していくセミナーです。
5 5 Q&Aについて • 質問はZoom画面下のQAアイコンをクリックして入力してください。 • 質問に対してQlikパネラーが随時QAパネルで回答します。 • 質問と回答については、セミナーの最後に他の参加者に情報共有させていただきます。
6 6 本日の動画と資料について • 本セッションの資料と動画は後日TechPlayのレポートで公開されます。 • 以前のセッションにつきましては、YouTubeのプレイリスト、 Slideshareをご覧ください。 • SlideShareからのPDF版のダウンロードはSlideShareへの登録が必要となります。
7 7 アジェンダ 前回の復習 モデルの評価の重要性 モデルのスコアリング ⁻ 二項分類のモデルのスコアリング ⁻ 多項分類のモデルのスコアリング ⁻ 回帰モデルのスコアリング ⁻ 時系列モデルのスコアリング  特徴量の重要度  モデルの改良  まとめ
8 当Webセミナーの目的と範囲ビジネスユーザーが自動機械学習ツール（Qlik AutoMLをベースに）を使用できるレベルの知識を習得することを目的とします。主に構造化データを使用した教師あり学習を扱います。
9 前回の復習
10 学習用データの準備学習目的の定義意思決定・行動  KPIの設定  アクションの設定  機械学習の問題定義  学習用データ収集  クリーニング、キュレーション、加工  特徴量の選択  特徴量の作成  検証用データ分割  アルゴリズムの選択  アルゴリズムの実行  モデルの作成  モデルの決定  予測用データの準備  モデルの適用  予測結果の評価  共有モデルの評価  クロスバリデーション  モデルの評価  ハイパーパラメータの最適化予測モデルの開発データパイプライン予測の展開学習用データの前処理の重要性学習用データが適切でなければ精度の高い予測モデルは作成することができません。学習データの準備は一般的に全行程の8割といわれており、非常に重要ですが、ビジネス・業界知識が必要であり、完全に自動化するのは困難な領域です。収集したデータをよく観察し、ビジネス上の知識をもとに学習用データとして加工していくことが必要です。また実際は作成したモデルを評価して、再度データの加工を行うことを繰り返します。学習用データの準備  学習用データ収集  クリーニング、キュレーション、加工  特徴量の選択  特徴量の作成  検証用データ分割データパイプライン繰り返し
11 データの確認と前処理  欠損値はあるか  特徴量の数は適切か  データ型（数値・文字列）は正しいか  さらにふさわしい特徴量はないか  各特徴量の値はどのように分布しているか  各特徴量の値の範囲は同等か  外れ値はないか  欠損値の処理  特徴量の削減  データ型の変換  クラスバランス  カテゴリ変数のエンコーディング  数値変数のスケーリング  外れ値の排除  日付変数の変換  新しい特徴量の作成  検証用データの分割収集データの確認ポイント前処理
12 モデルの評価の重要性
13 学習用データの準備学習目的の定義意思決定・行動  KPIの設定  アクションの設定  機械学習の問題定義  学習用データ収集  クリーニング、キュレーション、加工  特徴量の選択  特徴量の作成  検証用データ分割  アルゴリズムの選択  アルゴリズムの実行  モデルの作成  モデルの決定  予測用データの準備  モデルの適用  予測結果の評価  共有モデルの評価  クロスバリデーション  モデルの評価  ハイパーパラメータの最適化予測モデルの開発データパイプライン予測の展開モデルの作成と評価機械学習では、学習用データによる学習を行いモデルを作成し、できたモデルを評価します。この過程を適切なモデルができるまで繰り返いします。自動機械学習ツールでは、アルゴリズムを適用してモデルを作成する部分は自動で行いますので、モデルの評価に焦点を当てます。学習用データの準備繰り返しモデルの評価  クロスバリデーション  モデルの評価  ハイパーパラメータの最適化学習  アルゴリズムの選択  アルゴリズムの実行  モデルの作成
14 モデルの評価の難しさどうやって車を選びますか？車の購入基準は・・・・・？燃費、馬力、トルク、重量、加速など、考慮が必要な基準は多数。すべてが優れているといいが、実際は車の使用目的に応じて優先順位を付ける必要がある。機械学習のモデルに対する評価も・・・・・複数の基準があり、用途によって優先付けが必要。あるユースケースでは非常に悪いスコアに見えるものも、別のユースケースでは優れたスコアであり高い利益を生み通勤用にはトルクが小さくても燃費がよいのがいい船を運ぶ場合は燃費が悪くてもトルクの大きいほうがよい
15 モデルの評価の重要性自動機械学習ツールを使用すると、モデルだけでなく、モデルの評価スコアやその可視化も自動で作成してくれる場合があります。しかし、モデルが適切かどうかを判断するには、ビジネスドメインの知識とさまざまなスコアリングメトリクス、およびモデルのトレーニングに使用されたデータに対する理解を組み合わせる必要があります。自動機械学習ツール許容できないほど悪い結果を招くことなく、投資に対するプラスの利益を生み出すことができるレベルのモデルを適用することが重要モデル
16 モデルのスコアリング • 二項分類モデルのスコアリング • 多項分類モデルのスコアリング • 回帰モデルのスコアリング • 時系列モデルのスコアリング
17 二項分類モデルのスコアリング混同行列二項分類のモデルの評価には混同行列を使用します。混同行列とは分類結果を表形式にまとめるものです。それぞれの件数を確認します。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性正解正解
18 二項分類モデルのスコアリング混同行列の作成例顧客 500 人について解約する (Yes) か、解約しないか (No) を予測した例です。各マス目の数値を使用して、評価のスコアリングを計算します。実は Yes 実は No Yes と予想 70 TP 真陽性 5 FP 偽陽性 75 No と予想 15 FN 偽陰性 410 TN 真陰性 425 85 415 合計 500 全体の顧客数となる
19 二項分類モデルのスコアリング正解率（Accuracy）正解率とは、モデルが正しい予測を行った割合です。Yes も No もどちらも重要な場合に使用します。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TP + TN (正しく予測した数） TP+FP+FN+TN（全体）高ければよいというわけではない Yes と No が不均衡なデータに対してはあまり意味がない
20 二項分類モデルのスコアリング再現率（Recall）再現率とは真陽性率のことです。実際の値が Yes である場合に、そのモデルが正確に Yes と予測した割合です。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TP (YesをYesと予測した数） TP + FN（実際にYesの数） Yes は確実に Yes として見逃さない、No を Yes として分類しても問題ない場合に重視します。病気の診断、異常検知など
21 二項分類モデルのスコアリング適合率（Precision）適合率とは陽性適中率とも呼びます。Yes と予測したデータのうち、実際の値が Yes であった割合です。実は No であるのに Yes と認識した誤りが多いほど低くなります。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TP (YesをYesと予測した数） TP + FP（Yesと予測した数） Yes を No と分類してもよいが、No は確実に No として分類したい場合に重視します。検索システムで検索ワードに関連するものを絞り込みたい場合迷惑メール判定で、誤って迷惑メールとしたくない場合
22 二項分類モデルのスコアリング再現率と適合率のトレードオフ再現率と適合率はトレードオフの関係にあります。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TP TP + FN TP TP + FP 再現率＝適合率＝偽陰性が減ると再現率は上がる Yesと予想するほうがよい偽陽性が減ると適合は上がる Noと予想するほうがよい偽陽性と偽陰性のどちらが望ましくないかが重要
23 実は Yes (詐欺) 実は No (正常) Yes (詐欺) と予想詐欺サイトと予測し、実際に詐欺サイト詐欺サイトと予測しているが、実際は正常 No (正常) と予想詐欺サイトだが、正常と予測正常と予測し、実際に正常実は Yes (有効) 実は No (効かない) Yes (有効) と予想薬が効くと予測し、実際に効く薬が効くと予測しているが、実は効かない No (効かない) と予想薬は実際は効くが効かないと予測薬が効かないと予測し、実際に効かない二項分類モデルのスコアリング再現率と適合率のどちらを重視するか癌の治療薬が有効かそうでないかを予測 TP TP + FP 適合率を重視する詐欺サイトかそうでないかを予測 TP TP + FN 再現率を重視する誤誤誤誤
24 二項分類モデルのスコアリング F1 F1は再現率と適合率の調和平均をとる指標です。トレードオフにある再現率と適合率を合わせて評価します。 F値ともいいます。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性２×再現率×適合率再現率＋適合率
25 二項分類モデルのスコアリング特異度（Specificity） Specificity とは、真陰性率のことです。実際の値が No である場合に、そのモデルが正確に No と予測した頻度を測定します。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TN (NoをNoと予測した数） FP+TN（実際にNoの数） No の予測の取りこぼしをできるだけ少なくし、偽陽性を減らしたい場合に重視
26 二項分類モデルのスコアリング陰性適中率（NPV）陰性的中率（Negative predictive value）は、No と予測したときに、実際の値が No であった割合です。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 TN (実際にNoの数） FN+TN（ Noと予測した数）
27 二項分類モデルのスコアリング偽陰性率（Miss Rate）偽陰性率とは、実際の値が Yes である場合に、そのモデルがNoと予測した割合です。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 FN (YesをNoと予測した数） TP+FN（実際にYesの数）
28 二項分類モデルのスコアリング偽陽性率（Fall Out）偽陽性率とは、実際の値が No である場合に、そのモデルがYesと予測した割合です。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 FP (NoをYesと予測した数） FP+TN（実際にNoの数）
29 二項分類モデルのスコアリングマシューズ相関係数 (MCC) マシューズ相関係数 (MCC)は完全な予測結果の混同行列とどのくらい一致しているかを評価します。範囲は -1 から 1 で、1 はモデルがすべてのサンプルを正しく予測したことを意味します。 0の時はランダムな予測で、-1の時は、完全に逆の予測をしているということになります。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性 (TP x TN) - (FP x FN) √(TP + FP) x (FN + TN) x (FP + TN) x (TP + FN) YesとNoが大きく偏ったデータでは他の指標で正しく評価できず、MCCが有効な場合があります。また他の指標とことなり、少数派と多数派のどちらをYesとするかの影響もうけません。マシューズ相関係数とは – Matthews Correlation Coefficient –
30 二項分類モデルのスコアリング ROC曲線（Receiver Operating Characteristic Curve） ROC曲線とは、しきい値を１から０に動かしながら、真陽性率をｙ軸に、偽陽性率をｘ軸にプロットしたものです。予測の正確さを表す指標ではなく、実際の結果が陽性である場合に、モデルがポジティブクラスを予測するのにどれだけ優れているかを示しています。実は Yes 実は No Yes と予想 TP True Positive 真陽性 FP False Positive 偽陽性 No と予想 FN False Negative 偽陰性 TN True Negative 真陰性偽陽性率真陽性率よいよくないランダム FP (NoをYesと予測した数） FP+TN（実際にNoの数） TP (YesをYesと予測した数） TP + FN（実際にYesの数）
31 二項分類モデルのスコアリングしきい値ある分類に所属する確率がしきい値以上になった場合に、その分類と予測されます。そのためしきい値を変えると、予測結果が変わります。しきい値=0.5がよく使われますが、要件に応じて調整します。実はNo 実はYes TP TN しきい値しきい値= 0.5 の場合実はNo 実はYes TP TN FN しきい値しきい値= 0.45 の場合 FP FN FP FN（偽陰性率）が減り、FP（偽陽性率）が増えるしきい値を大きくすると逆になる OPTiM TECH BLOG 【初心者向け】機械学習におけるクラス分類の評価指標の解説
32 二項分類モデルのスコアリング ROC曲線としきい値しきい値=0の時はすべてYesと予測真陽性率も偽陽性率も１ FP TP 真陽性率よいよくないランダム偽陽性率しきい値が0~1の時真陽性率は高く、偽陽性率は低い TP TN しきい値=1の時はすべてNoと予測真陽性率も偽陽性率も0 FN TN FP FN 良いモデル OPTiM TECH BLOG 【初心者向け】機械学習におけるクラス分類の評価指標の解説しきい値が0~1の時真陽性率は低く、偽陽性率が高い TP TN FP FN 悪いモデル良いモデルは常に真陽性率が高い
33 真陽性率ランダムな予測偽陽性率二項分類モデルのスコアリング AUC（Area Under the ROC Curve）完全な予測 AUCとはROC曲線の下の部分の面積です。完全な予測を行った場合は、面積は１となり、ランダムな予測の場合は0.5となります。モデルの改善によりどの程度、精度が向上したかを確認する場合に曲線ではわかりにくく、面積で確認した方が有効な場合があります。ランダムな予測
34 二項分類モデルのスコアリング LogLoss LogLoss とは、予測がどれだけ正解に近いかという予測の確実性を表します。値が低いほど、予測が優れていることを意味します。最適なモデルの LogLoss は 0 になります。正解率 LogLoss 0.0 0.2 0.3 0.4 0.6 0.7 0.8 0.9 病気でない (0) 病気である (1) 確率値を正解値と比較してスコアを算出
35 二項分類モデルのスコアリングまとめ評価指標内容計算式特長混同行列正解率 Accuracy モデルが正しい予測を行った割合 (TP+TN)/(TP+FP+FN+FP) Yes も No もどちらも重要な場合再現率（真陽性率） Recall 実際の Yes を Yes と予測した割合 TP/(TP+FN) Yesを見逃したくない場合適合率（陽性適中率） Precision Yes の予測のうち、実際に Yes であった割合 TP/(TP+FP) 偽陽性を減らしたい場合 F1 再現率と適合率の調和平均 (2×再現率×適合率)/(再現率＋適合率) 特異度（真陰性率） Specificity 実際の No を No と予測した割合 TN/(FP+TN) No を見逃したくない場合陰性適中率 NPV No の予測のうち、実際に No であった割合 TN/(FN+TN) 偽陰性を減らしたい場合偽陰性率 Miss Rate 実際の Yes をNo と予測した割合 FN/(TP+FN) 偽陽性率 Fall Out 実際の No をYes と予測した割合 FP/(FP+TN) マシューズ相関係数 MCC 完全な予測結果の混同行列とどのくらい一致しているかを示す ( (TP x TN) - (FP x FN)) /√((TP + FP) x (FN + TN) x (FP + TN) x (TP + FN)) ROC曲線モデルがポジティブクラスを予測するのにどれだけ優れているかを示す AUC ROC曲線の下の部分の面積 LogLoss 確率値を正解値と比較してスコアを算出、０に近いほどよい
36 多項分類モデルのスコアリング F1の平均値 Macro F1 各分類クラスのF1を計算し、平均値をとるすべてのクラスを同等に扱う 0.0～1.0 で、1.0に近いほどよいクラスによって不均衡なデータに使用 Micro F1 全分類クラスをまとめてF1を計算する（全予測のうちの正解の割合） 0.0～1.0 で、1.0に近いほどよい正解率と同じ、理解しやすい Weighted F1 Macro F1と同様に各分類クラスのF1を計算し、平均を求める際に各分類クラスに重みづけを行って計算する特定のクラスの精度が重要な場合に使用
37 回帰モデルのスコアリング残差平方和の利用オレンジの線の長さの 2乗の合計回帰モデルのスコアリングの多くは残差平方和を利用します。残差平方和とは、すべてのデータの正解値と予測値の誤差の２乗を集計した値です。予測値正解値誤差
38 回帰モデルのスコアリング MSEとRMSE すべてのデータの正解値と予測値の差の２乗を集計（残差平方和）すべてのデータ数 MSE = すべてのデータの正解値と予測値の差の２乗を集計（残差平方和）すべてのデータ数 RMSE = √ MSE （Mean Squared Error 平均二乗誤差）予測値と実測値の間に予想される平均的な±の差の二乗です。 RMSE （Root Mean Squared Error 平均平方二乗誤差）予測値と実測値の間に予想される平均的な±の差の二乗の平方根です。０に近いほどよい。誤差を二乗するので間違いを重視する指標、ただし外れ値の影響を受けやすいので注意が必要です。
39 回帰モデルのスコアリング決定係数（R2） R2 (Rの２乗) は、全データの平均値を使った場合と比較して、モデルの予測値が何パーセント完全な予測に近いかということです。１に近づくほどよいということになります。 R2の値が低くても悪いモデルであるとは限りません。他のアルゴリズムの結果がよいのに、線形回帰が悪い結果を出している場合、単にデータが線形関係によっては十分にモデル化できないことを意味しているのかもしれません。すべてのデータの正解値と予測値の差の２乗を集計（残差平方和）すべてのデータと全データの平均値の差の２乗を集計(全平方和） R2 = 1 ー
40 回帰モデルのスコアリング MAE（Mean Absolute Error 平均絶対値誤差）各データの正解値と予測値の差の絶対値の平均です。絶対値をとるので、予測誤差のプラスマイナスの相殺を防ぎます。二乗により大きく単位がかわらないので理解しやすいが、誤差の評価はわかりにくい点があります。すべてのデータの正解値と予測値の差の絶対値を集計すべてのデータ数 MAE =
41 時系列モデルのスコアリング MAPE（平均絶対パーセント誤差） MAPEとは各データについて、予測値と正解値との差を正解値で割った値の絶対値の平均です。予測が完全な場合は0となります。正解値と予測値の差正解値各データのの絶対値を集計 MAPE = データ数率であり相対誤差であるため、スケールの異なるデータの予測を評価しやすい。（例えば店舗ごとに大きく売上が異なる場合の予測など）正解値に０があるとエラーとなる。０に近い正解値の場合、極端に大きくなる。［評価関数］平均絶対パーセント誤差（MAPE：Mean Absolute Percentage Error）とは？
42 特徴量の重要度
43 特徴量の重要度 Permutation Importance F1 F2 F3 ・・・目的変数学習データ予測結果 F1 F2 F3 ・・・目的変数順序をシャッフル検証データ１予測結果１ F1 F2 F3 ・・・目的変数順序をシャッフル検証データ２：：予測結果２ Permutation Importance の計算（全特徴量について実施）シャッフルすると目的変数との関連性がなくなる。シャッフルして精度が下がる場合、その特徴量は重要である。比較 Permutation Importance は、モデルの全体的な予測に対して各特徴量がどの程度重要であるかを測定します。データセット全体に対して計算されます。個々の行に対する影響を理解するためには使用できません。また正負の区別はありません。
44 特徴量の重要度 Permutation Importance の可視化下記のように特徴量ごとにPermutation Importanceの値を視覚化して確認するのが有効です。影響が大きい特徴量影響が小さい特徴量影響が小さい特徴量は学習データから省いてもよい
45 特徴量の重要度 SHAP SHAPは、データの行レベルで、どの特徴量が予測結果に最も影響を与えるかを示す値です。ある特徴量が、その行の他の特徴量やデータの平均的な結果と比較して、一つの行の予測にどのような影響を与えるかを表しています。予測された結果に影響を与えた方向に応じて、正または負になります。アルゴリズムを使用して計算されます。 F1 F2 F3 ・・・目的変数学習データ SHAPの概念（もともとはゲーム理論の報酬計算） F1の目的変数に対する貢献度 F2の目的変数に対する貢献度 F3の目的変数に対する貢献度 F1とF2の組み合わせによるF1の目的変数に対する貢献度 F1とF2の組み合わせによるF2の目的変数に対する貢献度 F1とF3の組み合わせによるF1の目的変数に対する貢献度 F1とF3の組み合わせによるF3の目的変数に対する貢献度 F2とF3の組み合わせによるF2の目的変数に対する貢献度 F2とF3の組み合わせによるF3の目的変数に対する貢献度 F1とF2とF3の組み合わせによるF1の目的変数に対する貢献度 F1とF2とF3の組み合わせによるF2の目的変数に対する貢献度 F1とF2とF3の組み合わせによるF3の目的変数に対する貢献度 : : 予測結果を活用するときに重要な値となる。・なぜこの予測結果となったのか・どうすれば予測を変えられるのか
46 特徴量の重要度 SHAPの可視化と活用１ SHAPを使用して、モデルのドライバーや、個々の結果の要因を分析することができます。各特徴のSHAPの絶対値平均を使って、特徴重要度ランクを作成各特徴によって、予測結果の可能性が高くなるか低くなるかを表現例：顧客の解約の可能性を強める特徴と、弱める特徴特徴量特徴量弱める強めるどうすれば解約を減らせるかがわかる
47 特徴量の重要度 SHAPの可視化と活用２例：異なる契約タイプの顧客別に、各特徴量のSHAP平均を比較顧客グループごとの対策を検討できる顧客ごとの対策を検討できる例：解約すると予測された顧客と、しないと予測された顧客の各特徴量のSHAP平均を比較異なるグループの特徴量の重要性を比較することができます。
48 特徴量の重要度 SHAPの可視化と活用３ひとつの特徴量の、値の各バリエーションごとに、その影響力をプロットすることができます。契約タイプごとのSHAPの平均契約タイプごとの顧客別SHAPの分布
49 特徴量の重要度 SHAPの可視化と活用４散布図を使って、連続的に値が変動する傾向を分析例：基本料金の上昇と、顧客の解約確率の関連性を可視化基本料金 SHAP 基本料金がある程度あがると解約確率もあがる
50 モデルの改良
51 モデルの改良機械学習で重要なことは、モデルを改良してスコアを改善することです。特徴量の除外または追加、他の構成パラメーターの変更などにより、異なるモデルバージョンを作成します。それらを比較して、変更による影響を確認し、目的に適したモデルを選択します。学習用データ学習モデルモデルの評価学習用データの改善パラメータの変更
52 モデルの改良学習用データの改善学習用データの特徴量を除外・追加し、モデルのスコアの変化を確認します。特徴量の除外  相関が高すぎる特徴量の場合、相関がある2つの特徴量から、特徴量の重要度が低いほうを除外します。  Permutation Importance を確認し、重要度が低すぎる特徴量は除外します。  Permutation Importance を確認し、重要度が高すぎる特徴量はデータリーケージが原因でないか確認します。特徴量の追加  モデルのスコアが良くならない場合は、目的変数と関連のある特徴量がまだ学習用データセットに取り込まれていないことが原因かもしれません。新しいデータの収集や特徴量の追加を検討します。
53 ハイパーパラメターの最適化機械学習モデルでは、さまざまなデータパターンを一般化するために、異なる制約、重み、または学習率が必要となります。これらの設定値はハイパーパラメーターと呼ばれ、多くの種類があり、モデルやアルゴリズムによって異なります。調整に使用するハイパーパラメータの種類が増えると、処理時間が指数関数的に増えるため、事前に種類を絞って適用する必要があります。ハイパーパラメータのオートチューニングの主な種類すべての組み合わせを試行する。最もよいパラメータが得られるが計算量が膨大となる。グリッドサーチいくつかの組み合わせを試行し、最もよいパラメータを採用する。組み合わせの決め方で様々な手法あり。ランダムサーチ、ベイズ最適化など
54 ハイパーパラメターの最適化未学習と過学習ハイパーパラメータが適切でないと、十分な性能のモデルが作成されず、未学習や過学習が起こります。自動機械学習のツールでは自動的にハイパーパラメータが選択される場合もありますが、最適な結果のために微調整が必要な場合もあります。未学習十分に学習が行われていない過学習学習データに過度にフィットしている適正
55 まとめ
56 まとめ  モデルの評価では、ビジネスドメインの知識とスコアリング、学習データの理解をあわせ、許容できないほど悪い結果を招くことなく、投資に対するプラスの利益を生み出すことができるレベルのモデルを判断することが重要  モデルのスコアリング • 二項分類モデルのスコアリング：混同行列を使用して求める、正解率、再現率、適合率、F1など • 多項分類モデルのスコアリング：F1の平均値であるMacro F1、Micro F1、Weighted F1など • 回帰モデルのスコアリング：正解値と予測値の誤差を計算、MSEとRMSE、決定係数（R2）、 MAEなど • 時系列モデルのスコアリング：MAPE  特徴量の重要度 • Permutation Importanceは、モデルの全体的な予測に対して各特徴量がどの程度重要であるかを測定 • SHAPは、データの行レベルで、どの特徴量が予測結果に最も影響を与えるかを示し、なぜこの予測結果となったのか、どうすれば予測を変えられるのかの検討に使用することができる  モデルの改良には、特徴量の除外や追加による学習データの改善、モデルに対する設定値であるハイパーパラメータの最適化を行う
57 参考にした書籍図解即戦力機械学習&ディープラーニングのしくみと技術がこれ1冊でしっかりわかる教科書株式会社アイデミー山口達輝、松田洋之技術評論社機械学習のための「前処理」入門足立悠リックテレコム Kaggleで勝つデータ分析の技術門脇大輔 , 阪田隆司 , 保坂桂佑 , 平松雄司技術評論社見て試してわかる機械学習アルゴリズムの仕組み機械学習図鑑秋庭伸也 , 杉山阿聖 , 寺田学 , 加藤公一 (監修) 翔泳社
58 Q & A
59 Q & A ご質問回答 1 [大きく偏ったデータではF1やMCC等使うとよいかも]という事ですが、大きく偏ったとはどれくらいまでのイメージでしょうか？もちろん1:99は偏りがあるイメージですが、25:75や15:85は所感としてどうでしょうか？データや予測したい内容によって都度変わります。「偏りが○○だからMCCを使う」ではなく、すべての指標を見つつ、どれを重視すべきかデータや学習結果を見て評価していくことになるかと思います。 https://zenn.dev/mosamosa/articles/b5f861cd15c5f050e872 こういった検証記事などもありました。 2 Qlik AutoMLについてカテゴリー型の特徴量もワンホットエンコーディングなどの前処理不要でそのまま投入可能でしょうか？可能です。Qlik AutoMLには自動でエンコードする機能があります。 3 Qlik AutoMLについて回帰モデルの評価で予測値と実測値をプロットしたグラフは表示されるのでしょうか？グラフは表示されません。自動で表示されるのは、R2,RMSE,MSE,MAEの数値のみと、 Permutation importanceとSHAP importanceのグラフです。予測を行った結果のファイルを出力することができるので、予測値と実測値の可視化はQlik Senseのアプリを作成してみることができます。 4 Qlik AutoMLについて自動的に学習データとテスト（検証）データに分割されて、テストデータを使って精度が出ると思いますが、そのテストデータのダウンロードはできるのでしょうか？（予測値と実測値の詳細比較をしたいため） Qlik AutoMLには、自動でデータのホールドアウトとクロスバリデーションを行う機能がありますが、その際の検証用データを出力することはできません。別途検証を行いたい場合は、予測モデルをDeployして検証用データを適用し、予測ファイルを作成する必要があります。この予測ファイルと検証用データの実測値をQlik Senseのアプリで比較することができます。今回のセミナーは一般的な機械学習について扱っています。 Qlik AutoMLについてはこちらの過去のテックトークをご確認ください。 https://youtu.be/neWkf8Nr1Ms
60 その他のお知らせ
61 オンラインでの技術情報提供 Qlik Japanプリセールスチームではオンラインの技術情報提供を推進しています。セミナートレーニング LT形式のTips共有技術イベント TECH PLAYのQlikコミュニティサイト: https://techplay.jp/community/qlik Tech Playのグループをフォローいただくと、イベント情
62 62 62 62 62 62 直近の無料Webセミナー
63 63 Webセミナーの資料はレポートで公開します。 TechPlayの申込ページの「イベントレポート」のタブから、資料と動画をご覧いただけます。
64 64 Webセミナー過去動画・資料 https://www.slideshare.net/QlikPresalesJapan/presentations https://youtube.com/playlist?list=PLTGfcjhh8Hh5aTTk-PDzg-dEhCtvh5IJ0 YouTube プレイリスト TECH TALK Slideshare QlikPresalesJapan
65 65 65 65 65 65 Qlik Tips プレイリスト Qlik使用のちょっとした技術やコツを短い動画でご紹介しています。 https://www.youtube.com/playlist?list=PLTGfcjhh8Hh5a6vjjOlBa7mAtL2H0hw7K
66 66 66 66 66 66 「Qlik Sense 参考書」好評発売中 Qlik Sense ユーザーのためのデータ分析実践バイブル・判型：B5 変・総ページ数：～480 ページ程度・予価本体：4,200円 (+税) • QlikSpaceの記事をベースに、書籍用に大幅にカスタマイズ＆加筆 • 1 冊でQlik Sense の基本をマスターし（＝基本編）、ニーズの高い分析例（＝応用編）をできるだけ丁寧に紹介
67 その他の情報セミナー動画・事例紹介・デモ・新機能紹介 Qlik Japan Youtube Qlik Community Japan 製品・技術Q&A、製品関連資料 Qlik Showcase 日本語アプリの公開 Qlik Japan Blog 製品・技術情報の公開
来年もよろしくお願いします！

TECHTALK 20230228 ビジネスユーザー向け機械学習入門第３回～機械学習のモデルの評価と検証

Check these out next

TECHTALK 20230228 ビジネスユーザー向け機械学習入門第３回～機械学習のモデルの評価と検証

Recommandé

Contenu connexe

Présentations pour vous(20)

Plus de QlikPresalesJapan(20)

Dernier(20)