アンサンブル学習

アンサンブル学習
• 複数のモデルを学習，多数決を取って，Predictとする
• アンサンブル学習は，モデルの相関が小さくなければならない
• 種類
• バギング
• ブースティング
• スタッキング

バギング（bootstrap aggregating）
• 母集団から重複を許してランダムにデータを選択
例）母集団｛1, 2, 3, 4, 5｝
サンプル群１：｛1, 2, 2｝⇒ モデル１
サンプル群２：｛4, 3, 3｝⇒ モデル２
サンプル群３：｛2, 5, 1｝⇒ モデル３
サンプル群４：｛1, 4, 1｝⇒ モデル４
アンサンブル
回帰：平均値
分類：多数決

ブースティング（boosting）
1. 学習
2. １で正しく分類できていない学
習データに対して，重みを大き
く設定する
3. Training Lossが閾値より高い
⇒ １へ
4. Training Lossが閾値より低い
⇒ 終了
モデル1 結果１
モデル2
上手く学習できなかった
学習データに対して重み付け
結果2
モデル2 結果3
アンサンブル

スタッキング（stacking）
• 複数のモデルの出力を特徴量と捉え，その特徴量を入力として，
最終的なPredictを出力するモデルを作成する
結果１
結果2
結果3
結果4
結果5
バギング等の出力に対して
これを更にモデルに入れる
モデル 最終的な出力