Soumettre la recherche
Mettre en ligne
Deep forest (preliminary ver.)
•
Télécharger en tant que PPTX, PDF
•
3 j'aime
•
941 vues
S
Satoshi Kato
Suivre
暫定版なのでのちほど差し替えます
Lire moins
Lire la suite
Données & analyses
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 13
Télécharger maintenant
Recommandé
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
Teppei Baba
Random forest の解説
Random forest の解説
KCS Keio Computer Society
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
Teppei Baba
forestFloorパッケージを使ったrandomForestの感度分析
forestFloorパッケージを使ったrandomForestの感度分析
Satoshi Kato
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Miyoshi Yuya
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
アンサンブル学習
アンサンブル学習
Hidekazu Tanaka
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Taku Tsuzuki
Recommandé
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
Teppei Baba
Random forest の解説
Random forest の解説
KCS Keio Computer Society
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
Teppei Baba
forestFloorパッケージを使ったrandomForestの感度分析
forestFloorパッケージを使ったrandomForestの感度分析
Satoshi Kato
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Miyoshi Yuya
Active Learning 入門
Active Learning 入門
Shuyo Nakatani
アンサンブル学習
アンサンブル学習
Hidekazu Tanaka
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Active Learning from Imperfect Labelers @ NIPS読み会・関西
Taku Tsuzuki
Interpreting Tree Ensembles with inTrees
Interpreting Tree Ensembles with inTrees
Satoshi Kato
Random Forests
Random Forests
Hironobu Fujiyoshi
Pythonとdeep learningで手書き文字認識
Pythonとdeep learningで手書き文字認識
Ken Morishita
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
Preferred Networks
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Yasunori Ozaki
Imputation of Missing Values using Random Forest
Imputation of Missing Values using Random Forest
Satoshi Kato
はてなインターン「機械学習」
はてなインターン「機械学習」
Hatena::Engineering
それっぽく感じる機械学習
それっぽく感じる機械学習
Yuki Igarashi
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Satoshi Kato
最近のRのランダムフォレストパッケージ -ranger/Rborist-
最近のRのランダムフォレストパッケージ -ranger/Rborist-
Shintaro Fukushima
ランダムフォレストとそのコンピュータビジョンへの応用
ランダムフォレストとそのコンピュータビジョンへの応用
Kinki University
質問応答システム入門
質問応答システム入門
Hiroyoshi Komatsu
R による文書分類入門
R による文書分類入門
Takeshi Arabiki
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
Ryota Kamoshida
Random Forestsとその応用
Random Forestsとその応用
MPRG_Chubu_University
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
Deep Learning JP
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
Shuyo Nakatani
Yamadai.R チュートリアルセッション
Yamadai.R チュートリアルセッション
考司 小杉
Infer.NETを使ってLDAを実装してみた
Infer.NETを使ってLDAを実装してみた
正志 坪坂
Introduction of "the alternate features search" using R
Introduction of "the alternate features search" using R
Satoshi Kato
Aspectos formales de un documento aitana gomez vallejo
Aspectos formales de un documento aitana gomez vallejo
aitanagomez32
Contenu connexe
Tendances
Interpreting Tree Ensembles with inTrees
Interpreting Tree Ensembles with inTrees
Satoshi Kato
Random Forests
Random Forests
Hironobu Fujiyoshi
Pythonとdeep learningで手書き文字認識
Pythonとdeep learningで手書き文字認識
Ken Morishita
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
Preferred Networks
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Yasunori Ozaki
Imputation of Missing Values using Random Forest
Imputation of Missing Values using Random Forest
Satoshi Kato
はてなインターン「機械学習」
はてなインターン「機械学習」
Hatena::Engineering
それっぽく感じる機械学習
それっぽく感じる機械学習
Yuki Igarashi
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Satoshi Kato
最近のRのランダムフォレストパッケージ -ranger/Rborist-
最近のRのランダムフォレストパッケージ -ranger/Rborist-
Shintaro Fukushima
ランダムフォレストとそのコンピュータビジョンへの応用
ランダムフォレストとそのコンピュータビジョンへの応用
Kinki University
質問応答システム入門
質問応答システム入門
Hiroyoshi Komatsu
R による文書分類入門
R による文書分類入門
Takeshi Arabiki
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
Ryota Kamoshida
Random Forestsとその応用
Random Forestsとその応用
MPRG_Chubu_University
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
Satoshi Hara
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
Deep Learning JP
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
Shuyo Nakatani
Yamadai.R チュートリアルセッション
Yamadai.R チュートリアルセッション
考司 小杉
Infer.NETを使ってLDAを実装してみた
Infer.NETを使ってLDAを実装してみた
正志 坪坂
Tendances
(20)
Interpreting Tree Ensembles with inTrees
Interpreting Tree Ensembles with inTrees
Random Forests
Random Forests
Pythonとdeep learningで手書き文字認識
Pythonとdeep learningで手書き文字認識
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
LCCC2010:Learning on Cores, Clusters and Cloudsの解説
Decision Transformer: Reinforcement Learning via Sequence Modeling
Decision Transformer: Reinforcement Learning via Sequence Modeling
Imputation of Missing Values using Random Forest
Imputation of Missing Values using Random Forest
はてなインターン「機械学習」
はてなインターン「機械学習」
それっぽく感じる機械学習
それっぽく感じる機械学習
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
Dimensionality reduction with t-SNE(Rtsne) and UMAP(uwot) using R packages.
最近のRのランダムフォレストパッケージ -ranger/Rborist-
最近のRのランダムフォレストパッケージ -ranger/Rborist-
ランダムフォレストとそのコンピュータビジョンへの応用
ランダムフォレストとそのコンピュータビジョンへの応用
質問応答システム入門
質問応答システム入門
R による文書分類入門
R による文書分類入門
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
Random Forestsとその応用
Random Forestsとその応用
アンサンブル木モデル解釈のためのモデル簡略化法
アンサンブル木モデル解釈のためのモデル簡略化法
[DL輪読会]Deep Learning 第5章 機械学習の基礎
[DL輪読会]Deep Learning 第5章 機械学習の基礎
ノンパラベイズ入門の入門
ノンパラベイズ入門の入門
Yamadai.R チュートリアルセッション
Yamadai.R チュートリアルセッション
Infer.NETを使ってLDAを実装してみた
Infer.NETを使ってLDAを実装してみた
En vedette
Introduction of "the alternate features search" using R
Introduction of "the alternate features search" using R
Satoshi Kato
Aspectos formales de un documento aitana gomez vallejo
Aspectos formales de un documento aitana gomez vallejo
aitanagomez32
Card sorting
Card sorting
M.Mujtaba Khan
Ciencia tecnica y arte paula grisales
Ciencia tecnica y arte paula grisales
paugrissmj
Naskah simposium gtk 2016 sumarso
Naskah simposium gtk 2016 sumarso
Sumarso M.Pd.
Acil Durum Ekip ve Destek Elemanları Eğitimi
Acil Durum Ekip ve Destek Elemanları Eğitimi
Gültekin Cangül
Diarreas infecciosas
Diarreas infecciosas
Luis E Bautista
Westminster Communities of Florida's 2016 Volunteers and Employees of the Year
Westminster Communities of Florida's 2016 Volunteers and Employees of the Year
Wes Meltzer
Brochure Studio HS Milano
Brochure Studio HS Milano
Studio HS
Renovación del corazón y el alma de su hogar
Renovación del corazón y el alma de su hogar
Jacob Michael
Bab 6-sumber-sumber-hukum-islam2
Bab 6-sumber-sumber-hukum-islam2
ikbar ghifari
Antónimos y palabras clave
Antónimos y palabras clave
Tonia Mascaró Martí
The Brief History of the Film - Albert James Burleson
The Brief History of the Film - Albert James Burleson
Albert James Burleson
Boletín IgualSí Nº 5 | Marzo 2017
Boletín IgualSí Nº 5 | Marzo 2017
Mario Padilla
En vedette
(14)
Introduction of "the alternate features search" using R
Introduction of "the alternate features search" using R
Aspectos formales de un documento aitana gomez vallejo
Aspectos formales de un documento aitana gomez vallejo
Card sorting
Card sorting
Ciencia tecnica y arte paula grisales
Ciencia tecnica y arte paula grisales
Naskah simposium gtk 2016 sumarso
Naskah simposium gtk 2016 sumarso
Acil Durum Ekip ve Destek Elemanları Eğitimi
Acil Durum Ekip ve Destek Elemanları Eğitimi
Diarreas infecciosas
Diarreas infecciosas
Westminster Communities of Florida's 2016 Volunteers and Employees of the Year
Westminster Communities of Florida's 2016 Volunteers and Employees of the Year
Brochure Studio HS Milano
Brochure Studio HS Milano
Renovación del corazón y el alma de su hogar
Renovación del corazón y el alma de su hogar
Bab 6-sumber-sumber-hukum-islam2
Bab 6-sumber-sumber-hukum-islam2
Antónimos y palabras clave
Antónimos y palabras clave
The Brief History of the Film - Albert James Burleson
The Brief History of the Film - Albert James Burleson
Boletín IgualSí Nº 5 | Marzo 2017
Boletín IgualSí Nº 5 | Marzo 2017
Plus de Satoshi Kato
How to generate PowerPoint slides Non-manually using R
How to generate PowerPoint slides Non-manually using R
Satoshi Kato
Exploratory data analysis using xgboost package in R
Exploratory data analysis using xgboost package in R
Satoshi Kato
How to use in R model-agnostic data explanation with DALEX & iml
How to use in R model-agnostic data explanation with DALEX & iml
Satoshi Kato
Introduction of inspectDF package
Introduction of inspectDF package
Satoshi Kato
Introduction of featuretweakR package
Introduction of featuretweakR package
Satoshi Kato
Genetic algorithm full scratch with R
Genetic algorithm full scratch with R
Satoshi Kato
Intoroduction & R implementation of "Interpretable predictions of tree-based ...
Intoroduction & R implementation of "Interpretable predictions of tree-based ...
Satoshi Kato
Multiple optimization and Non-dominated sorting with rPref package in R
Multiple optimization and Non-dominated sorting with rPref package in R
Satoshi Kato
Oracle property and_hdm_pkg_rigorouslasso
Oracle property and_hdm_pkg_rigorouslasso
Satoshi Kato
Plus de Satoshi Kato
(9)
How to generate PowerPoint slides Non-manually using R
How to generate PowerPoint slides Non-manually using R
Exploratory data analysis using xgboost package in R
Exploratory data analysis using xgboost package in R
How to use in R model-agnostic data explanation with DALEX & iml
How to use in R model-agnostic data explanation with DALEX & iml
Introduction of inspectDF package
Introduction of inspectDF package
Introduction of featuretweakR package
Introduction of featuretweakR package
Genetic algorithm full scratch with R
Genetic algorithm full scratch with R
Intoroduction & R implementation of "Interpretable predictions of tree-based ...
Intoroduction & R implementation of "Interpretable predictions of tree-based ...
Multiple optimization and Non-dominated sorting with rPref package in R
Multiple optimization and Non-dominated sorting with rPref package in R
Oracle property and_hdm_pkg_rigorouslasso
Oracle property and_hdm_pkg_rigorouslasso
Deep forest (preliminary ver.)
1.
森を盛る 第5X回R勉強会@東京(#TokyoR) “Deep Forest: Towards
An Alternative to Deep Neural Networks” 1. Deep Forest論文を紹介します 2. {Laurae2} package を使ってみました
2.
ランダムフォレスト 学習データのランダムサブセットで構築した様々な決定木の集合(=森)の 予測結果 を統合する 分類
→ 多数決 または 各クラスへの所属確率の平均 回帰 → 平均
3.
Deep Forest https://arxiv.org/abs/1702.08835
4.
深層学習の持つ表現学習能力を、 他の学習モデルに持たせることはできないか? • 大量の訓練データが必要 • 小規模なデータだとうまくいかない •
ラベルづけのコストが高い • 訓練時の計算コストが高い • 貧乏人には辛い • ハイパーパラメータ多すぎ • パフォーマンスのためにはチューニングが重要だが... http://deeplearning.net/tutorial/lenet.html
5.
深層学習の持つ表現学習能力を、他の学習モデルに持たせることはできないか? 提案手法:gcForest (multi-Grained Cascade
forest) • 入力が高次元では、表現学習能力をさらに向上 • CNNの畳み込みフィルターみたいなmulti-grained scanning • 小規模なデータに対する優れたパフォーマンス • データに応じて,モデルの複雑さを適応的/自動的に決定できる • ハイパーパラメタの数が少ない • チューニングいらずの堅牢なパフォーマンス • ドメインの異なるデータでも再調整が少なくてすむ • 木モデルベースなのでニューラルネットに比べて解析が容易(多分)
6.
ランダムフォレストで表現学習 Cascade Forest • 種類の違うアンサンブル木をmixして多様性を増やす •
complete-random tree forest • 各ノードをランダムな変数で分割する決定木 • random forest • ランダムに変数の絞り込みを行ったサブセットで、各ノードをジニ係数最大となる変数で分割していく決 定木 • 論文中ではシンプルに2×2の設定 • 特徴量加工 • レベル間で受け渡される中間インプットは、各フォレストが生成したクラス分布+元の特徴ベクトル • たとえば、10変数3クラスのデータ、4フォレスト: 次のレベルが受けとる特徴の数は 3×4 + 10 = 22 • カスケードレベルの自動決定 • カスケード全体のパフォーマンスをcross-validationで評価 → CVエラーが向上しなくなったレベルで訓練終了
7.
入力特徴量の工夫 Multi-Grained Scanning • 変数同士の位置関係を考慮する場合のオプション •
畳み込みフィルターみたいなinputの加工 • RNN • 変数同士のシーケンシャルな関係(並び順)が重要 • たとえば音声・文章データ • CNN • 変数同士の空間的な位置関係が重要 • たとえば画像データ
8.
Multi-GrainedScanning+CascadeForest= multi-Grained Cascade forest
(gcForest ) • Cascade Forest • 種類の違うアンサンブル木をmixして 多様性を増やす • 特徴量加工 • カスケードレベルの自動決定 • Multi-Grained Scanning • 変数同士の位置関係を考慮する 場合のオプション • 畳み込みフィルターみたいなinput の加工
9.
Q& A Q. スタッキングとは違うの? A.
違うよ。全然違うよ。 • By 著者(in related works) • 表現学習を行うだけでなく、適切なモデル複雑度を自動的に決定したい →DeepForest • 深層学習を使わないところもポイント(らしい)
10.
Summary of hyper-parameters
and default settings.
11.
実験と結果 • 論文中に多数のベンチあり • 何となくアンフェアな比較になっている気がする
12.
• https://github.com/Laurae2/Laurae • https://github.com/Microsoft/LightGBM/issues/331
13.
Rで試してみる • https://github.com/katokohaku/deepForest_test • 工事中
Télécharger maintenant