Contenu connexe
Similaire à Extreme Learning Machine
Similaire à Extreme Learning Machine (20)
Extreme Learning Machine
- 5. 目次
• NN と ELM の比較
– Single Layer Feed‐forward Networks(SLFNs)を例に説明
• ELM の利点
– 学習速度とロバスト性以外にも
5DENSO IT Laboratory, INC.
- 6. NN : モデル構成
1 d・・・
L1 i ・・・・・・
出力層
隠れ層
入力層
出力層
Output
, ,
隠れ層
Output
,
∈
∈
, ,
隠れ層
Output
活性化
関数
6DENSO IT Laboratory, INC.
- 7. NN : 学習
, , argmax
, ,
, ∈ 1, … ,
入力
コスト関数
出力
(学習データ)
最適パラメータ
1 d・・・
L1 i ・・・・・・
出力層
隠れ層
入力層
,
∈
∈
7DENSO IT Laboratory, INC.
- 9. ELM : 学習
, ∈ 1, … ,学習データ
活性化関数
隠れノード数
Given
STEP : 1
, 1, … , をランダムに生成
STEP : 2
隠れ層の出力行列 を生成
, , ⋯ , ,
⋮ ⋱ ⋮
, , ⋯ , ,
STEP : 3
β の解 β を求める
β , : 疑似逆行列
β ⋮⋮
1 d・・・
L1 i ・・・・・・
出力層
隠れ層
入力層
,
∈
∈
9DENSO IT Laboratory, INC.
STEP : 4
STEP1,3で得られた , , 1, … , を
最適パラメータとする
- 11. ELMの利点
• 学習がはやい
– 疑似逆行列1発(イテレートがない)
• ロバストな解が求まる
– 求めるパラメータが少ない
• 最適解が求まる
– だって、疑似逆行列1発
• 初期値に依存しない、Local Minimumが無い
• 多様な活性化関数が利用できる
– 有界、非定数、区分連続
• 微分できなくてもよい
• 決定するパラメータが少ない
– 隠れノード数Lだけ
• 普通のNNは、隠れノード数Lに加え、学習率η、収束判定値ε
– その後の研究では、0~Lの間で”最適な”ノード数を決定
11DENSO IT Laboratory, INC.
- 14. 参考資料
• Extreme Learning Machine ポータルサイト
– http://www.ntu.edu.sg/home/egbhuang/
– 各論文、ソースコードあります
• Workshop on Machine Learning for BioMedical Infomatics での講演資料
– http://www.lia.deis.unibo.it/phd/materials/courses/Reti%20Neurali%20Teoria%20e%20Applicazioni/
Fariselli2/ELM‐Workshop‐NUS.pdf
• MS Researchでの講演資料
– http://research.microsoft.com/apps/video/dl.aspx?id=144113
– ビデオもあるよ
• G.‐B. Huang, et al., “Universal Approximation Using Incremental Networks with Random Hidden
Computational Nodes”, IEEE Transactions on Neural Networks, vol. 17, no. 4, pp. 879‐892, 2006.
• G.‐B. Huang, et al., “Extreme Learning Machine: Theory and Applications,” Neurocomputing, vol. 70, pp.
489‐501, 2006.
14DENSO IT Laboratory, INC.