Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
Maxout Networks
Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio
(Universit ́e de Montr ́ea...
概要
Maxout
ニューラルネットワークの新しい活性化関数
≠Dropout
≠MaxPooling
PFI Deep Learningの技術と未来
http://www.slideshare.net/beam2d/deep-learning...
目次
Maxout
Maxoutの表現力
Maxoutの学習アルゴリズム
Dropout
MaxPooling
実験
まとめ
3
Maxout
活性化関数
Maxout
ニューラルネットワーク
※一般的な活性化関数
4
Maxoutの表現力(1)
例)2次関数を近似可能例)Rectifierを近似可能
※流行の活性化関数
5
Maxoutの表現力(2)
定理1(ざっくり)
Maxout は、隠れノード( )が十分にあれば
任意の凸関数を近似可能
補題(ざっくり)
凸関数 と からなる関数 は
任意の関数を近似可能
定理2(ざっくり)
Maxout と からなる関数 ...
Maxoutの学習アルゴリズム
学習アルゴリズム
Back Propagation
Back Propagation with Dropout
Maxoutは線形関数なので簡単に微分可能
7
Dropout
Dropout
ニューラルネットワークの学習テクニック
アルゴリズム
学習時
毎ステップ、隠れノード50%をランダムに
なかったことにしてBack Propagation
推定時
学習したパラメータを1/2にして
全ノードを使っ...
MaxPooling
活性化関数
MaxPooling
ニューラルネットワーク
※一般的な活性化関数
9
実験
実験データ
MNIST(手書き数字認識データセット)
28×28 pixel grayscale
60,000 training 10,000 test examples
学習パラメータ
Maxout層×(2or3)+Softmax層×1...
実験結果
MNIST
(permutation invariance)
MNIST
(permutation variance)
流行のRectifierに勝てた! ※提案手法以外は
 MNIST公式Webページなど
 から引用した結果
11
まとめ
活性化関数 Maxoutの提案
流行の活性化関数 Rectifierよりも性能向上
12
Prochain SlideShare
Chargement dans…5
×

Maxout networks

論文紹介

  • Identifiez-vous pour voir les commentaires

Maxout networks

  1. 1. Maxout Networks Ian Goodfellow, David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio (Universit ́e de Montr ́eal) ICML 2013 斎藤淳哉 junya[あっと]fugaga.info 論文紹介 1
  2. 2. 概要 Maxout ニューラルネットワークの新しい活性化関数 ≠Dropout ≠MaxPooling PFI Deep Learningの技術と未来 http://www.slideshare.net/beam2d/deep-learning-22544096 コレ! 2
  3. 3. 目次 Maxout Maxoutの表現力 Maxoutの学習アルゴリズム Dropout MaxPooling 実験 まとめ 3
  4. 4. Maxout 活性化関数 Maxout ニューラルネットワーク ※一般的な活性化関数 4
  5. 5. Maxoutの表現力(1) 例)2次関数を近似可能例)Rectifierを近似可能 ※流行の活性化関数 5
  6. 6. Maxoutの表現力(2) 定理1(ざっくり) Maxout は、隠れノード( )が十分にあれば 任意の凸関数を近似可能 補題(ざっくり) 凸関数 と からなる関数 は 任意の関数を近似可能 定理2(ざっくり) Maxout と からなる関数 は 任意の関数を近似可能 • 2層以上のMaxout • 1層以上のMaxout+1層以上のSoftmax → 任意の関数を近似可能 ※値域:[0,1] 6
  7. 7. Maxoutの学習アルゴリズム 学習アルゴリズム Back Propagation Back Propagation with Dropout Maxoutは線形関数なので簡単に微分可能 7
  8. 8. Dropout Dropout ニューラルネットワークの学習テクニック アルゴリズム 学習時 毎ステップ、隠れノード50%をランダムに なかったことにしてBack Propagation 推定時 学習したパラメータを1/2にして 全ノードを使って推定 ニューラルネットワーク 8
  9. 9. MaxPooling 活性化関数 MaxPooling ニューラルネットワーク ※一般的な活性化関数 9
  10. 10. 実験 実験データ MNIST(手書き数字認識データセット) 28×28 pixel grayscale 60,000 training 10,000 test examples 学習パラメータ Maxout層×(2or3)+Softmax層×1 Dropoutを使用して学習 いわゆるPre-trainingはなし 10
  11. 11. 実験結果 MNIST (permutation invariance) MNIST (permutation variance) 流行のRectifierに勝てた! ※提案手法以外は  MNIST公式Webページなど  から引用した結果 11
  12. 12. まとめ 活性化関数 Maxoutの提案 流行の活性化関数 Rectifierよりも性能向上 12

×