Soumettre la recherche
Mettre en ligne
Maxout networks
•
20 j'aime
•
11,825 vues
Junya Saito
Suivre
論文紹介
Lire moins
Lire la suite
Technologie
Signaler
Partager
Signaler
Partager
1 sur 12
Recommandé
劣モジュラ最適化と機械学習 2.4節
劣モジュラ最適化と機械学習 2.4節
Hakky St
continual learning survey
continual learning survey
ぱんいち すみもと
劣モジュラ最適化と機械学習 2.0-2.3 劣モジュラ関数の基本性質・例・最適化
劣モジュラ最適化と機械学習 2.0-2.3 劣モジュラ関数の基本性質・例・最適化
Akiyoshi Hara
Superpixel Sampling Networks
Superpixel Sampling Networks
yukihiro domae
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
Autoencoderの実装と愉快な仲間との比較
Autoencoderの実装と愉快な仲間との比較
YumaMatsuoka
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
敵対的サンプル・摂動サーベイ
敵対的サンプル・摂動サーベイ
Simossyi Funabashi
Recommandé
劣モジュラ最適化と機械学習 2.4節
劣モジュラ最適化と機械学習 2.4節
Hakky St
continual learning survey
continual learning survey
ぱんいち すみもと
劣モジュラ最適化と機械学習 2.0-2.3 劣モジュラ関数の基本性質・例・最適化
劣モジュラ最適化と機械学習 2.0-2.3 劣モジュラ関数の基本性質・例・最適化
Akiyoshi Hara
Superpixel Sampling Networks
Superpixel Sampling Networks
yukihiro domae
Transformerを多層にする際の勾配消失問題と解決法について
Transformerを多層にする際の勾配消失問題と解決法について
Sho Takase
Autoencoderの実装と愉快な仲間との比較
Autoencoderの実装と愉快な仲間との比較
YumaMatsuoka
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII2019OS: 深層学習にかかる時間を短くしてみませんか? ~分散学習の勧め~
SSII
敵対的サンプル・摂動サーベイ
敵対的サンプル・摂動サーベイ
Simossyi Funabashi
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
Deep Learning JP
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
hagino 3000
[DL輪読会]機械学習におけるカオス現象について
[DL輪読会]機械学習におけるカオス現象について
Deep Learning JP
深層学習 第6章
深層学習 第6章
KCS Keio Computer Society
【DL輪読会】Standardized Max Logits: A Simple yet Effective Approach for Identifyi...
【DL輪読会】Standardized Max Logits: A Simple yet Effective Approach for Identifyi...
Deep Learning JP
Priorに基づく画像/テンソルの復元
Priorに基づく画像/テンソルの復元
Tatsuya Yokota
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
深層学習入門
深層学習入門
Danushka Bollegala
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
Toru Tamaki
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
マーク付き点過程
マーク付き点過程
Yoshiaki Sakakura
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
Ryosuke Tachibana
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
Deep Learning JP
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
強化学習における好奇心
強化学習における好奇心
Shota Imai
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
強化学習その2
強化学習その2
nishio
ニューラルネットと深層学習の歴史
ニューラルネットと深層学習の歴史
Akinori Abe
Large-Scale Bandit Problems and KWIK Learning
Large-Scale Bandit Problems and KWIK Learning
Junya Saito
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
Contenu connexe
Tendances
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
Deep Learning JP
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
hagino 3000
[DL輪読会]機械学習におけるカオス現象について
[DL輪読会]機械学習におけるカオス現象について
Deep Learning JP
深層学習 第6章
深層学習 第6章
KCS Keio Computer Society
【DL輪読会】Standardized Max Logits: A Simple yet Effective Approach for Identifyi...
【DL輪読会】Standardized Max Logits: A Simple yet Effective Approach for Identifyi...
Deep Learning JP
Priorに基づく画像/テンソルの復元
Priorに基づく画像/テンソルの復元
Tatsuya Yokota
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
Sho Tatsuno
深層学習入門
深層学習入門
Danushka Bollegala
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
Toru Tamaki
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Deep Learning JP
マーク付き点過程
マーク付き点過程
Yoshiaki Sakakura
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
Ryosuke Tachibana
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
Yuta Sugii
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
Deep Learning JP
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
強化学習における好奇心
強化学習における好奇心
Shota Imai
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
Takao Yamanaka
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
Eiji Uchibe
強化学習その2
強化学習その2
nishio
ニューラルネットと深層学習の歴史
ニューラルネットと深層学習の歴史
Akinori Abe
Tendances
(20)
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
[DL輪読会]Discriminative Learning for Monaural Speech Separation Using Deep Embe...
スパース性に基づく機械学習 2章 データからの学習
スパース性に基づく機械学習 2章 データからの学習
[DL輪読会]機械学習におけるカオス現象について
[DL輪読会]機械学習におけるカオス現象について
深層学習 第6章
深層学習 第6章
【DL輪読会】Standardized Max Logits: A Simple yet Effective Approach for Identifyi...
【DL輪読会】Standardized Max Logits: A Simple yet Effective Approach for Identifyi...
Priorに基づく画像/テンソルの復元
Priorに基づく画像/テンソルの復元
猫でも分かるVariational AutoEncoder
猫でも分かるVariational AutoEncoder
深層学習入門
深層学習入門
20090924 姿勢推定と回転行列
20090924 姿勢推定と回転行列
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
マーク付き点過程
マーク付き点過程
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
ウェーブレット変換の基礎と応用事例:連続ウェーブレット変換を中心に
深層学習 勉強会第5回 ボルツマンマシン
深層学習 勉強会第5回 ボルツマンマシン
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
[DL輪読会]Neuroscience-Inspired Artificial Intelligence
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
強化学習における好奇心
強化学習における好奇心
混合モデルとEMアルゴリズム(PRML第9章)
混合モデルとEMアルゴリズム(PRML第9章)
強化学習と逆強化学習を組み合わせた模倣学習
強化学習と逆強化学習を組み合わせた模倣学習
強化学習その2
強化学習その2
ニューラルネットと深層学習の歴史
ニューラルネットと深層学習の歴史
Plus de Junya Saito
Large-Scale Bandit Problems and KWIK Learning
Large-Scale Bandit Problems and KWIK Learning
Junya Saito
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
Improving neural networks by preventing co adaptation of feature detectors
Improving neural networks by preventing co adaptation of feature detectors
Junya Saito
Acoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief Networks
Junya Saito
Deep Mixtures of Factor Analysers
Deep Mixtures of Factor Analysers
Junya Saito
Bayesian Efficient Multiple Kernel Learning
Bayesian Efficient Multiple Kernel Learning
Junya Saito
Plus de Junya Saito
(6)
Large-Scale Bandit Problems and KWIK Learning
Large-Scale Bandit Problems and KWIK Learning
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Improving neural networks by preventing co adaptation of feature detectors
Improving neural networks by preventing co adaptation of feature detectors
Acoustic Modeling using Deep Belief Networks
Acoustic Modeling using Deep Belief Networks
Deep Mixtures of Factor Analysers
Deep Mixtures of Factor Analysers
Bayesian Efficient Multiple Kernel Learning
Bayesian Efficient Multiple Kernel Learning
Dernier
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
Dernier
(8)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
Maxout networks
1.
Maxout Networks Ian Goodfellow,
David Warde-Farley, Mehdi Mirza, Aaron Courville, Yoshua Bengio (Universit ́e de Montr ́eal) ICML 2013 斎藤淳哉 junya[あっと]fugaga.info 論文紹介 1
2.
概要 Maxout ニューラルネットワークの新しい活性化関数 ≠Dropout ≠MaxPooling PFI Deep Learningの技術と未来 http://www.slideshare.net/beam2d/deep-learning-22544096 コレ! 2
3.
目次 Maxout Maxoutの表現力 Maxoutの学習アルゴリズム Dropout MaxPooling 実験 まとめ 3
4.
Maxout 活性化関数 Maxout ニューラルネットワーク ※一般的な活性化関数 4
5.
Maxoutの表現力(1) 例)2次関数を近似可能例)Rectifierを近似可能 ※流行の活性化関数 5
6.
Maxoutの表現力(2) 定理1(ざっくり) Maxout は、隠れノード( )が十分にあれば 任意の凸関数を近似可能 補題(ざっくり) 凸関数
と からなる関数 は 任意の関数を近似可能 定理2(ざっくり) Maxout と からなる関数 は 任意の関数を近似可能 • 2層以上のMaxout • 1層以上のMaxout+1層以上のSoftmax → 任意の関数を近似可能 ※値域:[0,1] 6
7.
Maxoutの学習アルゴリズム 学習アルゴリズム Back Propagation Back Propagation
with Dropout Maxoutは線形関数なので簡単に微分可能 7
8.
Dropout Dropout ニューラルネットワークの学習テクニック アルゴリズム 学習時 毎ステップ、隠れノード50%をランダムに なかったことにしてBack Propagation 推定時 学習したパラメータを1/2にして 全ノードを使って推定 ニューラルネットワーク 8
9.
MaxPooling 活性化関数 MaxPooling ニューラルネットワーク ※一般的な活性化関数 9
10.
実験 実験データ MNIST(手書き数字認識データセット) 28×28 pixel grayscale 60,000
training 10,000 test examples 学習パラメータ Maxout層×(2or3)+Softmax層×1 Dropoutを使用して学習 いわゆるPre-trainingはなし 10
11.
実験結果 MNIST (permutation invariance) MNIST (permutation variance) 流行のRectifierに勝てた!
※提案手法以外は MNIST公式Webページなど から引用した結果 11
12.
まとめ 活性化関数 Maxoutの提案 流行の活性化関数 Rectifierよりも性能向上 12