Recommandé
Contenu connexe
En vedette
En vedette (20)
Deepboltzmannmachine
- 1. Boltzmann machine 2017 4/22, eF-4 土井
- 2. 概要 深層学習の種類の1つである 深層ボルツマンマシン(deep Boltzmann machine, DBM)について ここでは、概念的な説明のみ
- 3. ボルツマンマシン(BM)とは =ボルツマン分布を用いて確率密度を計算する生成モデル エネルギー関数Φに-1を掛けたものの指数 関数をとった上で値を規格化したもの 𝑝 𝒙|𝜽 = 1 𝑍 𝜽 exp −Φ 𝒙, 𝜽
- 4. BMの学習プロセス パラメターの学習 =「対数尤度関数」 log𝐿 𝜽 = 𝑛=1 𝑁 log𝑝 𝒙 𝑛|𝜽 = 𝑛=1 𝑁 −Φ 𝒙 𝑛|𝜽 − log𝑍 𝜽 の最大化を目的とした「勾配上昇法」 1 𝑁 𝜕log𝐿 𝜽 𝜕𝑏𝑖 = 1 𝑁 𝑛=1 𝑁 𝑥 𝑛𝑖 − 𝒙 𝑥𝑖 𝑝 𝒙|𝜽 1 𝑁 𝜕log𝐿 𝜽 𝜕𝑤𝑖𝑗 = 1 𝑁 𝑛=1 𝑁 𝑥 𝑛𝑖 𝑥 𝑛𝑗 − 𝒙 𝑥𝑖 𝑥𝑗 𝑝 𝒙|𝜽
- 6. RBMの計算プロセス このステップ数Tが膨大であれば、 𝒗(𝑻) , 𝒉(𝑻) はサンプルに使った確率分布𝑝 𝒗, 𝒉|𝜽 に近くなる。 → 𝒗, 𝒉のサンプルを複数生成し、平均値を勾配の式中の期待値とする。 (ギブスサンプリング) 少ない計算コストでもよい更新量を得る手法=contrastive divergence法 …ミニバッチで繰り返しサンプリングを行い、同様に期待値を求める。 vを初期化して𝒗(𝟎) …ex.ランダムに各成分を0,1で割り振る →𝑝𝑗 = 𝑝(ℎ𝑗 = 1|𝒗(𝟎)) →(区間 0,1 での一様変数) < 𝑝𝑗ならばℎ𝑗 =1 (区間 0,1 での一様変数) > 𝑝𝑗ならばℎ𝑗 = 0 → 𝑝𝑖 = 𝑝(𝑣𝑖 = 1|𝒉(𝟎)) →(区間 0,1 での一様変数) < 𝑝𝑖ならばℎ𝑖 =1 (区間 0,1 での一様変数) > 𝑝𝑖ならばℎ𝑖 = 0 𝒉(𝟎) 𝒗(𝟏)
- 7. RBMの勾配計算 1 𝑁 𝜕log𝐿 𝜕𝑏𝑖 = 1 𝑁 𝑛=1 𝑁 𝑣 𝑛𝑖 − 𝒗,𝒉 𝑣𝑖 𝑝 𝒗, 𝒉|𝜽 1 𝑁 𝜕log𝐿 𝜕𝑐𝑖 = 1 𝑁 𝑛=1 𝑁 𝑝 ℎ𝑗 = 1|𝒗 𝑛 − 𝒗,𝒉 ℎ𝑗 𝑝 𝒗, 𝒉|𝜽 1 𝑁 𝜕log𝐿 𝜕𝑤𝑖𝑗 = 1 𝑁 𝑛=1 𝑁 𝑣 𝑛𝑖 𝑝 ℎ𝑗 = 1|𝒗 𝑛 − 𝒙 ℎ𝑗 𝑝 𝒗, 𝒉|𝜽 →勾配の計算には可視層・隠れ層の期待値が必要 →直接の計算は困難 →ギブスサンプリングで期待値を近似的に計算