201803NC
•
1 like•602 views
2018年3月のニューロコンピューティング研究会にて発表．確率行列分解のBayes汎化誤差に関する理論的な不等式について数値実験を試みたかったが，そもそもBayes推定をすることが困難な問題であった：パラメータが単体(simplex)上に存在するために，事後分布からサンプリングを行うことが難しい．そこで本研究ではハミルトニアンモンテカルロ法という効率的なMCMC法を用いてBayes推定をしてみた．理論値と比較し，確率行列分解に対するハミルトニアンモンテカルロ法の有効性を検証した．in Japanese
Recommended
More Related Content
What's hot
Similar to 201803NC
Similar to 201803NC (20)
More from Naoki Hayashi
More from Naoki Hayashi (15)
201803NC
- 1. ハミルトニアンモンテカルロ法 を用いた確率行列分解における 実対数閾値の実験的考察 林 直輝* (東京工業大学 数理･計算科学系) 渡辺澄夫 (東京工業大学 数理･計算科学系) 12018/3/14 NC研究会
- 2. 目次 • 背景 • 理論 • 実験 • 考察 • 結論 2018/3/14 NC研究会 2
- 4. 目次 • 背景 – 確率行列分解 – 研究目的 • 理論 • 実験 • 考察 • 結論 2018/3/14 NC研究会 4
- 5. SMFとは • 確率行列分解(Stochastic Matrix Factorization, SMF)は観測行列を2つの確率行列の積として統 計的に推測する機械学習手法 – 確率行列：各列の要素和が1で要素が[0,1]の元． – 例： 0.1 0.1 0.4 0.3 0.5 0.1 0.4 0.3 0.4 0.8 0.2 0.4 – 確率行列の積は確率行列 – 非負値行列分解（NMF）により強い制約を加えたもの 2018/3/14 NC研究会 5
- 6. SMFの応用例 • データから構造を知るための分析技術として， [Adams, 2016]で提案された – ↑トピックモデルへの応用が記されている． • 他にもバイナリ行列のNMFやMarkov連鎖など の遷移確率行列に対する縮小ランク回帰などの 潜在的応用を持つ[Hayashi, Watanabe, 2017, submitted to JMLR] – 後に述べる実験はバイナリ行列のNMFを想定した． – バイナリ行列のNMFは[Larsen, et. al., 2015]において有 用性が指摘されている． 2018/3/14 NC研究会 6
- 7. SMFは特異モデル • SMFは階層構造を持つ統計モデル • 尤度・事後分布は正規分布で 近似することができない • 従来の統計的漸近理論は成立しない 2018/3/14 NC研究会 7 AIC BIC 伝統的な統計学： 「正規分布でいつでも近似できる」
- 8. 伝統的な統計学： 「正規分布でいつでも近似できる」 SMFは特異モデル • SMFは階層構造を持つ統計モデル • 尤度・事後分布は正規分布で 近似することができない • 従来の統計的漸近理論は成立しない 2018/3/14 NC研究会 8 AIC BIC
- 9. 伝統的な統計学： 「正規分布でいつでも近似できる」 SMFは特異モデル • SMFは階層構造を持つ統計モデル • 尤度・事後分布は正規分布で 近似することができない • 従来の統計的漸近理論は成立しない 2018/3/14 NC研究会 9 AIC BIC
- 10. 伝統的な統計学： 「正規分布でいつでも近似できる」• SMFは階層構造を持つ統計モデル • 尤度・事後分布は正規分布で 近似することができない • 従来の統計的漸近理論は成立しない 2018/3/14 NC研究会 10 • 強い初期値依存性 • 多くの局所解や鞍点を持つ – 大域的に最適な解は，ほぼ得られない. In addition + AIC BIC SMFは特異モデル
- 11. SMFの学習理論 • SMFの学習理論は未解明 – 特異モデルであるがためにその汎化誤差や周辺尤度の挙 動が分かっていない – 制約のない行列分解[Aoyagi & Watanabe, 2005]や非負 値行列分解[Hayashi & Watanabe, 2017]については研究 されているが，SMFでは研究されていなかった • SMFの学習理論の構築→モデルの設計に役立つ – 経験的方法に依らずモデルを設計できる – 不適切なモデルによるリソースの無駄や不経済を防げる – 必要な推定精度を実現するサンプルサイズを見積もれる 2018/3/14 NC研究会 11
- 12. SMFの学習理論 • SMFの学習理論は未解明 – 先行研究において我々はSMFのBayes汎化誤差・周辺尤 度の漸近挙動を司る定数「実対数閾値」の上界を導出 – しかしSMFのBayes推定を行う数値的手法は提案されてい なかった – Bayes推定：事後分布からのサンプリングが必要 2018/3/14 NC研究会 12
- 13. SMFの学習理論 • SMFの学習理論は未解明 – 先行研究において我々はSMFのBayes汎化誤差・周辺尤 度の漸近挙動を司る定数「実対数閾値」の上界を導出 – しかしSMFのBayes推定を行う数値的手法は提案されてい なかった – Bayes推定：事後分布からのサンプリングが必要 – 確率行列： 0.1 0.1 0.4 0.3 0.5 0.1 0.4 0.3 0.4 0.8 0.2 0.4 2018/3/14 NC研究会 13 ﾊﾟﾗﾒｰﾀは単体上に存在 →単体上の事後分布 が必要（難しい）
- 14. 目次 • 背景 – 確率行列分解 – 研究目的 • 理論 • 実験 • 考察 • 結論 2018/3/14 NC研究会 14
- 15. 研究目的 • SMFのBayes学習理論を構築する – 先の研究において実対数閾値が満たす不等式を証明＊ – 理論式の数値的挙動を確認するために計算手法が要 • SMFのBayes推定法を提案する – 単体上の事後分布をハミルトニアンモンテカルロ法（HMC） によって実現することを提案する – HMCによる数値実験結果から，＊について等号が成立する 場合・しない場合それぞれで理論値と実験値を比較 – 理論値との比較によりHMCを用いたSMFの性能を評価する 2018/3/14 NC研究会 15
- 17. 目次 • 背景 • 理論 – Bayes推定と実対数閾値 – SMF理論の先行研究 • 実験 • 考察 • 結論 2018/3/14 NC研究会 17
- 18. Bayes推定と特異モデル • 一般のBayes推定における定理[Watanabe, 2001] – n個の独立確率変数 – ある学習モデルで学習を行った際の汎化誤差𝑮 𝒏 その平均値は次の挙動を持つ: 𝔼 𝑮 𝒏 = 𝝀 𝒏 − 𝒎 − 𝟏 𝒏 𝐥𝐨𝐠 𝒏 + 𝒐 𝟏 𝒏 𝐥𝐨𝐠 𝒏 • λは学習係数あるいは実対数閾値と呼ばれる定数 – mは多重度と呼ばれる • 実対数閾値を用いたモデル選択手法sBICが提案さ れている[Drton & Plummer, 2017] 2018/3/14 NC研究会 18
- 19. Bayesは最尤より誤差が小さい • 階層的なモデルでは, 係数 𝝀 はBayes推定の場合 の方が最尤・事後確率最大化推定よりも小さい [Watanabe,2001 & 2009] • Bayes推定は汎化誤差を減らすために効果的 • 本研究ではBayes推定の枠組みでSMFを考える 2018/2/1 東工大修論発表 19
- 20. 実対数閾値の定義とゼータ函数 • 実対数閾値は``学習係数’’として特徴づけられる • 数学的な定義は以下の１変数複素函数を解析接続 したものの最大極の符号反転である: 𝜻 𝒛 = න𝑲 𝜽 𝒛 𝝋 𝜽 𝒅𝜽, ここで 𝑲 は真の分布から学習機械へのKL情報量で， 𝝋 は事前分布である． • この複素函数𝜻 𝒛 を学習理論のゼータ函数という． 2018/2/1 東工大修論発表 20
- 21. 目次 • 背景 • 理論 – Bayes推定と実対数閾値 – SMF理論の先行研究 • 実験 • 考察 • 結論 2018/3/14 NC研究会 21
- 24. SMFの実対数閾値の上界 定理 [Hayashi &Watanabe, 2017, arXiv preprint] A,BをそれぞれM×H,H×Nの確率行列，A0,B0をそ れぞれM×H0,H0×Nの正値確率行列とする． 行列の成分はコンパクト集合の元とする． 真の分解（最小の内部次元H0を与える）がA0,B0の とき、SMFの実対数閾値λは次の不等式を満たす: – 𝑯 = 𝑯 𝟎 = 𝟏, 𝟐のとき等号が成立する． – 𝑀1 = 𝑀 − 1としている． 2018/3/14 NC研究会 24
- 26. 目次 • 背景 • 理論 • 実験 – 実験方法と条件 – 実験結果 • 考察 • 結論 2018/3/14 NC研究会 26
- 27. Bayes推定の流れ 2018/3/14 NC研究会 27 𝟏 𝟎 𝟏 𝟎 𝟏 𝟏 𝟎 𝟎 𝟎 𝟎 𝟏 𝟏 𝟎 𝟏 𝟎 𝟏 学習データ（サンプル行列） 事後分布 予測分布 データの発生 q(X) Xn p(X|Xn) ψ(A,B|Xn) X1 MCMC 事後平均 汎化誤差𝑮 𝒏 真の分布 確率モデル（確率質量函数） p(X|A,B) 事前分布 φ(A,B)
- 28. Bayes推定の流れ 2018/3/14 NC研究会 28 𝟏 𝟎 𝟏 𝟎 𝟏 𝟏 𝟎 𝟎 𝟎 𝟎 𝟏 𝟏 𝟎 𝟏 𝟎 𝟏 学習データ（サンプル行列） 事後分布 予測分布 データの発生 q(X) Xn p(X|Xn) ψ(A,B|Xn) X1 MCMC 事後平均 汎化誤差𝑮 𝒏 真の分布 確率モデル（確率質量函数） p(X|A,B) 事前分布 φ(A,B)
- 29. 実験条件 • データ・モデルの条件 – 以下の事前分布，確率モデル，真の分布を用いた φ(A,B) ∝ exp(-s||A||2/2-s||B||2/2):事前分布 p(X|A,B)∝Ber(X,AB):モデル q(X)∝Ber(X,A0B0):真の分布 – Ber(X,C):確率Cijで1,1-Cijで0をXijとして生成するBernoulli分布 – 真の分布からn=200個の学習データを生成した – 事前分布のハイパーパラメータはs=0.01とした • 正規分布の分散が100ということ 2018/3/14 NC研究会 29
- 30. Bayes推定の流れ 2018/3/14 NC研究会 30 𝟏 𝟎 𝟏 𝟎 𝟏 𝟏 𝟎 𝟎 𝟎 𝟎 𝟏 𝟏 𝟎 𝟏 𝟎 𝟏 学習データ（サンプル行列） 事後分布 予測分布 データの発生 q(X) Xn p(X|Xn) ψ(A,B|Xn) X1 事後平均 汎化誤差𝑮 𝒏 真の分布 確率モデル（確率質量函数） p(X|A,B) 事前分布 φ(A,B) MCMC
- 31. MCMC • SMFの事後分布は解析的に計算できない →Markov連鎖モンテカルロ法（MCMC） – パラメータは単体(simplex)上に存在する →空間が複雑，計算しにくい →ハミルトニアンモンテカルロ法 2018/3/14 NC研究会 31
- 32. HMCとStan • ハミルトニアンモンテカルロ法（HMC）はMCMC の一つである． • Metropolis法が元になっているが，Markov連鎖の 更新式に大きな工夫が加えられている – ○Markov連鎖を更新するときに，解析力学におけるハミル トン方程式を解くことで，Markov連鎖の時刻を進める時に別 の点が採択される確率を小さくすることなく計算可能 →Metropolis法よりも効率的なサンプリングが可能 2018/3/14 NC研究会 32
- 33. HMCとStan • ハミルトニアンモンテカルロ法（HMC）はMCMC の一つである． • Metropolis法が元になっているが，Markov連鎖の 更新式に大きな工夫が加えられている – ○Markov連鎖を更新するときに，解析力学におけるハミル トン方程式を解くことで，Markov連鎖の時刻を進める時に別 の点が採択される確率を小さくすることなく計算可能 →Metropolis法よりも効率的なサンプリングが可能 – △ハミルトニアン方程式をMarkov連鎖の更新の度に解かな ければならないため，実装コストと計算コストが大きい 2018/3/14 NC研究会 33
- 34. HMCとStan • ハミルトニアンモンテカルロ法（HMC）はMCMC の一つである． – △ハミルトニアン方程式をMarkov連鎖の更新の度に解かな ければならないため，実装コストと計算コストが大きい 2018/3/14 NC研究会 34
- 35. HMCとStan • ハミルトニアンモンテカルロ法（HMC）はMCMC の一つである． – △ハミルトニアン方程式をMarkov連鎖の更新の度に解かな ければならないため，実装コストと計算コストが大きい • Bayes統計モデリング言語Stanであれば，容易か つ比較的高速にHMCを使うことができる – simplex型により単体上のパラメータを扱いやすい – モデルをStanで記述するとC++でHMCが計算できる – Stanの実行そのものはR言語やMATLABなどで呼び出す 2018/3/14 NC研究会 35
- 36. Bayes推定の流れ 2018/3/14 NC研究会 36 𝟏 𝟎 𝟏 𝟎 𝟏 𝟏 𝟎 𝟎 𝟎 𝟎 𝟏 𝟏 𝟎 𝟏 𝟎 𝟏 学習データ（サンプル行列） 事後分布 予測分布 データの発生 q(X) Xn p(X|Xn) ψ(A,B|Xn) X1 MCMC 事後平均 汎化誤差𝑮 𝒏 真の分布 確率モデル（確率質量函数） p(X|A,B) 事前分布 φ(A,B)
- 37. Bayes推定の流れ 2018/3/14 NC研究会 37 𝟏 𝟎 𝟏 𝟎 𝟏 𝟏 𝟎 𝟎 𝟎 𝟎 𝟏 𝟏 𝟎 𝟏 𝟎 𝟏 学習データ（サンプル行列） 事後分布 予測分布 データの発生 q(X) Xn p(X|Xn) ψ(A,B|Xn) X1 MCMC 事後平均 真の分布 確率モデル（確率質量函数） p(X|A,B) 事前分布 φ(A,B) 汎化誤差𝑮 𝒏 複数のデータセットに対して それぞれ汎化誤差を計算， その平均から実対数閾値を計算 𝝀 ≈ 𝒏 𝔼 𝑮 𝒏
- 38. 実験条件 • モデルのサイズ・制御変数の実験条件 以上の実験を，次の制御変数に対して行った – 行列のサイズは𝑴 = 𝑵 = 𝟐, 𝟑, 𝟒, 𝟓 – 行列分解の内部次元は𝑯 = 𝑯 𝟎 = 𝟐, 𝟑, 𝟒, 𝟓 • 𝑯 = 𝑯 𝟎 = 𝟏のときは一方のパラメータ行列の要素がすべて1となり， 統計的に正則なモデルになるため割愛 • 𝑯 = 𝑯 𝟎 = 𝟐のときは実対数閾値の厳密値がわかっている • 𝑯 = 𝑯 𝟎 = 𝟑, 𝟒, 𝟓のときは実対数閾値の上界と比較する 2018/3/14 NC研究会 38
- 39. 目次 • 背景 • 理論 • 実験 – 実験方法と条件 – 実験結果 • 考察 • 結論 2018/3/14 NC研究会 39
- 41. 実験結果 • 条件(1)主定理の等号が成立しているとき： • H=H0=2のときの結果 • 実験結果でも等号が成立している →数値計算は正常に動作している • やや小さく見積もられている？ 2018/3/14 NC研究会 41
- 43. 実験結果 • 条件(2)主定理の等号が成立しないとき： 2018/3/14 NC研究会 43 数値実験結果でも 不等号が成立している
- 44. 目次 • 背景 • 理論 • 実験 • 考察 – 条件(1)について – 条件(2)について • 結論 2018/3/14 NC研究会 45
- 45. 考察：条件(1) • 主定理で等号が成立するとき： 確かに等号が成立した→プログラムミスはない • 理論値より小さい計算結果が得られている – このunder estimateの理由を考察する 2018/3/14 NC研究会 46
- 46. 条件(1)のunder est. • 理由1：数値近似が足りない – 理論値の定義は積分による平均操作 – 実対数閾値が支配するのは汎化誤差の漸近挙動 – 実験ではnも平均も有限個 →サンプルサイズに対してより多くのテストデー タやデータセット数を用意して追加実験 2018/3/14 NC研究会 47
- 47. 条件(1)の追加実験 • 行列のサイズは𝑴 = 𝑵 = 𝟑, 𝑯 = 𝑯 𝟎 = 𝟐とした • 以下の4条件（実質3）で実験した： – 条件（イ）：T=10000, D=100（もともとの条件） – 条件（ロ）：T=20000, D=100 – 条件（ハ）：T=10000, D=200 – 条件（ニ）：T=20000, D=200 • T:テストデータ数，D：データセット数 2018/3/14 NC研究会 48
- 48. 条件(1)の追加実験結果 • 条件(イ)~(ハ)の実験結果 – 追加実験はいずれも理論値に近づいた – 条件（ロ）に至っては理論値より大きくなる方に揺らいだ – 元々の条件では，nに対しTやDが小さかったのが小さく 見積もられる理由の1つとして考えられる 2018/3/14 NC研究会 49
- 49. 条件(1)のunder est. • 理由2：高次項の影響 – 実対数閾値が支配するのは汎化誤差の漸近挙動 – 実験ではnは有限 – 理由1は「理論値に合わない」ことを説明できても， 「理論値より小さい値が得られる」ことを説明しきれない 2018/3/14 NC研究会 50
- 50. 条件(1)のunder est. • 理由2：高次項の影響 • 実験において用いた漸近的な関係： 𝔼 𝑮 𝒏 = 𝝀 𝒏 + 𝒐 𝟏 𝒏 ⇔ 𝝀 ≈ 𝒏 𝔼 𝑮 𝒏 • 実際の漸近挙動(1/nlognまで) 𝔼 𝑮 𝒏 = 𝝀 𝒏 − 𝒎 − 𝟏 𝒏 𝐥𝐨𝐠 𝒏 + 𝒐 𝟏 𝒏 𝐥𝐨𝐠 𝒏 ⇔ 𝒏 𝔼 𝑮 𝒏 ≈ 𝝀 − 𝒎 − 𝟏 𝐥𝐨𝐠𝒏 2018/3/14 NC研究会 51
- 51. 条件(1)のunder est. • 理由2：高次項の影響 • 実験において用いた漸近的な関係： 𝔼 𝑮 𝒏 = 𝝀 𝒏 + 𝒐 𝟏 𝒏 ⇔ 𝝀 ≈ 𝒏 𝔼 𝑮 𝒏 • 実際の漸近挙動(1/nlognまで) 𝔼 𝑮 𝒏 = 𝝀 𝒏 − 𝒎 − 𝟏 𝒏 𝐥𝐨𝐠 𝒏 + 𝒐 𝟏 𝒏 𝐥𝐨𝐠 𝒏 ⇔ 𝒏 𝔼 𝑮 𝒏 ≈ 𝝀 − 𝒎 − 𝟏 𝐥𝐨𝐠𝒏 2018/3/14 NC研究会 52 𝒎 ≥ 𝟐であれば高次項により 実験値（左辺）は小さくなる
- 52. 条件(1)のunder est. • 理由2：高次項の影響 • 実験において用いた漸近的な関係： 𝔼 𝑮 𝒏 = 𝝀 𝒏 + 𝒐 𝟏 𝒏 ⇔ 𝝀 ≈ 𝒏 𝔼 𝑮 𝒏 • 実際の漸近挙動(1/nlognまで) 𝔼 𝑮 𝒏 = 𝝀 𝒏 − 𝒎 − 𝟏 𝒏 𝐥𝐨𝐠 𝒏 + 𝒐 𝟏 𝒏 𝐥𝐨𝐠 𝒏 ⇔ 𝒏 𝔼 𝑮 𝒏 ≈ 𝝀 − 𝒎 − 𝟏 𝐥𝐨𝐠𝒏 2018/3/14 NC研究会 53 𝒎 ≥ 𝟐であれば高次項により 実験値（左辺）は小さくなる 例：m=2, n=200のとき， 1/log200=0.19…… ほど小さく見積もられる． 𝒎 ≥ 𝟐の可能性？
- 53. 条件(1)のunder est. • 理由3：HMC/Stanの正確さ – SMFの事後分布を実現する手法は提案されていない • 本研究はその基礎となるものである – Stanがいつでも正確かはわからない – SMFの場合どれほど正確だろうか？ 2018/3/14 NC研究会 54
- 54. 条件(1)のunder est. • 理由3：HMC/Stanの正確さ – SMFの事後分布を実現する手法は提案されていない • 本研究はその基礎となるものである – Stanがいつでも正確かはわからない – SMFの場合どれほど正確だろうか？ →Stanが正確ではない/学習がうまくいっていない とすると，かえって汎化誤差は大きくなるはず – 理由1の追加実験のように，条件を変えて改善できる – ｿﾌﾄｳｪｱの問題であれば実験条件の改善は無意味のはず – むしろStanはSMFの事後分布を実現するのに有効 2018/3/14 NC研究会 55
- 55. 条件(1)のunder est. • 理由の総括 – サンプルサイズnに対してテストデータ数Tやデータセット数 Dが不足していた – 多重度mに依存する高次項の影響（多重度が2以上） – HMC/Stanの不正確さとは考えにくい むしろStanはSMFの事後分布を実現するのに有効 ※この考察は理論値あってのものである 2018/3/14 NC研究会 56
- 56. 目次 • 背景 • 理論 • 実験 • 考察 – 条件(1)について – 条件(2)について • 結論 2018/3/14 NC研究会 57
- 58. 考察：条件(2) • 主定理で等号が成立するとは限らないとき： 確かに不等号が成立した • 実験値から厳密値を見積もれないだろうか？ • SMFの基礎になるであろう確率行列そのものの 研究はあまりされていないため，制御変数の影 響を考察しにくい． 厳密値の予想を立てることは現状困難 2018/3/14 NC研究会 59
- 60. 目次 • 背景 • 理論 • 実験 • 考察 • 結論 2018/3/14 NC研究会 61
- 61. 結論/総括 • SMFの実対数閾値について，HMCによる数値実 験を行い，HMCの有効性や理論式の数値的な挙 動を検証した． • 以下の結果を得た： – 理論式で等号が成立するとき： 確かに等号が成立した • 高次項が影響するつまり多重度が2以上である可能性がある • StanによるHMCはSMFの事後分布の実現に有効である – 理論式で等号が成立しないとき： 不等式は成立したが厳密値について数学的な予想を作る ことは困難 2018/3/14 NC研究会 62
- 63. HMCとStan ソフトウェア C++ R MATLAB Stan 導入難度 高 低 低？（有料） やや低 実装難度 高 低 低 低 計算時間 極小 大 中 小 OSSか？ ○ ○ × ○ 保証 無 無 有 無 2018/3/14 NC研究会 64 • Stanは低い導入・実装難度で良いパフォーマンス を発揮できる • 本研究ではR上でStanを呼び出した（Rstan） » 筆者がC++を書けないだけと言えばそう
- 64. 実験条件 • HMCの実験条件 – サンプリング周期20、バーンイン20000により1000個の サンプルを生成 – Stanの並列計算パラメータはchains=4とした • 汎化誤差･実対数閾値計算の実験条件 – テストデータをT=10000個生成して平均の積分を近似 – 学習データセット抽出D=100回の平均を計算 2018/3/14 NC研究会 65
- 65. 厳密値の見積もり • 上界や判明している厳密値は真の分解の内部次元( 真の「rank」)に依存している • 制約のない行列分解ではrank，非負値行列分解 (NMF)では非負値rankがこれに相当する – 非負値rank：NMFの最小の内部次元．一般にrank以上 • 確率行列にとっての真の「rank」とは？ 2018/3/14 NC研究会 66
- 66. 厳密値の見積もり • 確率行列にとっての真の「rank」とは？ – 仮に確率rankと呼ぶ． – SMF自体の新しさ(Adams, 2016)もあり，確率行列につい てわかっていることは必ずしも多くない – 非負値ランクとランクの関係は明らかにされているものもあ るが(Cohen, 1993)，この確率rankについては不明 – 厳密値がわかっている場合も，NMFや制約のない場合の 実対数閾値とは異なる • NMFと制約なしは同じ値のことがある 厳密値の予想を立てることは現状困難 2018/3/14 NC研究会 67
- 67. 結論/展望 • より大きな行列に対する実験 – 学習理論の研究ではデータ抽出に対する平均操作が要 – より高速に計算できないか？ • 確率行列そのものについての数学的研究 – SMFモデルの制御変数そのものの性質の解明 2018/3/14 NC研究会 68