Recommandé
Contenu connexe
Tendances
Tendances (20)
Plus de Joe Suzuki
Plus de Joe Suzuki (20)
連続変量を含む条件付相互情報量の推定
- 2. 計算数理B(3年後期): 機械学習入門 1. 機械学習の概要 8. Lasso回帰とRidge回帰 2. 線形回帰 (1) 理論解析 9. 主成分分析、主成分回帰、部分的最小2乗法 3. 線形回帰 (2) 応用 10. スプライン回帰、一般化加法モデル 4. ロジスティック回帰、最尤法、フィッシャー情報量 11. 決定木 5. 線形判別、2次判別、K近傍法 12. バギング、ランダムフォーレスト、ブースティング 6. クロスバリデーションとブートストラップ 13. サポートベクトルマシン 7. 情報量基準 14. クラスタリング 学部3年で、機械学習の専門家レベル 原理の本質を理解する (数学で証明できる) 実データに適用して、応用のイメージを定着させる An Introduction to Statistical Learning with Applications in R Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani Springer, 2013 450ページ 最後(第15回は、機械学習を利用した実例に関する発表会)
- 3. 機械学習のトップ会議UAI 2017採択 (2017年8月) Uncertainty in Artificial Intelligence, August 12-15, 2017 “Branch and Bound for Regular Bayesian Network Structure Learning” Joe Suzuki and Jun Kawahara
- 4. 本日のお話の手順 • 相互情報量の推定 (離散) • 相互情報量の推定 (連続) • 森の構造学習 • 応用(1): BNSLパッケージ • 条件付き相互情報量の推定(離散、連続) • 証明 • 応用(2): ゲノム解析への応用
- 8. 独立性を検知できる推定量 (Suzuki 93) (負のときは0とする) Suzuki 93を用いると、事後確率最大の森が生成される
- 11. J 𝑛の導出 その2 その1, その2の𝐽 𝑛の値は 漸近的に一致性してくる
- 12. ベイズ統計学: データのもとでの事後確率最大化 P(構造|データ) = P(構造) 𝑃 データ 構造, パラメータ 𝑃(パラメータ|構造)𝑑パラメータ パラメータを周辺化した事後確率 構造 森のどれか パラメータ 各部分の条件付き確率 構造の事前確率 パラメータの事前確率 事前確率としては、標準的なもの
- 15. データ -> 相互情報量の推定値 -> 森 (Chow-Liu, Kruskal) 分布が森で表現されることを仮定 相互情報量の推定値大きいものから、 ループができない限り、辺を結んでいく
- 17. Chow-Liuに適用 𝐼 𝑛: 尤度最大 𝐽 𝑛: 記述長最小・事後確率最大 独立な頂点があっても、 全頂点が連結される 独立な頂点は、 分離される 真の相互情報量I(X,Y)のかわりに 推定量である 𝐼 𝑛, 𝐽 𝑛を用いる
- 20. mi(x,y proc=10)の動作 (Suzuki,16) X, Y ともに等頻度の分割表ができる Xを等頻度に分割 Yを等頻度に分割 X,Yは離散でも連続でもよいが、区切って頻度を数える 相互情報量の推定量 𝐽 𝑛を計算 いろいろなサイズの分割表を生成して、 𝐽 𝑛の最大値を計算 連続値は、量子化される
- 23. 条件付き相互情報量の推定(離散)
- 24. 条件付き相互情報量の推定(連続)
- 25. 最近の仕事
- 26. Rパッケージ BNSL(Bayesian Network Structure Learning) 2017年3月5日にCRANで公開 鈴木譲 (阪大) 川原純(NAIST) BNSLの特徴 ベイジアンネットワークの 構造学習の最新の成果を搭載 Rcppで高速化をはかる BNSL CRAN公開の動機 研究成果を使ってもらいたい 論文の被引用件数を増やす
- 27. 高速化のためにRcppを適用 • Rでプログラミングするより、50-100倍高速 • C++で関数を構築して、Rから呼び出す Rにはポインタがない。RcppではRの関数が使えない R, C++を知っていても、インターフェイスになれるのに 若干時間がかかる
- 28. Rパッケージ BNSLの主な関数 関数名 機能 mi 相互情報量の推定 mi_matrix データフレームから相互情報量の推定量の行列を生成 cmi 条件付き相互情報量の推定 kruskal Chow-Liuアルゴリズムの実行で必要 parent_set ベイジアンネットワーク構築の親集合 bnsl ベイジアンネットワークの→の向き、変数の順序を決定 mi(x, y, proc=0) 等しい長さのベクトルx,yから、相互情報量を推定。 Jeffreys’ (proc=0), MDL (proc=1), 最尤 (proc=9), 連続を含む (proc=10)
- 29. 他ツールとの比較 (自己評価) bnlearn BayoLink BNSL 連続 △ ☓ ◯ 研究の最先端 ☓ ☓ ◎ 大規模な BNの構造学習 近似を許して、大規 模な処理を行う 近似を許して、大規 模な処理を行う 最適解が求まる場 合しか動かない ユーザ数 ◎ ◯ △ 価格 無料 (Rパッケージ) 有料 無料 (Rパッケージ) グラフィック △ ◎ ☓
- 30. library(MASS) df=Boston mm=mi_matrix(df, proc=10) edge.list=kruskal(mm) g=graph_from_edgelist(edge.list, directed=FALSE) V(g)$label <- 1:ncol(df) plot(g,vertex.size=20.0)
- 36. (強)一致性
- 37. 証明
- 39. ゲノム解析への応用 (1) Int. J. Approximate Reasoning, 2016 青: p値の大きな遺伝子 赤: 症例/対照 1000個の連続変量 １個の2値変量 乳がん患者の遺伝子発現データ (p51遺伝子をもつサンプル192個、 もたないサンプル58個)
- 40. ゲノム解析への応用 (2) Int. J. Approximate Reasoning, 2016 青: 遺伝子発現量 赤: SNP (3値)
- 43. まとめ • 過去の結果の紹介 (昔とった杵柄) • 応用例(ゲノム、CRAN パッケージ BNSL) • 最近の成果の紹介(証明が完成したこと)