MLP（機械学習プロフェッショナルシリーズ）の勉強会の資料です。

1. ノンパラメトリックベイズ
4章 クラスタリング
担当 fluct中野智文

2. 4.1 ｋ平均アルゴリズム
• K個のクラスにデータ点
を分類
• 各クラスの代表点:
• の距離を定
義して代表点が近いクラス
へ分類
http://aidiary.hatenablog.com/entry/20120813/1344853878

3. • がクラス に属する：
•zは隠れ変数、潜在変数とよばれる

4. •K-平均アルゴリズムは、各クラス内の平均とそれが
属するデータ点との距離が最小となる
を求める。すなわち
※著作権保護のため画質が悪くなっています。

5. アルゴリズム4.1

6. 4.2 混合ガウスモデルのギブスサンプリングによ
るクラスタリング
？
成り立てば1, でなければ0
Ziに連動して平均が変化
対数化したガウス分布

7. •最適化問題は、
となる
※著作権保護のため画質が悪くなっています。

8. •アルゴリズム4.1(3)(i)を次のように書き換えられる
よって、次の最大化問題と考えることが出来る

9. K個のガウス分布 にもとづき、
•データごとに最も尤度が高いクラスを選択→
• から平均を最尤推定している→

11. 分布に基づいたランダムに

12. 4.2.1分散固定の場合
•データ は
と生成されると仮定する
標準ガウス分布 一様分布

13. 生成したいパラメータ
データ
テンポラリな
パラメータ
事前分布
（正則化）

16. •だから、
ベイズの定理
分母は固定だから消え
る
グラフィカルモデルよ
り関係のある部分の
み残す
これが知りたかった?

17. 正規化

18. 結合確率に比例
グラフィカルモデルよ
り関係のある部分の
み残す

19. ここで

20. •条件部の依存関係
•よって、
正規分布だから正規
化は必要ない？

21. アルゴリズム4.2

24. 4.2.2 分散も確率変数とする場合
•データ は
と生成されると仮定する
Zipf's の法則的な
何かとか
「正規分布の分散の
事前分布」と1章の時
のメモ

25. 再掲

26. 結合確率

27. 条件付き分布は

28. 正規化

30. ここで
τが共通でない
とうまくいかな
いという

33. ここで

34. 積分消去すれば

37. アルゴリズム4.3

38. 4.3 混合ガウスモデルの周辺化ギブスサンプリン
グによるクラスタリング

39. 周辺化

40. 逐次的に

41. 結合分布
グラフィカルモデルより、
となります。ただし
は条件付き独立とはいかない。

42. 下記（3章で説明があった）より、

43. よって結合確率

44. 条件付き分布

45. なぜそうなったのか

47. 積分記号?
ノンパラメト
リックベイズ
はここを拡張

48. （4.31）？
ノンパラメト
リックベイズ
はここを拡張

49. アルゴリズム4.4