Recommandé
Contenu connexe
Tendances
Tendances (20)
k-means(k-平均法)
- 3. もくじ • Introduction(クラスタリングについて) • k-means • k-meansの初期値問題(初期値選択アルゴリズム) • KKZアルゴリズム • k-means++アルゴリズム • k-meansのさらなる問題点 • おまけ(Javadocのすゝめ) 2016/6/19 3
- 5. クラスタリングとは • クラスタリングとは? データの集合を”似たもの同⼠”でグループ化する作業。 教師なしなので、あらかじめどんなグループが出来上がるかわからない • クラスタとは？ クラスタリングの結果できあがったグループ。 • クラスタリングの種類は以下の2つの観点で種類分けできる ハードクラスタリングorソフトクラスタリング 階層型クラスタリングor⾮階層型クラスタリング 2016/6/19 5
- 6. ハード or ソフト • ハードクラスタリング 各ベクトルが1つのクラスタに 所属 • ソフトクラスタリング 各ベクトルが全てのクラスタに ある割合で所属 2016/6/19 6 クラスタA クラスタB クラスタA クラスタB クラスタA クラスタB クラスタA:70% クラスタB:30% クラスタA:20% クラスタB:80%
- 13. クラスタリング⼿法とその分類 2016/6/19 13 階層型クラスタリング ⾮階層型クラスタリング ソ フ ト ク ラ ス タ リ ン グ ハ ド ク ラ ス タ リ ン グ ・k-means ・x-means ・スペクトラルクラスタリング ・単連結法 ・完全連結法 ・群平均法 ・ウォード法 ・重⼼法 ・メディアン法 ・Fuzzy c-means ・混合分布モデル ・pLSI ・NMF
- 14. クラスタリング⼿法とその分類 2016/6/19 14 階層型クラスタリング ⾮階層型クラスタリング ソ フ ト ク ラ ス タ リ ン グ ハ ド ク ラ ス タ リ ン グ ・k-means<-今⽇はこれを扱う ・x-means ・スペクトラルクラスタリング ・単連結法 ・完全連結法 ・群平均法 ・ウォード法 ・重⼼法 ・メディアン法 ・Fuzzy c-means ・混合分布モデル ・pLSI ・NMF
- 17. k-meansアルゴリズム Step0 ・各ベクトルの所属クラスタを乱数で選ぶ。 Step1 ・各クラスタに所属するベクトルの重⼼をとり、ク ラスタの代表ベクトルとする。 Step2 ・各ベクトルから⼀番近いクラスタの代表ベクトル を新たな所属クラスタとする。 Step3 ・所属クラスタが更新されていればStep1へ、更新さ れていなければ終了 Finish 2016/6/19 17
- 18. k-means(例)その１ 2016/6/19 18 Step0:各ベクトルの所 属クラスタを乱数で選 ぶ。 Step1:各クラスタに所 属するベクトルの重⼼ をとり、クラスタの代 表ベクトルとする。
- 20. k-means(例)その３ 2016/6/19 20 Step2:各ベクトルから ⼀番近いクラスタの代 表ベクトルを新たな所 属クラスタとする。 Step3: クラスタの割 当に変更がない→終了
- 26. KKZ法 アルゴリズム Step0 ・ランダムに1つベクトルを選び代表ベクトルとする Step1 ・代表ベクトルの数がk個になったら終了 Step2 ・それぞれのベクトル𝑥に関して、最も近い代表ベクト ルの距離を求める。 Step3 ・Step2で求めた距離が最⼤になるベクトルを新たな代 表ベクトルとして選択 2016/6/19 26 Finish
- 37. k-means++法 • k-means++：KKZでは距離が最⼤になるものを選んでいたが、 距離が⼤きい物が確率的に選ばれやすいように して、ランダムに次の点を決める⽅法 • 次の代表ベクトルは確率的にランダムに選ぶので、外れ値にも 対応できる k-means++を使うと・・・ • ほとんどのデータセットで誤差が減り、あるデータセットでは 誤差が1/1000にも減った • 収束までの速さが2倍に 2016/6/19 37
- 38. k-means++法 アルゴリズム Step0 ・ランダムに1つベクトルを選び代表ベクトルとする Step1 ・代表ベクトルの数がk個になったら終了 Step2 ・それぞれのベクトル𝑥に関して、そのベクトルに⼀番 近い代表ベクトルとの距離𝐷(𝑋)を求める。 Step3 ・各ベクトルxに関して重み付き確率分布𝜙 𝑥' = ) *+ ∑-) *- を⽤いて新たな代表ベクトルをランダムに選ぶ 2016/6/19 38 Finish
- 40. さらなるk-meansの問題点 • 右のような事例ではk-means ではうまくいかないようです。 • また、k-meansは予めkを⾃ 分で決める必要があるという こと 2016/6/19 40 ⽯井 健⼀郎, 上⽥ 修功, 前⽥ 英作, 村瀬 洋: わかりやすい パターン認識, オーム社 (1998)
- 43. Javadocを書こう Javadoc:プログラムについての説明をソースコードに記述する仕 組み /** * ここにJavadocを書く * @アノテーション 〜〜〜〜 */ 2016/6/19 43 /* コメントとは違 う書き⽅ */
- 46. Javadocを書こう(アノテーション) 2016/6/19 46 • この他にもいろいろあります アノテーション 効果 @author コーディングした⼈の名前を⽰す @version プログラムのバージョンを記述する @param メソッドの引数についての説明 @return メソッドの返り値の説明 @throws メソッドが吐くエラーについての説明 (どんなときにどんなエラーが吐かれるか)
- 48. Javadocを書こう • EclipseからHTML形式のJavadocを⽣成 • Project->Generate Javadoc…->private,publicを選択->Finish 2016/6/19 48
- 51. 参考資料 • 【改訂版】Eclipseではじめるプログラミング（22）：いまさら聞け ない「Javadoc」と「アノテーション」⼊⾨ • ｋ-means法の様々な初期値設定によるクラスタリング結果の実験的 ⽐較(JSAI2011) • クラスタリングの定番アルゴリズム「K-means法」をビジュアライ ズしてみた • 適切なクラスタ数を推定するX-means法 - kaisehのブログ 2016/6/19 51
- 52. 参考資料 • k-means++法 ‒ Wikipedia • k-means++｜ぽんのブログ - アメーバブログ • クラスタリング (クラスター分析) • scikit-learn による最も基本的なクラスタリング分析 ‒ Qiita • ⾔語処理のための機械学習⼊⾨ (⾃然⾔語処理シリーズ) 2016/6/19 52