Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
集合知プログラミング 
第三回勉強会 
2014.9.11 
安中哲也
担当範囲 
 
n 3.1 教師あり学習 v.s. 教師なし学習 
n 3.2 単語ベクトル 
n 3.2.1 ブロガーを分類する 
n 3.2.2 フィードの中の単語を数える 
n 3.3 階層的クラスタリング 
n 3.4 デン...
3章 
3 
 
n 機械学習の全体図(簡略略図) 
 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重⼼心法 
⾳音声認識識, 
⼀一般物体認識識, etc… ...
3章 
4 
 
n 今⽇日の勉強会で学ぶ範囲 
 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重⼼心法 
⾳音声認識識, 
⼀一般物体認識識, etc… 
最...
今⽇日の発表で持ち帰って欲しいこと 
5 
n グループ分けを⾏行行う主要アルゴリズムの概要と、その特徴の理理解 
n 「K平均法」「NN近傍法」のアルゴリズムの詳細理理解 
n シチュエーションに応じた学習アルゴリズム選択
3章 
6 
 
n 機械学習の全体図(簡略略図) 
 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重⼼心法 
⾳音声認識識, 
⼀一般物体認識識, etc… ...
3章 グループを⾒見見つけ出す 
7 
n この章では何を学ぶか? 
前回までは、近い関係のものを探し出す⼿手法について⾒見見てきた。 
この章では、これを⼀一般化し、お互いに関連しているもの同⼠士、⼈人々の集団な 
どを発⾒見見する⼿手法を...
3章 
8 
 
n 機械学習の全体図(簡略略図) 
 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重⼼心法 
⾳音声認識識, 
⼀一般物体認識識, etc… ...
3.1 教師あり学習 v.s. 教師なし学習 
9 
データクラスタリングには、学習が必要 
学習アルゴリズムは、学習時に正解データを使うか否かで2種類に分けられる。 
n 教師あり学習(正解データを使う学習) 
予測のあり⽅方を学習する際に...
3.1 教師あり学習 v.s. 教師なし学習 
10 
n 教師なし学習 
教師なし学習とは、「望ましい状態」を使⽤用者が設定し、その「望ましい状態」 
を満たすようにデータセットを分類する⽅方法。 
 
n 教師なし学習の使⽤用シチュエー...
3章 
11 
 
n 機械学習の全体図(簡略略図) 
 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重⼼心法 
⾳音声認識識, 
⼀一般物体認識識, etc…...
3.3 階層的クラスタリング 
12 
クラスタリングは「階層的」「⾮非階層的」の2種類がある。 
 
n 階層的クラスタリングとは 
最も似ているグループをまとめる(※1)、もしくは最も離離れているグループを分 
ける(※2)ことを繰り返す...
3.3 階層的クラスタリングの例例 
13
3.3 階層的クラスタリング 
14
3章 
15 
 
n 機械学習の全体図(簡略略図) 
 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重⼼心法 
⾳音声認識識, 
⼀一般物体認識識, etc…...
3.3 階層的クラスタリング 
16 
 
n 最近傍法 アルゴリズムの説明 
 
STEP1 n次元上にプロット 
A B 
D 
C 
E 
D 
Aʼ’ 
C 
E 
A B 
D 
C 
E 
D 
C 
E 
A B 
D 
C 
...
3.3 階層的クラスタリング 
17 
 
n 階層的クラスタリングのメリット(再掲) 
ü ⼀一回クラスタリングをすれば、様々な粒粒度度(⼤大きさ)のクラスタが得られる 
(再計算なしでクラスタ数の変化が可能) 
1 2 3 4 5 
1...
3章 
18 
 
n 機械学習の全体図(簡略略図) 
 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重⼼心法 
⾳音声認識識, 
⼀一般物体認識識, etc…...
3.3 ⾮非階層的クラスタリング 
19 
 
n ⾮非階層的クラスタリングとは 
階層的でないクラスタリング全て。 
事前にクラス数を決め、全体をその数に分割する。 
 
n メリット 
ü 計算量量が少ない。サイズが⼤大きなデータにも...
3章 
20 
 
n 機械学習の全体図(簡略略図) 
 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重⼼心法 
⾳音声認識識, 
⼀一般物体認識識, etc…...
3.3 階層的クラスタリング 
21 
 
n k平均法 アルゴリズムの説明 
 
http://tech.nitoyon.com/ja/blog/2009/04/09/ 
kmeans-visualise/
今⽇日の発表まとめ 
正解・不不正解データを学習させ、 
それを元に推定して欲しいとき 
22 
 
n まとめ 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重...
3章 
23 
 
n 機械学習の全体図(簡略略図) 
 
機械学習 
教師なし学習教師あり学習 
データクラスタリング 
階層的 
クラスタリング 
⾮非階層的 
クラスタリング 
重⼼心法 
⾳音声認識識, 
⼀一般物体認識識, etc…...
付録A クラスタ間の「距離離」の定義 
最短距離法(single link) 
最長距離法(complete link) 
重心法(centroid) 群平均法(group-average)
n サブグラフをみつける⼿手法 
n NODE-‐‑‒CENTRIC 密結合(クリーク)のサブグラフの発⾒見見 
n GROUP-‐‑‒CENTRIC グループ全体のエッジ密度度が⾼高いサブグラフの発⾒見見 
n グループに分割する⼿手...
26
27
Prochain SlideShare
Chargement dans…5
×
Prochain SlideShare
はじめてのパターン認識 第5章 k最近傍法(k_nn法)
Suivant
Télécharger pour lire hors ligne et voir en mode plein écran

4

Partager

Télécharger pour lire hors ligne

第四回 集合知プログラミング勉強会資料

Télécharger pour lire hors ligne

第四回 集合知プログラミング勉強会の資料です。
2014.9.14

第四回 集合知プログラミング勉強会資料

  1. 1. 集合知プログラミング 第三回勉強会 2014.9.11 安中哲也
  2. 2. 担当範囲 n 3.1 教師あり学習 v.s. 教師なし学習 n 3.2 単語ベクトル n 3.2.1 ブロガーを分類する n 3.2.2 フィードの中の単語を数える n 3.3 階層的クラスタリング n 3.4 デンドログラムを描く n 3.5 列列のクラスタリング n 3.6 K平均法によるクラスタリング 2
  3. 3. 3章 3 n 機械学習の全体図(簡略略図) 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン
  4. 4. 3章 4 n 今⽇日の勉強会で学ぶ範囲 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン
  5. 5. 今⽇日の発表で持ち帰って欲しいこと 5 n グループ分けを⾏行行う主要アルゴリズムの概要と、その特徴の理理解 n 「K平均法」「NN近傍法」のアルゴリズムの詳細理理解 n シチュエーションに応じた学習アルゴリズム選択
  6. 6. 3章 6 n 機械学習の全体図(簡略略図) 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン
  7. 7. 3章 グループを⾒見見つけ出す 7 n この章では何を学ぶか? 前回までは、近い関係のものを探し出す⼿手法について⾒見見てきた。 この章では、これを⼀一般化し、お互いに関連しているもの同⼠士、⼈人々の集団な どを発⾒見見する⼿手法を学ぶ。 これをデータクラスタリングと呼ぶ。 n どんな応⽤用例例があるか?? ü 顧客の購買履履歴を分析し「何と何が同時に購⼊入されるか」「客の購買パター ン」を理理解。商品の配置や、クーポン配布に利利⽤用。 ü ゲームの課⾦金金ユーザをグループ分け。売上が最も上昇するようなイベントを 開催 ü 株の銘柄についてグループ分け。投資先の決定の参考にする
  8. 8. 3章 8 n 機械学習の全体図(簡略略図) 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン
  9. 9. 3.1 教師あり学習 v.s. 教師なし学習 9 データクラスタリングには、学習が必要 学習アルゴリズムは、学習時に正解データを使うか否かで2種類に分けられる。 n 教師あり学習(正解データを使う学習) 予測のあり⽅方を学習する際に、正答となる⼊入⼒力力・出⼒力力を使⽤用する⼿手法。 出⼒力力が正解か否かが、明瞭に分かる(≒学習可能)場合に⽤用いられる。 「学習フェーズ」と「認識識フェーズ」に分かれる(図)。 n 教師あり学習の使⽤用シチュエーション 正解か否かをプログラムに学習して欲しいとき。 e.g. ⾳音声認識識 e.g. ⼀一般物体認識識(画像認識識) n 教師あり学習の⼿手法例例 ニューラルネットワーク(NN) 決定⽊木 サポートベクトルマシン(SVM) ベイジアンフィルタ 学習フェーズ認識識フェーズ
  10. 10. 3.1 教師あり学習 v.s. 教師なし学習 10 n 教師なし学習 教師なし学習とは、「望ましい状態」を使⽤用者が設定し、その「望ましい状態」 を満たすようにデータセットを分類する⽅方法。 n 教師なし学習の使⽤用シチュエーション クラスタリング n 教師なし学習の⼿手法例例 K平均法(後述) ⾮非負値⾏行行列列因⼦子分解(因数分解を⾏行行い、因数を読み取ることで特徴を捉える) ⾃自⼰己組織化マップ(単純ルールでクラスタリングを⾏行行う、脳を参考にしたモデル。クソ⾯面⽩白い)
  11. 11. 3章 11 n 機械学習の全体図(簡略略図) 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン
  12. 12. 3.3 階層的クラスタリング 12 クラスタリングは「階層的」「⾮非階層的」の2種類がある。 n 階層的クラスタリングとは 最も似ているグループをまとめる(※1)、もしくは最も離離れているグループを分 ける(※2)ことを繰り返す⼿手法。 n メリット ü 「デンドログラム」を描くことで、直感的な理理解が可能 ü ⼀一回クラスタリングをすれば、様々な粒粒度度(⼤大きさ)のクラスタが得られる (再計算なしでクラスタ数の変化が可能) n デメリット ü 「グループ間の全てのペアに関して計算」を繰り返すため、計算コストが⼤大 (そのため膨⼤大なデータセットは扱えない) ※1 似ているグループをまとめていく⼿手法※2 最も離離れているグループを分割していく⼿手法
  13. 13. 3.3 階層的クラスタリングの例例 13
  14. 14. 3.3 階層的クラスタリング 14
  15. 15. 3章 15 n 機械学習の全体図(簡略略図) 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン
  16. 16. 3.3 階層的クラスタリング 16 n 最近傍法 アルゴリズムの説明 STEP1 n次元上にプロット A B D C E D Aʼ’ C E A B D C E D C E A B D C E STEP2 全てのペアに関して 「距離離」を計算 STEP3 最も近いグループ同⼠士を まとめる STEP4 全てのペアに関して 「距離離」を再計算 STEP5 最も近いグループ 同⼠士をまとめる Aʼ’ (希望のクラスタ数に減るまで 繰り返す) 1.0 0.1 1.2 0.5 0.4 0.8 0.6 0.3 0.2 ・・・
  17. 17. 3.3 階層的クラスタリング 17 n 階層的クラスタリングのメリット(再掲) ü ⼀一回クラスタリングをすれば、様々な粒粒度度(⼤大きさ)のクラスタが得られる (再計算なしでクラスタ数の変化が可能) 1 2 3 4 5 1 2 3 5 5 5 4 1 2 3 4 1 2 3 4 4つのクラスタに分けたい 3つのクラスタに分けたい 2つのクラスタに分けたい n メリットの解説 デンドログラム
  18. 18. 3章 18 n 機械学習の全体図(簡略略図) 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン
  19. 19. 3.3 ⾮非階層的クラスタリング 19 n ⾮非階層的クラスタリングとは 階層的でないクラスタリング全て。 事前にクラス数を決め、全体をその数に分割する。 n メリット ü 計算量量が少ない。サイズが⼤大きなデータにも利利⽤用可能 n デメリット ü データの性質や直感に反したクラスタリングをしてしまう場合がある ü 初期値の選び⽅方によって、結果が変わってしまう(局所解に陥る) ü 予め、得たいクラス数を決めておく必要がある
  20. 20. 3章 20 n 機械学習の全体図(簡略略図) 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン
  21. 21. 3.3 階層的クラスタリング 21 n k平均法 アルゴリズムの説明 http://tech.nitoyon.com/ja/blog/2009/04/09/ kmeans-visualise/
  22. 22. 今⽇日の発表まとめ 正解・不不正解データを学習させ、 それを元に推定して欲しいとき 22 n まとめ 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン 「満たして欲しい条件」を ⾃自分で決める
  23. 23. 3章 23 n 機械学習の全体図(簡略略図) 機械学習 教師なし学習教師あり学習 データクラスタリング 階層的 クラスタリング ⾮非階層的 クラスタリング 重⼼心法 ⾳音声認識識, ⼀一般物体認識識, etc… 最近傍法 k最近傍法 k平均法⾮非負値⾏行行列列 因⼦子分解 ニューラル ネットワーク ベイジアン フィルタ 決定⽊木サポート ベクトルマシン
  24. 24. 付録A クラスタ間の「距離離」の定義 最短距離法(single link) 最長距離法(complete link) 重心法(centroid) 群平均法(group-average)
  25. 25. n サブグラフをみつける⼿手法 n NODE-‐‑‒CENTRIC 密結合(クリーク)のサブグラフの発⾒見見 n GROUP-‐‑‒CENTRIC グループ全体のエッジ密度度が⾼高いサブグラフの発⾒見見 n グループに分割する⼿手法(⾮非トポロジー) n LATENT-‐‑‒SPACE MODELS ネットワーク情報を低次元にマッピングしてk-‐‑‒meansを使う n BLOCK MODEL APPRIXIMATION 「ブロック」に分ける n SPECTRAL CLUSTERING 最⼩小カットとなるエッジから切切ってく n MODULARITY MAXIMIZATION 「モジュール性」を上げるものからつなげてく n グループに分割する⼿手法(トポロジー) n DIVISIVE HIERARCHICAL CLUSTERING つながりの弱いエッジを切切っていく n AGGROMERATIVE CLUSTERING モジュール性を元にまとめていく 25 付録B グループを⾒見見つけ出す⼿手法⾊色々
  26. 26. 26
  27. 27. 27
  • naitohiroshi988

    Apr. 21, 2020
  • ShojiUeda1

    Nov. 17, 2016
  • MitsuhiroMizuno

    Oct. 12, 2015
  • nkys

    Oct. 12, 2015

第四回 集合知プログラミング勉強会の資料です。 2014.9.14

Vues

Nombre de vues

877

Sur Slideshare

0

À partir des intégrations

0

Nombre d'intégrations

22

Actions

Téléchargements

6

Partages

0

Commentaires

0

Mentions J'aime

4

×