PRML読書会最終回　発表資料

1. PRML読書会最終回 発表資料
14.4 木構造モデル
2010/09/11
Presented by takmin

2. 宣伝
「コンピュータビジョン最先端ガイド」勉強会
http://sites.google.com/site/cvsaisentan/
次回： 9/19（日） テーマ：AdaBoost

3. 木構造モデル
• 入力空間を多次元の矩形(cuboid)領域に区
分し，それぞれの領域に単純なモデルを配置
する。
A-Dに値（回帰問題の
場合）やラベル（分類問
題の場合）を当てはめ
る

4. Classification And Regression Tree
(CART)

5. Classification And Regression Tree
(CART)
例：  x1   0.3 
  
 x   0.5 
 2  
0.2
0.6
0.1 0.6
0.8 0.1
0.2 0.8

6. Classification And Regression Tree
(CART)
例：  x1   0.3 
  
 x   0.5 
 2  
0.2
0.6
0.1 0.6
0.8 0.1
0.2 0.8

7. Classification And Regression Tree
(CART)
例：  x1   0.3 
  
 x   0.5 
 2  
0.2
0.6
0.1 0.6
0.8 0.1
0.2 0.8

8. Classification And Regression Tree
(CART)
例：  x1   0.3 
  
 x   0.5 
 2  
0.2
0.6
0.1 0.6
0.8 0.1
0.2 0.8

9. Classification And Regression Tree
(CART)
例：  x1   0.3 
  
 x   0.5 
 2  
0.2
0.6
0.1 0.6
0.8 0.1
0.2 0.8

10. 木の生成方法
単一の根ノードからGreedyに枝を増やしてく
訓練データ
x2
x1

11. 木の生成方法
根ノードは，全てのデータ点を表す
x2
x1

12. 木の生成方法
誤差関数 Q (T ) が最小となる変数 x n ，閾値  i で空
間を分割する
x1  1 x2
1 x1

13. 木の生成方法
葉ノードのデータ点の数が閾値以下になるまで分割
を繰り返す
x2
x1

14. 木の生成方法
構造を単純化するために，モデルの誤差と複雑さの
尺度 C(T ) を最小とするように枝刈りをしていく
x2
x1

15. 木の生成方法
構造を単純化するために，モデルの誤差と複雑さの
尺度 C(T ) を最小とするように枝刈りをしていく
x2
x1

16. 誤差関数
• 回帰問題の場合
葉領域： Rτ データ: xn
 t  y 
2 データ総数： Nτ 連続値ラベル: tn
Q (T )  n x2
xn R
(14.30)
1
y 
N
t
xn R
n (14.29)
葉ノードτにおける代表ラベル
x1

17. 演習14.10
• 葉ノード内の訓練集合の平均を代表値とする
ことが最も二乗誤差を最小とすることを示す。
E ( y )   (tn  y ) 2
xn R

E ( y )    2(t n  y )  0
y xn R
 y   t
xn R xn R
n
1
y 
N
t
xn R
n (14.29)

18. 誤差関数
• 分類問題の場合
– 交差エントロピー誤差関数 データ: xn
K 葉領域： Rτ 分類値ラベル: k
Q (T )   pk ln pk x2
k 1 (14.32)
– ジニ係数
K
Q (T )   pk (1  pk )
k 1
(14.33)
pk  葉ノードτにおいて，ラベルkを
持つデータの割合 x1

19. 枝刈り基準
• 誤差とモデルの複雑さのバランスを取る
T
C (T )   Q (T )   T (14.31)
 1
全葉ノードにお 葉ノード数
ける誤差の総和
λは交差確認法で決定

20. 演習14.11
A B
C1: 300 C1: 100 C1: 200 C1: 200
C2: 100 C2: 300 C2: 400 C2: 0
誤判別率：
A: 200/800 B: 200/800
木AとBの誤判別率は等しい

21. 演習14.11
A B
C1: 300 C1: 100 C1: 200 C1: 200
C2: 100 C2: 300 C2: 400 C2: 0
p11  300 / 400 p21  100 / 400 p11  200 / 600 p21  200 / 200
p12  100 / 400 p22  300 / 400 p12  400 / 600 p22  0 / 200
交差エントロピー：
T
C (T )   Q (T )   T
 1
 ( p11 ln p11  p12 ln p12  p21 ln p21  p22 ln p22 )  2

22. 演習14.11
A B
C1: 300 C1: 100 C1: 200 C1: 200
C2: 100 C2: 300 C2: 400 C2: 0
p11  300 / 400 p21  100 / 400 p11  200 / 600 p21  200 / 200
p12  100 / 400 p22  300 / 400 p12  400 / 600 p22  0 / 200
交差エントロピー：
3 2
C (T )   ln 3  4 ln 2  2 C (T )   ln 2  ln 3  2
2 3
Bの方が小さい

23. 演習14.11
A B
C1: 300 C1: 100 C1: 200 C1: 200
C2: 100 C2: 300 C2: 400 C2: 0
p11  300 / 400 p21  100 / 400 p11  200 / 600 p21  200 / 200
p12  100 / 400 p22  300 / 400 p12  400 / 600 p22  0 / 200
ジニ係数：
T
C (T )   Q (T )   T
 1
 p11 (1  p11 )  p12 (1  p12 )  p21 (1  p21 )  p22 (1  p22 )  2

24. 演習14.11
A B
C1: 300 C1: 100 C1: 200 C1: 200
C2: 100 C2: 300 C2: 400 C2: 0
p11  300 / 400 p21  100 / 400 p11  200 / 600 p21  200 / 200
p12  100 / 400 p22  300 / 400 p12  400 / 600 p22  0 / 200
ジニ係数：
3 4
C (T )   2 C (T )   2
4 9
Bの方が小さい

25. 以上！

26. でも、最終回の発表が
これだけだとちょっと寂
しかったので。。。

27. 余談
コンピュータビジョンで
使われる木構造モデル

28. 注：
回帰木でも分類木でも
なく探索木の話です

29. こんな時に探索木が使われます
D. G. Lowe, “Object Recognition from Local Scale-Invariant Features”, ICCV 1999

30. 特徴点同士のマッチングに使用
高次元データ同士
のマッチング
特徴点
プール
特徴量ベクトル
特徴点が大量にある場合、一つ一つの距離を計算していたら計
算量が膨大になる！

31. こんなアルゴリズムが使われてます
近似最近傍探索のための決定木
• k-d木（+BBF）
• k-means木
• Randomized k-d木
• etc

32. k-d木(+BBF)
木の作成：
最も分散の大きい方向(次
元)の中間値で空間を分
割していく。
探索：
木を根ノードから下って行
き、葉ノードまでたどり着
いたら、近い葉ノードから
逆に辿っていく。ある距離
以上の葉ノードに達したら
その中で一番近い値を返
す（Best Bin First）
J. S. Beis, D. G. Lowe, “Shape Indexing Using Approximate Nearest-Neighbour
Search in High-Dimensional Spaces”, CVPR 1997

33. k-means木 (Vocabulary木)
木の作成：
k-means法を使って、再帰
的にデータ空間をk分割し
ていき、深さがLになるま
で繰り返す。
探索：
木を根ノードから、k個の
代表値と比べて最も近い
領域を順に探索していく。
D. Nister, H. Stewenius, “Scalable Recognition with a Vocabulary Tree”, CVPR 2006

34. Randomized k-d木
木の作成：
異なるパラメータで複数
のk-d木を構築する。
（例：データを回転させる。
上位D個の分散の高い次
元からランダムに１つ分
割する方向を決める。
etc）
探索：
全てのk-d木の葉ノード及
び隣接ノードを近い順に
ソートし、指定した個数の
binを探索する。
C. Silpa-Anan, R. Hartley, “Optimised KD-trees for fast image descriptor matching”,
CVPR 2008

35. FLANN
• OpenCV 2.0から実装されている。
• 複数の探索木の中から最適なアルゴリズムとパラ
メータを自動選択するための手法
• 検索時間、木の構築時間、メモリオーバーヘッドのそ
れぞれに重みをつけたコスト関数を準備
• いくつかの手法とパラメータで実際に木の構築や検索
を試してみて、一番コスト関数の低かったものを元に
Nelder-Mead法でパラメータを更に絞り込む。
M. Muja, D. G. Lowe, “Fast Approximate Nearest Neighbors with Automatic
Algorithm Configuration”, VISAPP 2009

36. まとめ
• CARTは回帰と分類の両方に使える。
• CARTの構築は、誤差関数を最小にするように
データ空間を分割していって、後で枝刈りを
する。
• コンピュータビジョンで使われている最近傍探
索のための決定木の紹介

37. 最後に

38. PRML読書会の皆さん
どうもありがとう！

39. そして
復習レーンに続く。。。