2016年9月16日に筑波大学で開催されたワークショップ「部分空間法・深層学習・大型固有値問題の出会いと融合」の講演スライドを掲載します．

1. Copyright©2014 NTT corp. All Rights Reserved.
多変量解析の一般化と
そのメディア認識への応用
木村 昭悟 （きむら あきさと）
日本電信電話（株） コミュニケーション科学基礎研究所
E‐mail: akisato@ieee.org, @_akisato

2. 今日のtalk の あらまし
2
 数多くの多変量解析を俯瞰する
シンプル かつ コンパクトな表現を示します
 【標準的手法】 PCA，判別分析，線形回帰，CCA etc.
 【局所性導入】 MDS，局所性保存射影 etc.
 【正則化】 L2ノルム正則化，graph Laplacian etc.
 【カーネル導入】 カーネルPCA，normalized cuts etc.
 【半教師化】 SELF，SemiCCA etc.
 Designing various analysis at will !!
 データマイニングの実施者が，それぞれの目的に
応じたテーラーメードな解析手法を設計できる．

3. もくじ
3
1. 多変量解析とは？
2. 多変量解析の一般化
3. 新しい解析手法の作り方
4. 画像/音楽/映像認識への応用
5. まとめ 大規模固有値問題・深層学習との関係？
Akisato Kimura, Masashi Sugiyama, Hitoshi Sakano, Hirokazu Kameoka
"Designing various component analysis at will via generalized pairwise expression,"
IPSJ Transactions on Mathematical Modeling and its Applications (TOM), 2013.
http://www.kecl.ntt.co.jp/people/kimura.akisato/pdf/tom2013gpe.pdf

4. もくじ
4
1. 多変量解析とは？
 簡単な導入
 本発表で取り扱う多変量解析の範囲
2. 多変量解析の一般化
3. 新しい解析手法の作り方
4. 画像/音楽/映像認識への応用
5. まとめ

5. 多変量解析とは？ in www.macromill.com
5

6. 代表的な多変量解析手法
6
 「予測」型
 回帰分析 (MLR)：
複数の数量から別の数量を予測
 判別分析 (FDA)：
複数の変量から変量の分類を予測
 「要約」型
 主成分分析 (PCA)：
多量の数量を要約した数量を導出
 多次元尺度構成法 (MDS)：
個体間距離を要約した数量群を導出

7. パターン認識で多変量解析を使う
7
 多次元尺度構成法（の拡張）で低次元埋め込み

8. パターン認識で多変量解析を使う
8
 判別分析で文字認識
 筋電データから実際に筆記した文字を認識
Linderman+ “Recognition of Handwriting from Electromyography,” PLoS One, 2009

9. Computer visionで多変量解析を使う
9
 奥行きの推定に回帰分析
 画像特徴量と奥行きとの関係を回帰分析で推定
Saxena+ “Learning Depth from Single Monocular Images,” Proc. NIPS2005

10. 主成分分析 (PCA)
10
 多次元ベクトルとして表現される多数のサンプルから，
それらの分散が大きくなる正規直交軸を見つける手法．
 サンプルが多次元ガウス分布に従うときは非常に有効
 そうでないときも、サンプル表現に寄与しない成分を捨てる
目的で使用されることが多い．

11. PCAの定式化 １
11
 多次元ベクトルのサンプル
 簡単のため，以降はサンプル平均=0を仮定．
 射影後の分散が最大になる基底 を求める
共分散行列
射影後の分散

12. PCAの定式化 ２
12
 各基底が単位ベクトルとなるように正規化
 Lagrange未定定数法で問題を書き直す
 基底での微分 = 0 とすると
 共分散行列の固有値問題を解けば良い！

13. 判別分析 (FDA)
13
 多次元ベクトルとそのカテゴリで表現される
多数のサンプルから，カテゴリをよりよく分類する
（正規直交ではないかもしれない）軸を見つける方法
各カテゴリのサンプルの平均を結ぶ軸 判別分析で見つけた軸

14. FDAの定式化 １
14
 カテゴリ内分散を小さく，
カテゴリ間分散を大きくする基底を求めたい
カテゴリ間共分散行列
カテゴリ内共分散行列

15. FDAの定式化 ２
15
 カテゴリ内共分散を単位化するように正規化
 要するに，目的関数の分母を１にしたい．
 Lagrange未定乗数法で問題を書き直す．
 基底での微分 = 0 とすると
 一般化固有値問題を解けば良い！

16.  一般化レイリー商で表現される多変量解析
 一般化固有値問題で表現される多変量解析
本発表で扱う多変量解析 の定式化
16
ラグランジュ
未定乗数法
強調したい
抑制したい

17. この枠組に含まれる多変量解析 １
17
 標準的な手法
 主成分分析 (PCA)
 線形判別分析 (FDA)
 線形回帰分析 (MLR)
 正準相関分析 (CCA)
 局所性を重視した手法
 局所性保存射影 (LPP) [He+ NIPS2003]
 局所線形判別分析 (LFDA) [Sugiyama JMLR2007]
（後で説明します）

18. この枠組に含まれる多変量解析 ２
18
 カーネル化すると…
 カーネルhogehoge （hogehoge＝標準的手法）
 クラスタリング系
 Kernel k-means [Zha+ NIPS2011]
 Normalized cuts [Shi+ PAMI2001]
 Spectral clustering [Yu+ NIPS2002]
 低次元埋め込み系
 ISOMAP [Tenenbaum+ Science 2000]
 Locally linear embedding [Saul+ Science 2000]
 Laplacian eigenmap [Belkin+ NIPS2002]

19. もくじ
19
1. 多変量解析とは？
2. 多変量解析の一般化
 一般化の必要性： 新しい解析を簡単に作りたい
 どうやって一般化するの？
3. 新しい解析手法の作り方
4. 画像/音楽/映像認識への応用
5. まとめ

20. これまで述べたこと
20
 行列 を使うことで，
多変量解析が以下の形式で記述できます．
一般化固有値問題

21. これまで述べたこと
21
 行列 を使うことで，
多変量解析が以下の形式で記述できます．
 射影軸が2本の場合には，以下のようになります．

22. 例えば
22
 主成分分析 (PCA)
 線形回帰分析 (MLR)
 正準相関分析 (CCA)

23. これから述べたいこと
23
 行列 を 拡張ペアワイズ表現 で書くと，
多変量解析の一般的枠組が作れます．
データ依存項 データ独立項拡張ペアワイズ表現

24. 一般化すると何がうれしいの？
24
 新しい手法がざくざく作れる
 行列を足すだけで良い．楽ちん．
 特殊な場合には，行列のかけ算もできる．
 各項の果たす役割が明確になる
 サンプル間の類似性をどのように考慮するか？
 どのような正則化を行うか？

25.  相互共分散行列 （平均＝0 を仮定）
 共分散行列は相互共分散行列の特殊例
 サンプル間類似性を考慮した2次統計量
 : 相互共分散行列と一致
共分散行列とその拡張
25

26.  サンプル間類似性を考慮した2次統計量
 2次統計量のペアワイズ表現 [Sugiyama+ 2010]
ペアワイズ表現 (PE)
26
和の中の積を展開

27.  ペアワイズ表現の自然な拡張
 形式上は類似度行列を意識する必要はない
 上記の表現を，
2次統計量の拡張ペアワイズ表現 と呼ぶ．
拡張ペアワイズ表現 (GPE)
27
Qに独立な項を導入
データ依存項 データ独立項

28. 標準的手法の拡張ペアワイズ表現
28
 主成分分析 (PCA)
 線形回帰分析 (MLR)
 正準相関分析 (CCA)
データ依存項の典型例
データ独立項の典型例

29. データ依存項が持つ意味
29
 サンプル間類似性をどう評価するか? を決定
 類似度行列を明示的に設定する必要はない
 既存手法では，類似度行列を明示的に設定
 例： 局所性保存射影 (LPP) [He,Niyogi 2004]
類似度： 近くはより近くに，遠くはより遠くに

30. データ独立項が持つ意味
30
 正則化を取り込むことが主要な目的
 例： リッジ回帰 （MLR with L2ノルム正則化）
MLRと異なるのは
ここだけ！

31. もくじ
31
1. 多変量解析とは？
2. 多変量解析の一般化
3. 新しい解析手法の作り方
 簡単です．行列を足したり掛けたりするだけ．
 半教師付き解析も簡単にできます．
 試しに，今までになかった解析を作ってみます．
4. 画像/音楽/映像認識への応用
5. まとめ

32. 拡張ペアワイズ表現の性質
32
非負対称行列半正定値行列
GPEは和積演算に閉じている．
→ 複数のGPEの和や積で新しいGPEが作れる．
注： 2種類のサンプル集合を扱う際には , とすれば良い．

33. 新しい解析手法の作り方
33
 既存の２次統計量を和・積・定数倍するだけ，
所望の性質を持つ多変量解析を作れる！
 例： SELF （半教師付局所線形判別分析） [Sugiyama+2010]
LFDA PCA

34. 半教師付き学習への拡張
34
 各統計量を計算する母集団を操作することで
半教師付き学習への拡張が容易に！
 例： SELF ラベル付きデータだけから計算
ラベルなしデータも含めて計算
ラベルなしデータに対応する要素が全て０

35. 非線形多変量解析への拡張
35
 カーネル正準相関分析 (kCCA)
正則化
（ランク落ち回避）
ラプラシアン正則化
（多様体平滑化）

36. 新しい非線形解析手法を作る
36
グラム行列についてのGPEは和演算に閉じていない！

37. 新しい非線形解析手法を作る
37
通常のGPE-based 多変量解析
上と等価な多変量解析
（形式的には）データ行列 をグラム行列 で置き換える．

38. 新しい解析手法を作る のまとめ
 線形解析
 対象の二次統計量を和・積・正定数倍するだけ．
 明示的に GPE を意識・導出する必要はない．
 非線形解析
 明示的に GPE を導出し，ラプラシアン項で
和・積・正定数倍をする．

39. 例えば，で作ってみた手法 １
39
 半教師付き正準相関分析 SemiCCA [ICPR2010]
 SELFではできなかった
マルチラベル分類への半教師付き学習を実現
 XだけあってYがない，という場合だけでなく，
YだけあってXがない，という場合も同様に扱える
↑CCA
(supervised)
↑PCA
(unsupervised)

40. 例えば，で作ってみた手法 ２
40
 正準相関分析 ＋ 線形判別分析
 クラスラベル付きの多次元ベクトル対(x, y)を対象
 例： 画像 = x, 音声 = y, ラベル = c ⇒ 映像認識・検索
 クラスごとに異なる相関関係も抽出可能
↑CCA
(unsupervised)
↑FDA
(supervised)

41. 実験
41
 MIT-CBCL顔データの低次元埋め込み
下照明
（6方向:
0,15,…,90）
横照明
（6方向
0,15,…90）
顔向き
（9方向: 0,4,…,24）
人物（１０人）
・ サンプル数 ＝ 3240枚
（10人×6下方向×6横方向×9顔向き）
・ クラス ＝ 人物
・ 特徴 X ＝ 画像 （32×32 pixs)
・ 補助情報 Y ＝
照明情報・顔向き（3次元）

42. 実験結果： FDA
42

43. 実験結果： CCA
43

44. 実験結果： CCA+FDA
44
CCA/FDA両者の特性を併せ持つ
解析を簡易に実現！
クラス分離
暗い
明るい
暗い
明るい

45. もくじ
45
1. 多変量解析とは？
2. 多変量解析の一般化
3. 新しい解析手法の作り方
4. 大規模固有値問題・深層学習との関係
5. まとめ

46. 46Copyright©2014 NTT corp. All Rights Reserved.
Paper to read
(NIPS2016 accepted)

47. 47Copyright©2014 NTT corp. All Rights Reserved.
1‐page summary
CNN on arbitrary graphs
• With the help of spectral graph theory
(or graph signal processing)
• The key point is how to obtain locality and
hierarchical structures.
Standard CNNs can handle only
regular grids, e.g. raw image pixels.
The proposed method can be
applied to any graphs with any
types of topology, e.g. superpixel
graphs.

48. 48Copyright©2014 NTT corp. All Rights Reserved.
Graph Fourier transform
(undirected & connected) graph
: vertices (| | ), : edges,
: weighted adjacency matrix.
A signal defined on the ‐th node
e.g. is a pixel value on the ‐th (super)pixel.
Graph Laplacian
diag ⋅ : diagonal degree matrix ∑ .
A normalized one can be used. / /

49. 49Copyright©2014 NTT corp. All Rights Reserved.
Graph Fourier transform (cont.)
The Laplacian is diagonalized as
: “Fourier” bases,
: “frequencies”.
Graph Fourier transform (GFT) of a signal
(inverse: )

50. 50Copyright©2014 NTT corp. All Rights Reserved.
Spectral filtering
The convolutional operator on graph
: a filter, ⊙ : element‐wise Hadamard product
Learning filters on a graph thus amount to learning
spectral multipliers
diag : a filter
‐‐ Not localized, parameters should be trained.

51. 51Copyright©2014 NTT corp. All Rights Reserved.
Main ideas (1)
Laplacian‐based polynomial spectral filters
: a filter
: filtering
‐‐ #parameters =K
‐‐ This filter is exactly ‐localized, since ,
if the shortest path distance b.w. & is larger than .
‐‐ still requires operations for filtering

52. 52Copyright©2014 NTT corp. All Rights Reserved.
Summarizing the points so far
a
• Spectral filters are ‐localized
• The number of filter parameters =
• The computational cost is | |
∗ ̅ , ̅ , … , ̅
, ,
2
2 /

53. もくじ
53
1. 多変量解析とは？
2. 多変量解析の一般化
3. 新しい解析手法の作り方
4. 画像/音楽/映像認識への応用
5. まとめ

54. まとめ
54
 2次統計量を拡張ペアワイズ表現を用いて
表現することで，多変量解析を俯瞰できます．
 簡単に所望の性質を持つ多変量解析を実現
 2次統計量の重み付き加算
 統計量計算のための母集団の操作
 （それ以外の方法でももちろんOKです）
データ依存項 データ独立項拡張ペアワイズ表現

55. Thank you for your kind attention.
55
 スライドの一部をslideshareにアップします
http://www.slideshare.net/akisatokimura
Akisato Kimura, Ph.D @ NTT CS Labs.
[E-mail] akisato <at> ieee.org [Twitter] _akisato