Soumettre la recherche
Mettre en ligne
Vanishing Component Analysis
•
Télécharger en tant que PPTX, PDF
•
24 j'aime
•
22,979 vues
K
Koji Matsuda
Suivre
Vanishing Component Analysis [Livni+ ICML 2013] の紹介
Lire moins
Lire la suite
Technologie
Affichage du diaporama
Signaler
Partager
Affichage du diaporama
Signaler
Partager
1 sur 19
Télécharger maintenant
Recommandé
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models
Seiya Tokui
DL Hacks輪読 Semi-supervised Learning with Deep Generative Models
DL Hacks輪読 Semi-supervised Learning with Deep Generative Models
Yusuke Iwasawa
数式をnumpyに落としこむコツ
数式をnumpyに落としこむコツ
Shuyo Nakatani
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
Yusuke Iwasawa
Pythonとdeep learningで手書き文字認識
Pythonとdeep learningで手書き文字認識
Ken Morishita
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
Takuya Akiba
NumPy闇入門
NumPy闇入門
Ryosuke Okuta
TensorFlowによるニューラルネットワーク入門
TensorFlowによるニューラルネットワーク入門
Etsuji Nakai
Recommandé
論文紹介 Semi-supervised Learning with Deep Generative Models
論文紹介 Semi-supervised Learning with Deep Generative Models
Seiya Tokui
DL Hacks輪読 Semi-supervised Learning with Deep Generative Models
DL Hacks輪読 Semi-supervised Learning with Deep Generative Models
Yusuke Iwasawa
数式をnumpyに落としこむコツ
数式をnumpyに落としこむコツ
Shuyo Nakatani
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...
Yusuke Iwasawa
Pythonとdeep learningで手書き文字認識
Pythonとdeep learningで手書き文字認識
Ken Morishita
Learning Convolutional Neural Networks for Graphs
Learning Convolutional Neural Networks for Graphs
Takuya Akiba
NumPy闇入門
NumPy闇入門
Ryosuke Okuta
TensorFlowによるニューラルネットワーク入門
TensorFlowによるニューラルネットワーク入門
Etsuji Nakai
[DL輪読会]Learning by Association - A versatile semi-supervised training method ...
[DL輪読会]Learning by Association - A versatile semi-supervised training method ...
Deep Learning JP
JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
Yusuke Iwasawa
点群深層学習 Meta-study
点群深層学習 Meta-study
Naoya Chiba
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
はてなインターン「機械学習」
はてなインターン「機械学習」
Hatena::Engineering
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
演習II.第1章 ベイズ推論の考え方 Part 3.スライド
演習II.第1章 ベイズ推論の考え方 Part 3.スライド
Wataru Shito
Pythonによる機械学習
Pythonによる機械学習
Kimikazu Kato
ディープニューラルネット入門
ディープニューラルネット入門
TanUkkii
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
Daisuke Yoneoka
パターン認識 08 09 k-近傍法 lvq
パターン認識 08 09 k-近傍法 lvq
sleipnir002
演習II.第1章 ベイズ推論の考え方 Part 3.講義ノート
演習II.第1章 ベイズ推論の考え方 Part 3.講義ノート
Wataru Shito
PRML s1
PRML s1
eizoo3010
機械学習の理論と実践
機械学習の理論と実践
Preferred Networks
MP Joinを使った類似データ抽出
MP Joinを使った類似データ抽出
JAVA DM
HTML5 Conference LT TensorFlow
HTML5 Conference LT TensorFlow
isaac-otao
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
Takuya Akiba
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
Daisuke Yoneoka
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Yuya Unno
A Machine Learning Framework for Programming by Example
A Machine Learning Framework for Programming by Example
Koji Matsuda
RSA暗号で学ぶ初めてのCommonLisp #素因数分解(試行除算)
RSA暗号で学ぶ初めてのCommonLisp #素因数分解(試行除算)
pgf2alpha
HPC Phys-20201203
HPC Phys-20201203
MITSUNARI Shigeo
Contenu connexe
Tendances
[DL輪読会]Learning by Association - A versatile semi-supervised training method ...
[DL輪読会]Learning by Association - A versatile semi-supervised training method ...
Deep Learning JP
JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
Yusuke Iwasawa
点群深層学習 Meta-study
点群深層学習 Meta-study
Naoya Chiba
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
SSII
はてなインターン「機械学習」
はてなインターン「機械学習」
Hatena::Engineering
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
演習II.第1章 ベイズ推論の考え方 Part 3.スライド
演習II.第1章 ベイズ推論の考え方 Part 3.スライド
Wataru Shito
Pythonによる機械学習
Pythonによる機械学習
Kimikazu Kato
ディープニューラルネット入門
ディープニューラルネット入門
TanUkkii
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
Daisuke Yoneoka
パターン認識 08 09 k-近傍法 lvq
パターン認識 08 09 k-近傍法 lvq
sleipnir002
演習II.第1章 ベイズ推論の考え方 Part 3.講義ノート
演習II.第1章 ベイズ推論の考え方 Part 3.講義ノート
Wataru Shito
PRML s1
PRML s1
eizoo3010
機械学習の理論と実践
機械学習の理論と実践
Preferred Networks
MP Joinを使った類似データ抽出
MP Joinを使った類似データ抽出
JAVA DM
HTML5 Conference LT TensorFlow
HTML5 Conference LT TensorFlow
isaac-otao
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
Takuya Akiba
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
Daisuke Yoneoka
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Yuya Unno
A Machine Learning Framework for Programming by Example
A Machine Learning Framework for Programming by Example
Koji Matsuda
Tendances
(20)
[DL輪読会]Learning by Association - A versatile semi-supervised training method ...
[DL輪読会]Learning by Association - A versatile semi-supervised training method ...
JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
JSAI2017:敵対的訓練を利用したドメイン不変な表現の学習
点群深層学習 Meta-study
点群深層学習 Meta-study
SSII2019企画: 点群深層学習の研究動向
SSII2019企画: 点群深層学習の研究動向
はてなインターン「機械学習」
はてなインターン「機械学習」
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
演習II.第1章 ベイズ推論の考え方 Part 3.スライド
演習II.第1章 ベイズ推論の考え方 Part 3.スライド
Pythonによる機械学習
Pythonによる機械学習
ディープニューラルネット入門
ディープニューラルネット入門
第七回統計学勉強会@東大駒場
第七回統計学勉強会@東大駒場
パターン認識 08 09 k-近傍法 lvq
パターン認識 08 09 k-近傍法 lvq
演習II.第1章 ベイズ推論の考え方 Part 3.講義ノート
演習II.第1章 ベイズ推論の考え方 Part 3.講義ノート
PRML s1
PRML s1
機械学習の理論と実践
機械学習の理論と実践
MP Joinを使った類似データ抽出
MP Joinを使った類似データ抽出
HTML5 Conference LT TensorFlow
HTML5 Conference LT TensorFlow
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
乱択データ構造の最新事情 -MinHash と HyperLogLog の最近の進歩-
第五回統計学勉強会@東大駒場
第五回統計学勉強会@東大駒場
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17
A Machine Learning Framework for Programming by Example
A Machine Learning Framework for Programming by Example
Similaire à Vanishing Component Analysis
RSA暗号で学ぶ初めてのCommonLisp #素因数分解(試行除算)
RSA暗号で学ぶ初めてのCommonLisp #素因数分解(試行除算)
pgf2alpha
HPC Phys-20201203
HPC Phys-20201203
MITSUNARI Shigeo
動的計画法を極める!
動的計画法を極める!
HCPC: 北海道大学競技プログラミングサークル
Sec15 dynamic programming
Sec15 dynamic programming
Keisuke OTAKI
会津合宿2015Day3:D問題
会津合宿2015Day3:D問題
HCPC: 北海道大学競技プログラミングサークル
明日機械学習に役立つかもしれない数学
明日機械学習に役立つかもしれない数学
Yu(u)ki IWABUCHI
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
Shuyo Nakatani
第一回Data mining勉強会 -第二章
第一回Data mining勉強会 -第二章
Tomonobu_Hirano
第一回Data mining勉強会 -第二章 - 原案
第一回Data mining勉強会 -第二章 - 原案
yushin_hirano
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~
Takuya Akiba
R による文書分類入門
R による文書分類入門
Takeshi Arabiki
充足可能性問題のいろいろ
充足可能性問題のいろいろ
Hiroshi Yamashita
Icml yomikai 07_16
Icml yomikai 07_16
Yo Ehara
PFI Christmas seminar 2009
PFI Christmas seminar 2009
Preferred Networks
Lispでやる記号微分
Lispでやる記号微分
Keiichi Watanabe
Lisp Tutorial for Pythonista : Day 3
Lisp Tutorial for Pythonista : Day 3
Ransui Iso
NLP若手の回 ACL2012参加報告
NLP若手の回 ACL2012参加報告
Hiroyuki TOKUNAGA
Tokyo.R #19 発表資料 「Rで色々やってみました」
Tokyo.R #19 発表資料 「Rで色々やってみました」
Masayuki Isobe
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Shintaro Fukushima
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Teppei Kurita
Similaire à Vanishing Component Analysis
(20)
RSA暗号で学ぶ初めてのCommonLisp #素因数分解(試行除算)
RSA暗号で学ぶ初めてのCommonLisp #素因数分解(試行除算)
HPC Phys-20201203
HPC Phys-20201203
動的計画法を極める!
動的計画法を極める!
Sec15 dynamic programming
Sec15 dynamic programming
会津合宿2015Day3:D問題
会津合宿2015Day3:D問題
明日機械学習に役立つかもしれない数学
明日機械学習に役立つかもしれない数学
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
第一回Data mining勉強会 -第二章
第一回Data mining勉強会 -第二章
第一回Data mining勉強会 -第二章 - 原案
第一回Data mining勉強会 -第二章 - 原案
プログラミングコンテストでのデータ構造 2 ~動的木編~
プログラミングコンテストでのデータ構造 2 ~動的木編~
R による文書分類入門
R による文書分類入門
充足可能性問題のいろいろ
充足可能性問題のいろいろ
Icml yomikai 07_16
Icml yomikai 07_16
PFI Christmas seminar 2009
PFI Christmas seminar 2009
Lispでやる記号微分
Lispでやる記号微分
Lisp Tutorial for Pythonista : Day 3
Lisp Tutorial for Pythonista : Day 3
NLP若手の回 ACL2012参加報告
NLP若手の回 ACL2012参加報告
Tokyo.R #19 発表資料 「Rで色々やってみました」
Tokyo.R #19 発表資料 「Rで色々やってみました」
Numpy scipyで独立成分分析
Numpy scipyで独立成分分析
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Sparse Codingをなるべく数式を使わず理解する(PCAやICAとの関係)
Plus de Koji Matsuda
Reading Wikipedia to Answer Open-Domain Questions (ACL2017) and more...
Reading Wikipedia to Answer Open-Domain Questions (ACL2017) and more...
Koji Matsuda
KB + Text => Great KB な論文を多読してみた
KB + Text => Great KB な論文を多読してみた
Koji Matsuda
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
Koji Matsuda
知識を紡ぐための言語処理と、そのための言語資源
知識を紡ぐための言語処理と、そのための言語資源
Koji Matsuda
「今日から使い切る」ための GNU Parallelによる並列処理入門
「今日から使い切る」ための GNU Parallelによる並列処理入門
Koji Matsuda
場所参照表現タグ付きコーパスの構築と評価
場所参照表現タグ付きコーパスの構築と評価
Koji Matsuda
Entity linking meets Word Sense Disambiguation: a unified approach(TACL 2014)の紹介
Entity linking meets Word Sense Disambiguation: a unified approach(TACL 2014)の紹介
Koji Matsuda
いまさら聞けない “モデル” の話 @DSIRNLP#5
いまさら聞けない “モデル” の話 @DSIRNLP#5
Koji Matsuda
Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architectures
Koji Matsuda
Align, Disambiguate and Walk : A Unified Approach forMeasuring Semantic Simil...
Align, Disambiguate and Walk : A Unified Approach forMeasuring Semantic Simil...
Koji Matsuda
Joint Modeling of a Matrix with Associated Text via Latent Binary Features
Joint Modeling of a Matrix with Associated Text via Latent Binary Features
Koji Matsuda
Information-Theoretic Metric Learning
Information-Theoretic Metric Learning
Koji Matsuda
Unified Expectation Maximization
Unified Expectation Maximization
Koji Matsuda
Language Models as Representations for Weakly-Supervised NLP Tasks (CoNLL2011)
Language Models as Representations for Weakly-Supervised NLP Tasks (CoNLL2011)
Koji Matsuda
研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節
Koji Matsuda
研究室内PRML勉強会 8章1節
研究室内PRML勉強会 8章1節
Koji Matsuda
Word Sense Induction & Disambiguaon Using Hierarchical Random Graphs (EMNLP2010)
Word Sense Induction & Disambiguaon Using Hierarchical Random Graphs (EMNLP2010)
Koji Matsuda
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Koji Matsuda
Plus de Koji Matsuda
(18)
Reading Wikipedia to Answer Open-Domain Questions (ACL2017) and more...
Reading Wikipedia to Answer Open-Domain Questions (ACL2017) and more...
KB + Text => Great KB な論文を多読してみた
KB + Text => Great KB な論文を多読してみた
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
Large-Scale Information Extraction from Textual Definitions through Deep Syn...
知識を紡ぐための言語処理と、そのための言語資源
知識を紡ぐための言語処理と、そのための言語資源
「今日から使い切る」ための GNU Parallelによる並列処理入門
「今日から使い切る」ための GNU Parallelによる並列処理入門
場所参照表現タグ付きコーパスの構築と評価
場所参照表現タグ付きコーパスの構築と評価
Entity linking meets Word Sense Disambiguation: a unified approach(TACL 2014)の紹介
Entity linking meets Word Sense Disambiguation: a unified approach(TACL 2014)の紹介
いまさら聞けない “モデル” の話 @DSIRNLP#5
いまさら聞けない “モデル” の話 @DSIRNLP#5
Practical recommendations for gradient-based training of deep architectures
Practical recommendations for gradient-based training of deep architectures
Align, Disambiguate and Walk : A Unified Approach forMeasuring Semantic Simil...
Align, Disambiguate and Walk : A Unified Approach forMeasuring Semantic Simil...
Joint Modeling of a Matrix with Associated Text via Latent Binary Features
Joint Modeling of a Matrix with Associated Text via Latent Binary Features
Information-Theoretic Metric Learning
Information-Theoretic Metric Learning
Unified Expectation Maximization
Unified Expectation Maximization
Language Models as Representations for Weakly-Supervised NLP Tasks (CoNLL2011)
Language Models as Representations for Weakly-Supervised NLP Tasks (CoNLL2011)
研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 11章2-4節
研究室内PRML勉強会 8章1節
研究室内PRML勉強会 8章1節
Word Sense Induction & Disambiguaon Using Hierarchical Random Graphs (EMNLP2010)
Word Sense Induction & Disambiguaon Using Hierarchical Random Graphs (EMNLP2010)
Approximate Scalable Bounded Space Sketch for Large Data NLP
Approximate Scalable Bounded Space Sketch for Large Data NLP
Dernier
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
CRI Japan, Inc.
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
WSO2
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
CRI Japan, Inc.
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
sn679259
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
Toru Tamaki
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Toru Tamaki
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
iPride Co., Ltd.
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
atsushi061452
Dernier
(10)
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
Vanishing Component Analysis
1.
Vanishing Component Analysis Roi
Livni, David Lehavi, Sagi Schein, Hila Nachlieli, Shai Shalev-Shwartz and Amir Globerson ICML 2013 (Best Paper) すずかけ論文読み会#4 (2013/07/07) / ICML2013読み会@PFI/東大 (2013/07/09) 紹介者 : matsuda ( @conditional ) 13/07/09 Vanishing Component Analysis 1
2.
1ページで分かる(?) Vanishing Comonent Analysis PCA/ICA 基底(basis
function)は線形に限定 VCA 任意の多項式を基底にとれる 〜本論文のテーマ〜 データをコンパクトに表現する を求める How ? Brute Forceに行うと指数オーダーなので,低次のものから順に探索的に求める Why ? 特徴量抽出に使うと「チューンした多項式カーネル」とほぼ同じことができる(100倍速い) 13/07/09 Vanishing Component Analysis 2
3.
なんとか Component Analysis •
成分分析 – Principal Component Analysis(PCA) – Independent Component Analysis(ICA) etc… • 次元削減,信号分離,特徴量抽出等,おなじみの手法 • ほとんどの手法は「線形」な成分を取り出す – Kernel PCAなど,例外もあるが・・・ 13/07/09 Vanishing Component Analysis 3 図の出典 http://dave.langers.nl/index.php?/archives/277-PCA,-ICA-FA-galore.html
4.
Vanishing Component Analysis •
データ集合の「代数的な視点からみた構造」を 多項式の集合で表現する,非線形なComponent Analysis – ただし,次元が削減されるとは限らない(後述) • 理解するには代数幾何(環論)の知識が必要そう – 今回はざっくり行きます(コメント歓迎) 13/07/09 Vanishing Component Analysis 4 問題設定 Input : m個のデータ点 Sm ( ∈ Rn ) Output : すべてのデータ点xに対して f(x) ≒ 0 となるような 多項式 f の集合
5.
分類問題における応用 • クラスごとの訓練データ集合にVCAを行 う – データ点が「ほとんど零」になる多項式の集 合が得られる(クラスごとに) (ほぼ)線形分離できる!あとはこのデータで.. ≒零殆ど非零 13/07/09
Vanishing Component Analysis 5 p1 p2 クラス2 の事例 I(Sm1) I(Sm2) fで評価 クラス1 の事例 x x x x x x x x x x x x x x x 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 x x x x x x x x x x x x x x x 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 f2 f2 f1 f1
6.
準備(あまり要らないかも) • 単項式(Monomials) •
多項式 (Polynomials) αは正の整数,データ点のxとごっちゃになるので スライドでは単に p と書くことも • 多項式環 – 有限次数で,かつ積,和 が定義できる多項式全体 の集合 • イデアル(Ideal) – 集合の中の要素に何をかけ ても,元の集合に戻る性質 (吸収律)を持った多項式 の集合 • 零化イデアル(Vanishing Ideal) – データ点集合 S が与えられた とき,f(x) = 0 (x ∈ S)が成り 立つような多項式の集合 – I(S) と表記 13/07/09 Vanishing Component Analysis 6
7.
Problem Setup • n次元の点集合
Sm が与えられる • このもとで,零化イデアル I(Sm)の生成多 項式集合を求める – ややこしいが,Smのすべての要素に対して f(x) = 0 になるような多項式 f の集合を求める, と思ってよい • Smの要素を「ほとんど」零化(ε-許容) – exactな計算は現実的ではない – データ点にはノイズが乗っている点を考慮 13/07/09 Vanishing Component Analysis 7
8.
シンプルな方法(1) • 生成多項式の次数の上限をDに制限, m
個のデータ点 • D次までの単項式の集合をTとして, – 行列A (m*|T|) を考える( |T| は指数的に増大) – Aij = tj(xi) • tj = 単項式集合Tのj番目の要素, xi = データ点 A = 1 p1(x1) p2(x1) p1 2(x1) p2 2(x1) p1p2(x1) ・・・ p|T|(x1) 1 p1(x2) p2(x2) p1 2(x2) p2 2(x2) p1p2(x2) ・・・ p|T|(x2) ・・・ 1 p1(xm) p2(xm) p1 2(xm) p2 2(xm) p1p2(xm) ・・・ p|T|(xm) 13/07/09 Vanishing Component Analysis 8 p1 p2
9.
シンプルな方法(2) • あとはSVD • しかし・・・ –
O(nD)で行列Aが大きくなるので現実的ではない • n:変数の数, D:次数の上限 – この方法で抽出される多項式には冗長性がある • 例)p1, p2, が含まれる場合, p1, p2, p1 2, p2 2, p1p2,… • イデアルの持つ吸収律を考慮していないため(省略) 図の出典 : http://www.cs.iastate.edu/~cs577/handouts/svd.pdf 零または非常に小さい(< ε)特異値に対応する特異ベクトル => 対応する単項式の係数( Proposition 3.1 ) 13/07/09 Vanishing Component Analysis 9 m : データ数 n : 単項式集合のサイズ(|T|) (零空間の基底)
10.
Vanishing Componentの効率的生成 • 小さい次数のものから探索的に生成 •
いくつかの集合 – F : non-vanishingな多項式 • 次数を上げることでvanishingになる可能性がある – V : vanishingな多項式 ,C : 候補集合 • (おおざっぱに言うと)以下の繰り返し – 候補集合Cの 直交基底 を求める(using SVD) • C の要素を F or Vに「仕分ける」 • 特異値が大きい -> F , 特異値が小さい -> V – 一次上げた C を生成 13/07/09 Vanishing Component Analysis 10
11.
初期化 最初の候補集合を生成(1次式) 候補集合の仕分け 仕分けた結果をマージ 繰り返し・・・ 1次上げた候補集合を生成 候補集合が空(Ft-1=0)なら終 候補集合の仕分け マージ 13/07/09 Vanishing Component
Analysis 11 VCAアルゴリズムの流れ
12.
候補集合の仕分け 13/07/09 Vanishing Component
Analysis 12 Cの要素をFの空間に写像 単項式をデータで評価した 行列を作り直交基底を求める 基底を用いて多項式を生成 特異値が大きい要素F に追加 特異値が小さい要素V に追加
13.
VCAアルゴリズムの流れ 13/07/09 Vanishing Component
Analysis 13 C = [x1,x2,x3] F0 = [定数] V0 = [] C = [p1,p2,p3] 互いに直交(1次) F1 = [定数,p1,p2] {f : ε > Dii}を追加 V1 = [p3] {f : ε ≦ Dii}を追加 SVD C = [p12,p1p2,p22] F1 = [定数,p1,p2] V1 = [p3] 1次 2次 C = [g1,g2,g3] F2 = [定数,p1,p2,g1,g2] V2 = [p3,g3] C = [g1p1,g2p1,g2p2] F2 = [定数,p1,p2,g1,g2] V2 = [p3,g3] C = [h1,h2,h3] F3 = [定数,p1,p2,g1,g2,h1,h2] V3 = [p3,g3,h3] 3次 直交(2次の成分を含む) 直交(3次の成分を含む) ・・・ C = [] F = [定数,p1,p2,g1,g2,h1,h2,…] V = [p3,g3,h3,…] ※Fの要素が増えなくなったら終了 (最大)m次 SVD SVD C : 候補多項式の集合 F : non-vanishingな多項式の集合 V : vanishingな多項式の集合 FindRangeNull C : F1 × Ft-1
14.
なぜ多項式の「集合」か 13/07/09 Vanishing Component
Analysis 14 平面と円筒の交差 平面を表す1次式,円筒を表す2次式 の組み合わせでデータ点を記述できる たぶん,低次のほうがロバスト(低い次数で記述できるならそのほうが良い) p1+p2+p3-定数=0 p1 2+p2 2+p3-定数=0 ※図は原著者のスライドより引用
15.
アルゴリズムの性質 • Theorem 5.1
: どのようなεに対しても – t ≦ m+1 ステップで終了 – 多項式の最大次数は m – |F| ≦ m かつ |V| ≦ |F|2・min{|F|・n} • 「次元削減」される訳ではない • Theorem 5.2 : ε=0の場合 – Smの全ての点をVanishする • Theorem 7.1 : Feature Extraction – この生成多項式集合を用いて特徴量抽出をおこな うと,「線形分離できる」ことが保証される • あくまでも Training Data に対しての保証 13/07/09 Vanishing Component Analysis 15
16.
分類問題における応用(再掲) • クラスごとの訓練データ集合にVCAを行 う – データ点が「ほとんど零」になる多項式の集 合が得られる(クラスごとに) (ほぼ)線形分離できる!あとはこのデータで.. ≒零殆ど非零 13/07/09
Vanishing Component Analysis 16 p1 p2 クラス2 の事例 I(Sm1) I(Sm2) fで評価 クラス1 の事例 x x x x x x x x x x x x x x x 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 x x x x x x x x x x x x x x x 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 f2 f2 f1 f1
17.
実験 • 多項式カーネルSVM(KSVM) vs
VCA+線形SVM • 各種データセットでKSVMに対してCompetitive – パラメータ : KSVM(degree,C), VCA(ε,用いる最大次数,C) はCVで 決定 • 分類時間において,KSVMに対して2桁高速 – KSVM(SVの数) – VCA(numberof operation needed to compute the vanishing component) 13/07/09 Vanishing Component Analysis 17 ちなみに,MNistのstate of the artは0.4とかのようです(DBM+Dropout) 単純に比べて 良いのかは謎
18.
感想 • Theorem 7.1
が強烈(どんなデータでも完全に線形分離できる) – ただ,各ステップでSVDに突っ込むのでそこそこ重そう – カーネルとはまったく異なるアプローチで新鮮 • 知りたかったこと – Kernel PCAとの比較,VCA自体の計算時間,高次元での挙動(高次の項がoverfitしそう) – ジャーナル版に期待 (代数幾何,勉強しときます・・・ • 今後の展開(素人考えです) – 何らかの正則化 • 集合のサイズ,次数,係数等にペナルティをかけるなど,複雑さを抑える – ε−許容に正規分布を仮定している? • このへんを確率的に取り扱う方向性もありそう(ベイジアンの皆さん!) – 教師あり/半教師あり化 • あるクラスの事例は零化,他クラスの事例は零化しない,という条件を積極的に 入れる ( max margin的な.Vapnik教徒の皆さん! ) • 応用 – NLP : Parsing, Relation Extraction, etc… (高次の多項式カーネルが有用) – Deep Learningに組み込む動きもあるらしい(第一著者のプレプリント参照) 13/07/09 Vanishing Component Analysis 18 Matlab implementation is available here ! http://www.cs.huji.ac.il/~rlivni73/
19.
付録 • 多項式から生成したデータでの実験(横軸:データ数) – 破線:training
error, 実線 : test error 13/07/09 Vanishing Component Analysis 19 やっぱりoverfitしてそう?
Télécharger maintenant