10. DeViSE
Deep CNN (Supervision)
回帰レイヤー
画像
ラベル
SkipGram (word2vec)
1. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. Ranzato, T. Mikolov.
DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013.
10
埋め込み
ベクトル
11. DeViSE
Deep CNN (Supervision)
回帰レイヤー
画像
ラベル
Hinge
rank loss
SkipGram (word2vec)
1. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. Ranzato, T. Mikolov.
DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013.
11
埋め込み
ベクトル
13. 実験
1. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. Ranzato, T. Mikolov.
DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013.
13
14. 実験
普通の分類の結果
1. Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. Ranzato, T. Mikolov.
DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013.
14
15. その後: convex combination of semantic
embeddings (ConSE)
l
M. Norouzi+, Zero-‐‑‒Shot Learning by Convex Combination of
Semantic Embeddings, ArXiv 1312.5650v2
–
ほぼ同じ⼈人たちのプレプリント
–
ICLR2014に提出中 (open review)
–
回帰レイヤーを学習せずに、Supervisionのtop-‐‑‒kラベルスコアを使って、対
応する埋め込みベクトルを予測スコアで重み付けした平均値を出⼒力力する
–
過学習を回避(zero-‐‑‒shot labelに対する精度度がより⾼高い)
l
DeViSEは教師ラベルに過適合している
15
17. 参考⽂文献
1.
Frome, G. S. Corrado, J. Shlens, S. Bengio, J. Dean, M. Ranzato, T. Mikolov.
DeViSE: A Deep Visual-Semantic Embedding Model. NIPS 2013.
2.
A. Krizhevsky, I. Sutskever, G. Hinton.
ImageNet Classification with Deep Convolutional Neural Networks. NIPS 2012.
3.
H. Larochelle, D. Erhan, Y. Bengio.
Zero-data Learning of New Tasks. AAAI 2008.
4.
M. Norouzi, T. Mikolov, S. Bengio, Y. Singer, J. Shlens, A. Frome, G. S. Corrado, J. Dean.
Zero-Shot Learning by Convex Combination of Semantic Embeddings. ArXiv 1312.5650.
5.
R. Socher, M. Ganjoo, H. Sridhar, O. Bastani, C. D. Manning, A. Y. Ng.
Zero-Shot Learning Through Cross-Modal Transfer. ICLR 2013.
17