Ce diaporama a bien été signalé.
Nous utilisons votre profil LinkedIn et vos données d’activité pour vous proposer des publicités personnalisées et pertinentes. Vous pouvez changer vos préférences de publicités à tout moment.
Deep Learning for
Extreme Multi-label Text Classification
Jingzhou Liu, Wei-Cheng Chang, Yuexin Wu, Yiming Yang
SIGIR 2017...
Outline
• Summary
• What is Extreme Multi-label Classification?
• Related work
• Proposed method “XML-CNN”
• Dynamic Max P...
Summary
• 一言で言うと

大量なラベルを扱って分類を行うextreme multi-label text
classification (XMTC)において、CNNを用いた分類を行った。
• 新規性・差分

このタスクにおいてDeep...
What is Extreme Classification?
• 100,000~1,000,000にも及ぶ大量のクラス・ラベルで

分類するタスク
!4
How to solve

Extreme Multi-label Classification?
• Target-embedding method

推定するラベルを低ランクに近似できると仮定して分類を行う。

低ランクへの圧縮方法の違いな...
How to solve

Extreme Multi-label Classification?
• Tree−based Ensemble method

従来の決定木のような手法を用いるが、単一の値 (ここではラベル)
を算出するためでは...
Related work
• CNN-Kim

Convolutional Neural Networks for Sentence Classificationにて提
唱されたCNNによる文分類手法。提案手法のベースとなっている。
!7
Proposed method “XML-CNN”
• Key attributes
• Dynamic Max Pooling
• Loss Function
• Hidden Bottleneck Layer
!8
Dynamic Max Pooling
• max-over-time pooling

feature mapごとに最も大きな要素を素性
として用いる。欠点として、文長が長い場
合に問題が起きやすく、最も大きな要素の
位置に関する情報を保持し...
Loss Function
• マルチラベル問題における損失関数

分類で良く用いられているsoftmax関数+cross-entropy lossでは
なく、提案手法においてはsigmoid関数+binary cross-entropy
lo...
Hidden Bottleneck Layer
• Dynamic max pooling層とoutput層
の間に、それらより小さいユニット
数を持つ層「Hidden Bottleneck
Layer」追加する。
理由
1. XMTCではDy...
Experiments
• Datasets
• Evaluation Metrics
• Main Results
• Ablation Test
• Efficiency and Scalability
!12
Datasets
• Deep系手法については訓練データの25%をvalidation set、

残り75%をtraining setとして利用。
!13
訓練
データ数
テスト
データ数
特徴量
次元数
クラス
ラベル数
文書あたり
平均ラ...
Evaluation Metrics
• マルチラベル分類の性能を測る指標で計測
• Precision at top k (P@K)

推定結果上位k個について、どれだけ正解しているかを示す指標。
• Discounted Cumulated...
Main Results - P@K
!15
Main Results - NDCG@K
!16
Ablation Test
• key attributeのそれぞれが性能向上への寄与を確認
• v1 loss function
• v2 loss function + hidden layer
• v3 loss function + h...
Efficiency and Scalability
• Efficiency

計算機のスペックが手法によってことなるため単純に比較できないが、

処理効率の実験を行った。
• CPU (Non Deep系手法)

Intel Xeon CP...
Efficiency and Scalability
• Scalability

各手法において、カテゴリ数の変化に
応じて学習時間がどのように推移する
かを計測。Wiki500Kのカテゴリ数を

1, 5, 10, 25, 50%でサンプリ...
Conclusion
• extreme multi-label text classificationにおいてdeep
learningを用いた結果、6つのベンチマークにおいて1,2位
の性能を示した
• dynamic max poolin...
My Question
• Dynamic max pooling
• filterを一つづつずらしていないが、contextualな情報を獲得で
きているのか?
• Convolution
• Workshop on Extreme Clas...
References
• Jingzhou Liu, Wei-Cheng Chang, Yuexin Wu, Yiming Yang. 2017. Deep Learning
for Extreme Multi-label Text Class...
Appendix
• メモリ使用量試算
!23
Prochain SlideShare
Chargement dans…5
×

Deep learning for_extreme_multi-label_text_classification

2018/06/06 arXivtimes論文輪講資料

  • Soyez le premier à commenter

Deep learning for_extreme_multi-label_text_classification

  1. 1. Deep Learning for Extreme Multi-label Text Classification Jingzhou Liu, Wei-Cheng Chang, Yuexin Wu, Yiming Yang SIGIR 2017 arXivtimes論文輪講 Kamujun
  2. 2. Outline • Summary • What is Extreme Multi-label Classification? • Related work • Proposed method “XML-CNN” • Dynamic Max Pooling • Loss function • Hidden Bottleneck Layer • Experiments • Conclusion !2
  3. 3. Summary • 一言で言うと
 大量なラベルを扱って分類を行うextreme multi-label text classification (XMTC)において、CNNを用いた分類を行った。 • 新規性・差分
 このタスクにおいてDeep learningを適用した点と、
 多くのベンチマークにおいて従来手法との比較を行った結果、
 提案手法が1番もしくは2番目の性能を示した。 • 手法 • 結果 • コメント
 →このあとのスライドにて説明 !3
  4. 4. What is Extreme Classification? • 100,000~1,000,000にも及ぶ大量のクラス・ラベルで
 分類するタスク !4
  5. 5. How to solve
 Extreme Multi-label Classification? • Target-embedding method
 推定するラベルを低ランクに近似できると仮定して分類を行う。
 低ランクへの圧縮方法の違いなどで様々な手法が考案されており、
 SLEECなどがある。 !5 Z = Uy Z = Vx y = U† Vx U : compression U† : decompression y Z y V x train & predict x :feature vector (d-dimensional) y : L-dimensional label vector Z : L ^ -dimensional label vector V ,U,U† :regressor
  6. 6. How to solve
 Extreme Multi-label Classification? • Tree−based Ensemble method
 従来の決定木のような手法を用いるが、単一の値 (ここではラベル) を算出するためではなく超平面で分割できるように学習を進める。
 FastXMLなどの手法がある。 !6 https://www.iitk.ac.in/tkic/workshop/Big-Data/ppt/extreme_calssification_purushottam.pdf
  7. 7. Related work • CNN-Kim
 Convolutional Neural Networks for Sentence Classificationにて提 唱されたCNNによる文分類手法。提案手法のベースとなっている。 !7
  8. 8. Proposed method “XML-CNN” • Key attributes • Dynamic Max Pooling • Loss Function • Hidden Bottleneck Layer !8
  9. 9. Dynamic Max Pooling • max-over-time pooling
 feature mapごとに最も大きな要素を素性 として用いる。欠点として、文長が長い場 合に問題が起きやすく、最も大きな要素の 位置に関する情報を保持していない。 • Dynamic Max Pooling
 フィルター毎に一つの要素を取る代わりに、 複数の素性を用いる。具体的にはm次元の feature mapをp個のチャンクにする。チャ ンクとする際には最も大きい要素を用いる。 その結果1つのフィルターでp次元のfeature が得られる。(mはpで割り切れる必要あり) 
 !9
  10. 10. Loss Function • マルチラベル問題における損失関数
 分類で良く用いられているsoftmax関数+cross-entropy lossでは なく、提案手法においてはsigmoid関数+binary cross-entropy loss(BCE)を用いる。マルチラベル問題ではBCEを用いたほうがよ い性能を示す研究が報告されているため。 !10
  11. 11. Hidden Bottleneck Layer • Dynamic max pooling層とoutput層 の間に、それらより小さいユニット 数を持つ層「Hidden Bottleneck Layer」追加する。 理由 1. XMTCではDynamic max pooling層と output層のユニット数が多いため、これ らを直接つなぐとモデルサイズが大きく なる(O(pt×L))。この仕組を入れると O(h×(pt+L))とすることができる。
 2. Hidden Bottleneck Layerがないと、非 線形な隠れ層1層のみになるため、文書 の表現力や分類性能が不十分である。
 !11 p :dimension of dynamic max pooling layer t : number of filter L:dimension of output layer h: dimension of hidden bottlneck layer
  12. 12. Experiments • Datasets • Evaluation Metrics • Main Results • Ablation Test • Efficiency and Scalability !12
  13. 13. Datasets • Deep系手法については訓練データの25%をvalidation set、
 残り75%をtraining setとして利用。 !13 訓練 データ数 テスト データ数 特徴量 次元数 クラス ラベル数 文書あたり 平均ラベル数 ラベルあたり 平均文書数 訓練データ 平均単語数 テストデータ 平均単語数
  14. 14. Evaluation Metrics • マルチラベル分類の性能を測る指標で計測 • Precision at top k (P@K)
 推定結果上位k個について、どれだけ正解しているかを示す指標。 • Discounted Cumulated Gains at top k (DCG@K)
 推定結果上位k個まで各ランクの正答を測る。上位が正解するほど高得 点。 • Normalized Discounted Cumulated Gains at top k (NDCG@K)
 DCG@Kを正規化した指標。0~1で表現。 !14 1st 2nd 3rd 4th 5th P@3= 1 3 ≈ 0.33 P@5 = 3 5 = 0.6 NDCG@3= 1 log2 (1+1) + 0 log2 (1+ 2) + 0 log2 (1+ 3) log2 (1+1) + log2 (1+ 2) + log2 (1+ 3) ≈ 1 1 + 0 1.58 + 0 2 1 1 + 1 1.58 + 1 2 ≈ 0.46
  15. 15. Main Results - P@K !15
  16. 16. Main Results - NDCG@K !16
  17. 17. Ablation Test • key attributeのそれぞれが性能向上への寄与を確認 • v1 loss function • v2 loss function + hidden layer • v3 loss function + hidden layer + max pooling layer (=XML-CNN) !17
  18. 18. Efficiency and Scalability • Efficiency
 計算機のスペックが手法によってことなるため単純に比較できないが、
 処理効率の実験を行った。 • CPU (Non Deep系手法)
 Intel Xeon CPU E5-2630v3, 2.40GHz, 192GB memory • GPU (Deep系手法)
 Nvidia GTX TITAN X !18
  19. 19. Efficiency and Scalability • Scalability
 各手法において、カテゴリ数の変化に 応じて学習時間がどのように推移する かを計測。Wiki500Kのカテゴリ数を
 1, 5, 10, 25, 50%でサンプリングして 実施。ただし、サンプルしたカテゴリ データに関連するデータのみ利用する ため、カテゴリ数が増えるほど訓練デー タ数も増える。
 
 SLEEC, Bow-CNN, PD-Sparseでは、メ モリ不足で実験が途中までしか行えな かった。(これまでの実験でSLEECが処 理できていたのはすべての特徴量を利 用していたのではなく5000次元まで 削減していたため。) !19
  20. 20. Conclusion • extreme multi-label text classificationにおいてdeep learningを用いた結果、6つのベンチマークにおいて1,2位 の性能を示した • dynamic max poolingによって豊富な情報量の取扱い, binary cross-entropy lossによるmulti-label問題への対応, hidden bottleneck layerによるモデルサイズの削減を
 実現した !20
  21. 21. My Question • Dynamic max pooling • filterを一つづつずらしていないが、contextualな情報を獲得で きているのか? • Convolution • Workshop on Extreme Classification at NIPS 2017で
 発表された資料ではword embedding方向にfilterを
 スライドさせていたが、論文の図と異っている?(6:46~)
 →SIGIRに投稿されてからNIPSで発表するまでに手法の改良が 行われたよう。文書中全体の単語を考慮した特徴を用いたい
 ねらいがあるよう。 !21
  22. 22. References • Jingzhou Liu, Wei-Cheng Chang, Yuexin Wu, Yiming Yang. 2017. Deep Learning for Extreme Multi-label Text Classification • Yoon Kim. 2014. Convolutional Neural Networks for Sentence Classification • Extreme Classification 2017: Deep Learning Approach for Extreme Multi-label Text Classification • eXtreme Classification !22
  23. 23. Appendix • メモリ使用量試算 !23

×