Contenu connexe
Similaire à [DL輪読会]xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems(KDD2018) (16)
Plus de Deep Learning JP (20)
[DL輪読会]xDeepFM: Combining Explicit and Implicit Feature Interactions for Recommender Systems(KDD2018)
- 1. DEEP LEARNING JP
[DL Papers]
“xDeepFM: Combining Explict and Implicit Feature
Interactions for Recommendation (KDD2018)”
Yoshifumi Seki, Gunosy
http://deeplearning.jp/
- 2. 書誌情報
● タイトル: xDeepFM: Combining Explict and Implicit Feature Interactions for
Recommendation
● 著者: Jianxum Lian*1, Xiaohuan Zhou*1, Fuzheng Zhang*2, Zhongxia Chen*1,
Xing Xie*2, Guangzhong Sun*1
○ *1 University of Science and Technology of China
○ *2 Microsoft Research
● 投稿先
○ KDD2018
● 選定理由
○ Factorization Machinesの深層学習周りでの発展に関心あり
○ Explict and Implicit Feature Interactionsというキーワードがよくわからなかったので。
2
- 4. Factorization Machines(FM) [S. Rendle, ICDM2010]
● 変数の交互作用を表現した回帰モデル
○ 例えば「男性」かつ「10代」といった特徴に重みをもたせたい
○ すべての組み合わせを学習させようとすると死ぬ
○ そこで、交互作用の重みを内積で表現するようにした
● Kaggleの広告コンペのChampionモデルとして何度か使われたことで広く知られる
ようになった
● 一般にFMというとこの定義だが、これは厳密には2nd-order FMである
○ 2次の交互作用のみ扱っている
○ 高次の交互作用を扱うモデルも最近提案されている[Blondel+, NIPS2016]
■ 一方で3次程度までしか精度向上は確認できていない
■ ノイズの影響で高次ではきついと言われている[Xiao+, IJICAI2017] 4
- 5. DeepなFactorization Machines
● Categorical変数のEmbedding (bit-wiseなfactorization)
○ Factorization-machine suppoerted Neural Network (FNN) [Zhang+, ECIR2016]
○ Deep Crossing Network (DCN) [Shan+, KDD2016]
○ Wide & Deep [Cheng+, arXiv:1606.07792 (2016)]
● vector-wiseなfactorization
○ Product-based Neural Network (PNN) [Qu+, ICDM2017]
○ DeepFM [Guo+, IJICAI2017]
● explicitな高次元のinteraction
○ Deep Cross Network (DCN) [Wang+, ADKDD2017]
5
- 7. Deep Crossing Network (DCN) [Shan+, KDD2016]
● FNNとほぼ同じ。違いは上に積んでいるのがResNetであること。
● 一方で引用数はFNNのほうが多い。FNNは57, DCNは38
○ FNNがオープンデータで検証したのに対して、DCNはプライベートなデータで検証されていた。
7
- 8. Wide & Deep [Cheng+, arXiv:1606.07792 (2016)]
● Wide (線形モデル) とDeepなモデルをそのままくっつけてる
○ TensorFlowに実装が載っている
● Deepなモデルは低次の特徴を学習しにくいので、くっつけてあげる
● (私見) データ少ない入力とかでも効きそう
8
- 11. Product-based Neural Network (PNN) [Qu+, ICDM2017]
11
● IPNN: inner product
● OPNN: outer product
● PNN*: inner + outer
● 明示的に2次の交互作用をDNNに入力したほうが良い結果になっている
- 12. DeepFM [Guo+, IJICAI2017]
● PNNと違って、Factorizationの上にネットワークを積まない
● FactorizationはシンプルにFMの式と一緒(embed+backpropされるだけ)
● 別途でDNNを用意してつなげる (Wide & Deep)
12
- 13. DeepFM [Guo+, IJICAI2017]
● PNNよりWide & Deep的なアーキテクチャのほうが良い精度になってる
○ つまりFactorizationの上に積むより、積まないほうがよい?
● bit-wiseな学習とvector-wiseな学習の組み合わせが重要?
13
- 14. vector-wiseなfactorization
● vector-wise > bit-wiseという結果
● 一方でvector-wiseでも積んで高次にしてもあまりよくならない?
○ PNNよりFMをwide & deepにしたほうが良くなってるの辛い
● 高次にするときにどこで高次にしているのかが明確ではない
○ implicitなhigh-order interaction
○ これをexplicitなものにできないか?
14
- 15. Deep Cross Network (DCN) [Wang+, ADKDD2017]
● x0が各Layerに常にかかる => Attentionっぽさがある
● vectorizeはされていない 15
- 16. Deep Cross Network (DCN) [Wang+, ADKDD2017]
● DCN (表ではDC), FNN (表ではDNN)と比較して改善している
○ 論文でW&Dと比較するって書いてあるのに結果では比較してない
● 各層をx_0とのスカラー積で表現できる
○ Pros: Feature Interactionを効率的に学習できる
○ Cons: x_0とのスカラー積という特殊な形にしか使えない
● bit-wiseなinteractionしかしてない
16
- 20. eXtreme Deep Factorization Machines (xDeepFM)
● Liner + CIN + DNNの組み合わせ
○ CIN: explicitな高次元インタラクション (vector-wise)
○ DNN: implicitな高次元インタラクション
20
- 21. Experiments
● 3つの課題を検証したい
○ (1) CINは高次元のインタラクションを学習できているか?
○ (2) implicitとexplicitの組み合わせは有効か?
○ (3) xDeepFMのパラメータはどのようにチューニングするか?
■ この発表では触れない
● データセット
○ Criteo
■ 公開データ
○ Dianping
■ 中国のレストランレビューサイト、著者らが収集
○ Bing News
■ 内部データ
21
- 26. 感想
● FMをこの機会にがっつり調べて勉強になった
○ これまで画像とかテキスト系の研究ばっかりみてたのでWide & Deepみたいなノリの話あんまり知ら
なくてそういうのもあるのかという気持ちになった
● Factorizationを明示的にやったほうがDeepでも良いのは意外
○ CNNは画像の近傍に重要な情報があるという事前知識をいれているし、RNNは語順が大事という知
識をいれている
○ カテゴリカルな変数は組み合わせが大事という情報をいれるのは十分に妥当性があるし、それで精度
があがるのは納得感がある
● もしデータと計算資源が無限にあればシンプルなDNNのほうが強くなったりするんだ
ろうか
26