[DL Hacks]Adversarial Personalized Ranking for Recommendation
•
2 j'aime•2,068 vues
2019/01/17 Deep Learning JP: http://deeplearning.jp/hacks/
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
AdversarialPersonalized Ranking for Recommendation
電気通信大学 3年 西村卓真](https://image.slidesharecdn.com/190117dlhacksaprnishimura-190201071952/85/dl-hacksadversarial-personalized-ranking-for-recommendation-1-320.jpg)
Recommandé
Recommandé
Contenu connexe
Similaire à [DL Hacks]Adversarial Personalized Ranking for Recommendation
Similaire à [DL Hacks]Adversarial Personalized Ranking for Recommendation (10)
Plus de Deep Learning JP
Plus de Deep Learning JP (20)
Dernier
Dernier (9)
[DL Hacks]Adversarial Personalized Ranking for Recommendation
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ AdversarialPersonalized Ranking for Recommendation 電気通信大学 3年 西村卓真
- 2. 目次 • 書誌情報 • 関連研究 • 提案手法 • 実験 • 実装 • まとめ、感想
- 3. 目次 • 書誌情報 • 関連研究 • 提案手法 • 実験 • 実装 • まとめ、感想
- 4. 書誌情報 • 論文名： Adversarial Personalized Ranking for Recommendation SIGIR 2018 • 著者： Xiangnan He, Zhankui He, Xiaoyu Du, Tat-Seng Chua • 背景： MF-BPRだけでは、一般化において大きな誤差がある。 • 概要： MF-BPRに敵対的学習を適用し、汎化性能を向上、精度も約10%向上
- 5. 目次 • 書誌情報 • 関連研究 • 提案手法 • 実験 • 実装 • まとめ、感想
- 6. 関連研究 • アイテムレコメンデーション - 協調フィルタリング - MF(Matrix Factorization) - BPR(Bayesian Personalized Ranking)
- 8. Matrix Factorization • 評価値行列をXとする。 Ø行はUser、列はアイテムに対応し、ある行列の成分X"#はユーザ u がアイテム i に対して下した評価になっている。 • 評価値行列を分解し、ユーザー、アイテムの特徴量行列を算出 • ユーザー、アイテムの特徴量行列から、未知の評価値を算出 X items users ≈ W ・ factors users factors items H(
- 9. BPR(Bayesian Personalized Ranking) 概要 • Personalized Rankingとは ユーザごとの趣味趣向のランキングのこと • BPRとは Personalized Rankingを解くための枠組み ※ MF-BPRとは Matrix FactorizationにBPRを適用したもの X items users ≈ W・ factors users factors items H# BPR
- 10. BPR(Bayesian Personalized Ranking) • 学習方法 ① ：パラメーターを初期化 ② ：以下を収束するまで繰り返す 1. データをサンプリング 2. パラメータΘを更新 Θ = ($, &)
- 11. BPR(Bayesian Personalized Ranking) 1. データのサンプリング 全てのデータを用いるのは不可能なのでサンプリング !, #, $ ：ユーザ!はアイテム$よりアイテム#を好む ユーザーuが好きな アイテムの集合 ユーザーuが好きでは ないアイテムの集合
- 12. 2. パラメーター(W, H)の更新 • !"#$を最大化する。 • 1、2を繰り返す。 !"#$ = & ((,*,+)∈./ ln 2 3(4* 5 − 3(4+ 5 − λ8 3 9 − λ: 4 9 Θ = (3, 4)Θ ← Θ − α >!"#$ >Θ 好きなアイテムと、そう でないアイテムに関する 予測値の差を大きくする ように学習 BPR(Bayesian Personalized Ranking)
- 13. 目次 • 書誌情報 • 関連研究 • 提案手法 • 実験 • 実装 • まとめ、感想
- 14. 提案手法 [AMF(Adversarial Matrix Factorization)] • 学習方法 ① ：BPRでパラメーターを初期化 ② ：以下を収束するまで繰り返す 1. データをサンプリング 2. Δ"#$を計算 3. パラメータを更新
- 15. 提案手法 [AMF(Adversarial Matrix Factorization)] • 目的関数 !"#$を最小化 (!%#$ ) パラメーターΘにΔ()*を加える Δ()*は、 !%#$を最大にするような値 !"#$ + Θ = !%#$ + Θ + λ!%#$(+|Θ + ∆()*) 3ℎ565 ∆()*= arg max ∆, ∆ => !%#$ +|?Θ + ∆
- 16. 目次 • 書誌情報 • 関連研究 • 提案手法 • 実験 • 実装 • まとめ、感想
- 17. 実験設定 [データセット] デデーータタセセッットト 名名 ユユーーザザーー数数 アアイイテテムム数数 デデーータタ存存在在率率 説説明明 Yelp 25,677 25,815 99.89% 雑多な商品推薦。 あるユーザーが商品をレ ビューしたら１、してな ければ0。 Pinterest 55,187 9,916 99.73% 画像推薦。あるユーザー が画像を見たら１、見て いなければ0 Gowalla 54,156 52,400 99.96% 場所の推薦。あるユー ザーがチェックインして いれば1, していなけれ ば0
- 18. 実験設定 [評価指標] • 学習用データに使用していない、項目をユーザーごとにランク付けし それを以下の指標で評価。 評価指標 説明 Hit Ratio • 再現率に基づく指標 • テストアイテムが上位Kリストに含まれいる か • 高いほど良い NDCG • 良いランキングかどうか • ユーザーが嗜好したアイテムを下位に予測す るほど、ペナルティが加えられる。 • 高いほど良い
- 20. 実験② [embedding sizeの検証] • Embedding sizeが大きいほど、AMFの効果は大きい。
- 21. 実験③ [敵対的摂動を加えた時の影響] • εは敵対的摂動の強さ • BPRを使用したモデルより、敵対的摂動に対して敏感でなくなる。 • モデルがBPRより優れた汎化能力があることを示している。
- 22. 実験④ [性能比較] • AMFはほとんどのタスクにおいて最良の結果を達成 Ø最先端のパフォーマンスを実現 • ディープラーニングを適用したNeuMFより、AMFの方がパラメータ が圧倒的に少ない Ø AMFの方が有用
- 23. 実験⑤ [ハイパーパラメーターによる影響] • 0.5あたりがもっとも良い精度。 • 大きくしすぎると性能が低下 Ø 学習プロセスが崩壊するため !: 敵対的摂動の強さ • 1あたりがもっとも良い精度 • 1より増加させても、あまり変化 しない。
- 24. 目次 • 書誌情報 • 関連研究 • 提案手法 • 実験 • 実装 • まとめ、感想
- 25. 実装 • 著者実装 https://github.com/hexiangnan/adversarial_personalized_ranking - tensorflow, python2.7 • 実装 https://github.com/lonlyness/APR ØPytorchで実装 ØAPRの学習が上手くいっていません。
- 26. 目次 • 書誌情報 • 関連研究 • 提案手法 • 実験 • 実装 • まとめ、感想
- 28. 参考文献 • Adversarial Personalized Ranking for Recommendation∗ https://arxiv.org/pdf/1808.03908.pdf https://github.com/hexiangnan/adversarial_personalized_ranking • Bayesian Personalized Ranking from Implicit Feedback https://arxiv.org/pdf/1205.2618.pdf • IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models https://arxiv.org/pdf/1705.10513.pdf • https://techblog.zozo.com/entry/2016/07/01/134825 • https://service.plan-b.co.jp/blog/tech/9461/