material for a self study meeting at Gunosy office.

1. RecSys2013読み会
「To Personalize or Not:
A Risk Management Perspective」
2013/11/16 @Gunosy
礒部 正幸

2. アブストラクト
• 推薦システムにおいてパーソナライズ機能は多く実
装されてるが、パーソナライズしないほうがいい場
合もある。（その場合は全体傾向で推薦したほうがいい）
– パーソナライズするシステムはデータが少ない場合には
バイアスは小さくてもレレバントじゃなかったりする
• ポートフォリオ理論を応用して、パーソナライズあり
／なしそれぞれのアウトプットのリスクとリターンを
評価したい
• パーソナライズあり／なしの切り替えアルゴリズムを
提案し、パフォーマンス向上したことを示す
– そして、パーソナライズすべきでない例を理論的な裏付け
と共に示す

3. 1. イントロダクション
• 協調フィルタリングはパーソナライズの観点を含んでいるうえ
にパフォーマンスも良いことが分かってる
• けどパーソナライズしないほうがいいケースについての研究
報告もある
• 学習モデルの観点では、パーソナライズはユーザの好みを
予測するバイアスを縮小するけど、バリアンスを増大させる
のでパーソナライズが必勝である保証はない
– 参考）バイアスとバリアンスの定性的説明＠アドファイブ日記
• そういう学術的関心と、製品応用を見越したパーソナライズ
するしないの判定アルゴリズムを、ポートフォリオ理論を応用
してやりたい
– さらに、ベースとなる推薦ンシステムが出すランキングリストを再編成
する方法も提示する

4. 2. 関連研究
• 協調フィルタリングは、メモリベース、モデルベースの２つに
大別される
– Latent factor modelが最近よく研究されている
• パーソナライズ手法についてもよく研究されてるが、いつ
パーソナライズすべきかの研究はあまりない
– 情報検索についての研究はあるが、推薦システムは「クエリ」に相当
するものが無いので、話が異なる
– 推薦項目の「全体的な人気」が推薦精度に与える影響についての研
究はあるが、そこではパーソナライズすべきかどうかの知見は得られ
ていない
• 情報検索の研究では最近ポートフォリオ理論を応用して、リスク（検索結
果を無視されること）を低減させる研究がおこなわれている
• 推薦システムではリスク低減はとても重要であり、協調フィル
タリングにポートフォリオ理論で計算したリスクを考慮して推
薦する研究もあるがそれは推薦結果の多様性が目的で、結
果を無視されるリスクを低減させる目的の研究が無い

5. 3.1 推薦とポートフォリオ理論の関係のイメージ
（B）
（A）
・ユーザ反応について、縦軸が平均（リワード）で、横軸が分散（リスク）
・（A）のように推薦対象アイテム一個ずつに平均と分散が付いてる
・各アイテムに推薦度を付与して組み合わせることで（B）というポート
フォリオ（＝推薦結果）が得られ、それについても平均と分散が付く
・平均を一つ決めたとき、分散が最小になる点を効率的フロンティアと呼ぶ
→ 右図の黒実線
ちなみに、アイテムどうしの共分散成分がまちまちなせいで左に凸になる

6. 3.1 推薦におけるリスク分析の定式化（１）
nはアイテム数
Pはポートフォリオ（推薦結果）
wiはアイテムiの推薦度
uはユーザ
rui はユーザuのアイテムiへの反応
→ 平均μ（n次元ベクタ）, 分散σiな
多変量正規分布に従う確率変数を
wで縮約したもの
→ アイテム間の共分散成分σijも存在
Rupはユーザuの推薦結果pへの反応
ポートフォリオがp1,p2と２つあるとき、
一方が他方に「優る」という半順序的な関係
の定義（期待値が大きい＆分散が小さい）
フロンティア曲線でいうと、左上 ＞ 右下
ポートフォリオpが与えられたとき、最適なwを求める目的関数。Ｈ

7. 3.1 推薦におけるリスク分析の定式化（２）
前スライドの目的関数を最小にするwは以下で求まる
リワード
μp
推薦度ベクトル
はw M
その時の分散は以下のようにμpの2次関数になる
リスク
σp
フロンティア曲線でのイメージ図。
μpがgivenで、まずWMを求めて、
それを用いてσpが得られる

8. 3.2 リスクとリワードの関係のパターン
２つのポートフォリオ（＝推薦結果）があるときの、優劣について考える図。
（a）と（b）は、左上＞右下 の関係が成り立っているので、単純に一方の推薦結果が
他方より優ると言える。
（c）と（d）は、左下―右上の関係になってしまっているため、リスクとリワードの重視する
バランスによっていずれが優るかが変わってくる。

9. 4. アルゴリズム
• 3フェーズに分けてアルゴリズムを構築する
１．各アイテムのリスクとリターンを見積もる(4.1)
２．アイテムを組み合わせたポートフォリオ（のリス
クとリターン）を最適化する(4.2)
３．ポートフォリオが２つ与えられた時にいずれかを
選択する(4.3)
→ それぞれ、元となる推薦システムの仕組み
に依らない手法なので、１，２，３いずれも色々
な推薦システムに対して一般的に適用可能

10. 4.1 各アイテムのリスクとリターン（１）
Latent factor model に各ユーザの反応について確率分布を取り入れた 参考）PMFの論文は
Probabilistic matrix factorization(PMF)というモデルを用いる
NIPSに採録されてる
ここはスカラになる
アイテム数
latent factorの数D
U
..
ユーザ
の数
Uは
「ユーザ数×潜在因子数」
の行列で、
u行目の行ベクトルがUu
分布を仮定してベイズ推定
D
V
…
Vは
「潜在因子数×アイテム数」
の行列で、
i列目の列ベクトルがVi
MAP推定で決定的に求める
この論文、
ベクトルと行列の両方に
大文字の太字を用いてる
のでちょっと紛らわしい

11. 4.1 各アイテムのリスクとリターン（２）
元のPMFはMAP推定によってUとVを求めるが、本研究では
ユーザが推薦結果を好まないかもしれないリスクを表現するために
Uにベイズ線形回帰を取り入れる。
前スライドで示した式
を尤度関数として、Uの事前分布を
のように多変量ガウス分布にすれば事後分布も以下のガウス分布になる（※）
ただし
（※Vの成分は外に括りだせるので）
↓
Uuの事後分布とVを使ってRuiの予測分布が求まる
Duは
「ユーザuが反応したアイテム数
×潜在因子の数」次元の行列
ruはユーザuが反応した各アイテム
の反応度を並べたベクタ

12. 4.1 パーソナライズなしの定式化、
アイテム間の共分散成分
パーソナライズなしの場合は、「平均ユーザ」というのを
作って同じ式を当てはめる。つまり、Uuの事後分布をuについて
平均したものを用いてRuiを求める
アイテム間の共分散成分の決定については、
引用論文にあるアイテムベースkNNアルゴリズムを用いた。
（アイテムのlatent factorどうしのピアソン相関係数を使うことも
可能）

13. 4.2 ポートフォリオの最適化（１）
ポートフォリオを構成する各アイテムの平均と分散、共分散が
与えられたので、以下の式でフロンティア曲線上の最適点
（各アイテムへの推薦度ベクタであるw）が求まる
パラメータbはリワードとリスクのバランス
を決めるもの
これは以下の方程式と等価であり、
それを解くと以下を得る。先のスライドにあるように、
このμpを使ってwが求まる。
ここは単にポートフォリオ
理論の枠組みを当てはめてるだけ

14. 4.2 ポートフォリオの最適化（２）
(a)は、あるアイテムセットに対してパラメータbを変えた場合の図
(b)は、パラメータbを決めたうえでアイテムセットを変えた場合の図

15. 4.2 ポートフォリオの最適化（３）
各アイテムへの推薦度ベクトルwが決まったので、元となる推薦
システムが出力したアイテムリストを並べ替えることが出来る。
→ シンプルにwの成分（wi）の大きい順に並べ替える
図はアイテムが３つの場合の例。パラメータｂ
に応じて、各アイテムへの推薦度wiが変わり
並べ替え後のランキングが色で示すように
変わる。
順列は3x2x1＝6通りだが4つしかない。
このようにフロンティア曲線上には限定された
ランキングしか現れない。

16. 4.3 切り替えアルゴリズム（１）
ポートフォリオ（推薦結果）がp1,p2と（パーソナライズする・しない
を想定）２つあるとき、いずれかに切り替えるアルゴリズム。
色んな切り替え戦略を提案して実験によって比較検討する。
期待値大優先（Mean）
分散小優先（Var）
1次関数リスク（Lin）
2次関数リスク（Quad）
ドミナント優先（Dom）
ゴールデン（Golden） ユーザ応答をオラクル的に予測して選ぶ

17. 4.3 切り替えアルゴリズム（２）
前スライドの各アルゴリズムについて
適応的なリスクパラメータを使うバージョンを用意。
すなわち、
パラメータbは個人差がある（※）ので、それを加味すべく
ユーザ毎の最適なbuをデータから求めておき、ランキング
の並べ替えの際にはそのbuから求めたwで並べ替える。
さらに切り替えアルゴリズムのLinとQuadでは、切り替えの
判断に使うbにもbuを用いた。
→ これらのアルゴリズムにはxxx-Aという（Lin-Aとか）ラベルを
つけて以後記載する。
※セレンディピティ重視だったらbは小、
安定性重視だったらbは大、というのが典型例

18. 5. 実験
２つの観点で実験を行った。
（１） 最適なポートフォリオの推薦度ベクトルwを使ってランキングを並べ替えた時に
パフォーマンスが向上するか？→ 5.2.1
（２） 切り替えアルゴリズムとして提案した各戦略のうちどれが一番良いのか？
→ 5.2.2
使用したデータセットは、MovieLensとNetflixの２つ。研究ではポピュラー。
ユーザからの反応があるデータのみをピックアップ。クロスバリデーションは
学習４対テスト１の分割比を用いた。
元となる推薦システム
BPR（パーソナライズ有）とPOP（無し）
トップN個のアイテム出力
本研究の実験システム
並べ替え
Greedy（引用文献にある手法）と
Opt（本論文の手法N個全体で並替え）
切り替え
4.3節

19. 5.2.1 並べ替え実験結果（１）
いえること
（１）GreedyもOptも元の
推薦結果より改善してる
（２）我々のOptは
先行研究のGreedyに優った
（３）Optはさらにパラメータｂ
をユーザ毎に変えるバージョン
Opt-X-Aでさらに改善している
（４）この表の横軸（評価指標）
のなかでMRRはアイテムの
多様性を評価するものなので
本研究の趣旨からすると
最も重要な指標であり、そこで
ちゃんと改善している

20. 5.2.1 並べ替え実験結果（２）
パラメータbを変えた時の
OptとGreedyの比較。
・Greedyはbを大きくする（リスク
を重要視する）と近視眼的に
なってパフォーマンスが低下する
・Optはbを大きくしてもパフォーマンス
が低下しない

21. 5.2.2 切り替え実験結果（１）
MovieLensデータセットでは、Opt-Lin-Aが一番改善している

22. 5.2.2 切り替え実験結果（２）
Nitflixデータセットでは、Opt-Quad-Aが一番改善している

23. 5.2.2 切り替え実験結果（3）
（１） Mean戦略は元の推薦システムの出力より改悪した。リスク
を最小化することは効果的ではない。
（２） Var戦略はMoveLensでは改善したがNetflixでは改悪した。
この戦略は不安定だと分かる。
（３） 上記２つと比べるとリスクとリワードのバランスを
考慮するLinとQuadはいずれのデータセットでも改善した。Linと
Quadのどちらが良いかはデータセットによるようだ。
（４） Dom戦略はLinやQuadより成績が悪いが、元よりは改善する。
（５） パラメータbをユーザ毎に適応的にするといずれの戦略でも
改善する。この場合もLinとQuadのいずれが良いかはデータセット
と評価指標によるようだ。

24. 5.2.3 ケーススタディ
• パーソナライズすべき例（50代、反応履歴多、少数の古い映画を好む）
• すべきでない例（20代、反応履歴少、ポピュラーな映画を好む）

25. 結論と今後の課題
• ポートフォリオ理論を使ってパーソナライズするしな
いの間の関係を分析した
• 効率的フロンティアを構成するポートフォリオによっ
て元の推薦結果を並べ替えるとパフォーマンスが向
上した
• パーソナライズすべきでない状況をμ-σ平面で示し、
切り替えアルゴリズムを提案し、実験の結果パ
フォーマンスが改善した
• いずれかに切り替えるのではなく良い感じにマージ
するというのが本研究の趣旨の延長にある課題