24. Learning a logistic model from aggregated data
24
● AdKDDのpaper
● 著者はCriteo所属
25. Learning from aggregated data
25
● 従来得られているデータは左のTable 1のようなデータ
● 個人Idによる識別が不可能になると,例えばTable 2のような
集計データしか得られなくなる
● このようなデータしか得られなくなった時に,既存の予測モデ
ル(CTR予測など)は機能しなくなる
● どのようなモデルを使えばいいのか?
26. Formalizing the aggregated data
26
● そもそも集約データの問題はどう定式化できるか?
● 特徴量とラベルがi.i.d.に(x i,
yi
)で与えられるとする
● xを{0;1}D
にマッピングするQuadratic kernel Kが与えられたとする
● この時,集計データは以下の式で表現できる
27. アプローチ
27
● 以下のようなアプローチを取る
● Modeling
○ 特徴量XとラベルYの 結合分布に関するパラメトリックモデルを選ぶ
○ Pθ
(X = x, Y = y)
● Training
○ 尤度最大化を達成するθを選ぶ
○ Argmaxθ
Pθ
(S = s, C =c)
● Predict
○ 上記で得られたθから,以下の条件律から予測を行う
○ Pθ
(Y = 1 | X = x) = Pθ
(X = x, Y = 1) / ( Pθ
(X = x, Y = 1) + Pθ
(X = x, Y = 0))
28. Markov Random Field
28
● Modelingの時に,以下のパラメトリックモデルを使用する
○ Pμ, θ
(X = x, Y = y) = exp(K(x)・μ + y・K(x)・θ) / Z μ, θ
○ ただし, Zμ, θ
は正規化のための定数
● 上記のモデルは,Markov Random Field の一種と解釈できる
● この時,Predictは以下の式で可能になる
○ Pμ, θ
(Y=y | X=x) = σ(K(x)・θ)
○ Zもμも関係なく,カーネルKが存在する場合のロジスティック回帰と解釈可能
● Trainingは対数尤度のgradientの式が簡単に得られるので,MCMCなどで推定