6. A Safe Rule for Sparse Logistic Regression
LR with L1 regularization
min
1
m
m∑
i=1
(
1 + exp(−βT
xi − bi c)
)
+ λ∥β∥1
∥ · ∥1 は L1 ノルム (∥β∥ :=
∑m
i=1|β|)
xi ∈ Rm, i = 1, . . . , p:学習データの特徴ベクトル
bi ∈ {−1, 1} , i = 1, . . . , p:学習データのラベル
β ∈ Rm, c ∈ R :(最適化すべき) パラメータ
7. A Safe Rule for Sparse Logistic Regression
双対問題への変換
min
1
m
∑
i
(
1 + exp(−βT
xi − bi c)
)
+ λ∥β∥1
双対問題:
min
{
g(θ) =
1
m
m∑
i=1
f (θi ) : ∥ ¯XT
θ∥∞, θT
b = 0, θ ∈ Rm
}
ただし
¯xi := bi xi
つまり
¯X = bT
X
8. A Safe Rule for Sparse Logistic Regression
Notations
学習の入力データ X ∈ Mat(m, p; R) に対して、xi は i 行目のベク
トル、xj は j 列目のベクトル。
λ に依存した最適値として、β∗
λ, θ∗
λ
β の i 番目の要素は [β]i で表す。
10. A Safe Rule for Sparse Logistic Regression
既存研究
同じようにゼロ要素を先に見つける手法:
1 SAFE (El Ghaoui et al., 2010)
2 Strong rules (Tibshirani et al., 2012)
3 DOME (Xiang et al., 2012)
ここで、2. と 3. は safe ではない (つまり最適解が 0 でない要素を
0 と判定することがある)。
本研究では safe かつ効率のよい手法を提案。
11. A Safe Rule for Sparse Logistic Regression
閾値について
P = {i|bi = 1} , N = {i|bi = −1} , m+
= #P, m−
= #N
[
θ∗
λmax
]
i
=
{
m−/m if i ∈ P
m+/m if i ∈ N
λmax =
1
m
∥XT
θλ∗
max
∥∞
と定義すると次が成り立つ。