30. t-SNE – (3)
データ点の類似度とマップ点の類似度
この場合の勾配は
302015/07/23 武田研究室 論文紹介 - Visualizing Data Using t-SNE -
n
pp
p
jiij
ij
2
||
lk
lk
ji
ij
yy
yy
q 12
12
1
1
j
jijiijij
i
yyyyqp
y
C
)13()1)()((4 12
31. 勾配の導出 – (1)
高次元空間上での対称条件付き確率
マップ上での同時確率
KL距離に基づくコスト関数は
計算の簡単化のため2つの補助変数を導入
𝑦𝑖が変化したとき変化するのは𝑑𝑖𝑗, 𝑑𝑗𝑖のみ
312015/07/23 武田研究室 論文紹介 - Visualizing Data Using t-SNE -
n
pp
p
jiij
ij
2
||
lk
lk
ji
ij
yy
yy
q 12
12
1
1
i
ijijij
j
ij
i j ij
ij
ij
i
qppp
q
p
pQPKLC logloglog)|(
jiij yyd
lk
kldZ 12
)1(
j
ji
ijj
ji
jiiji
yy
d
C
yy
d
C
d
C
y
C
)(2)(
32.
j
jijiijij
i
yyyyqp
y
C 12
)1)()((4
勾配の導出 – (2)
コスト関数は
322015/07/23 武田研究室 論文紹介 - Visualizing Data Using t-SNE -
i
ijijij
j
ij qpppC loglog
12
1212
1222
22
12
)1)((2
)1()1(2)1(2
)0
))1((
(
)1(
2)1(2
1))1((1
)log(log
)(log
)(log
ijijij
lk
klijijijij
lk ij
klij
klij
ij
ij
lk ijij
kl
kl
kl
lk ij
kl
kl
lk ij
kl
kl
i j ij
ij
ij
ij
dqp
pdqdp
d
d
jlikwhen
Z
d
pd
Zq
p
d
Z
Zd
d
Zq
p
d
ZZq
p
d
q
p
d
q
p
d
C