15. Similarity Measure
• 分布間の距離は expected likelihood kernel:
• エネルギー関数
• Partial Energy
• rock と pop のコンポーネント間の相互作用(K=2)
14
閉形式で書ける
Partial Energy: ξ
単語 f, g 間の各コンポーネント間(i,j)のエネルギー
実際は ∑ に spherical(∑∝I)を仮定するとRBFカーネル
16. Loss Function
• Max-Margin Ranking Objective
• 以下の Loss を最小化する(mはハイパラ)
• ΔE ≧ m → L = 0
• ΔE が m 以上離れているとなにもしない
• ΔE < m → L = m - ΔE
• ΔE が m 未満だと損失増やす
15
正例 負例
17. Word Sampling
• どちらも頻度をスムージングする効果
• sub-sampling
• 単語 w を選ぶときに以下の確率で捨てる( t は定数、f は頻度)
• negative sampling [Mikolov’13]
• Uはユニグラム分布、3/4乗は頻度スムージングのため
16