1.
Don’t count, predict! A
systematic comparison of
context-counting vs.
context-predicting semantic vector
(ACL2014)
nzw
図はすべて論文から抜粋
1 / 11

2.
概要
単語の分散表現の複数のモデルをいくつかの指標をもとに比
較した研究 [1]
頻度ベースのモデル (32 種類) と予測ベースのモデル (48 種
類) とその他 2 種類のモデルで比較
nzw は評価指標について重きをおいて説明
実験から，predict models が state-of-art な手法を上回った
り，学習のパラメータに対して安定した結果を出したりした
2 / 11

3.
背景
ベクトル学習方法には主に 2 通りあるが，その比較が十分に行わ
れていない
count models
共起頻度をもとに学習するモデル
言語処理系の分野で発達
predict models
文脈にくる単語を予測し学習するモデル
ニューラルネットワークの分野で発達
3 / 11

4.
count models(32 種類)
1. Positive Pointwise Mutual Information
2. Local Mutual Information
1 か 2 に対して以下のパラメータ
次元圧縮：
SVD
Non-negative Matrix Factorization
圧縮する次元数： 200~500 の 100 刻み
窓幅： 2 or 5
4 / 11

5.
predict models(48 種類)
CBOW
次元数：200~500 100 刻み
窓幅： 2 or 5
subsampling：0 or 1e−5
出力部分の計算方法：以下のどちらか
negative-sampling：5 or 10
Hierarchical Softmax
5 / 11

6.
評価方法 1
Semantic relation
関連語を取り出すタスク．
2 単語とスコアからなるデータセットを使う．
各 2 単語の cos 類似度の大小関係と正解データのスコアの大小関
係を比較して評価．
評価指標にスピアマンの順位相関係数か相関係数を使う．
Synonym detection
TOEFL の 4 択のタスク．
入力 1 単語と正解を含む 4 単語からなるデータセットを使う．
入力単語との cos 類似度がもっとも高く，かつ 4 択に含まれる単
語を評価．
評価指標に正解率を使う．
6 / 11

7.
評価方法 2
concept categorization
単語のまとまり度合いをみる．
名詞とその名詞の属するクラス名からなるデータセットを使う．
CLUTO を使ってベクトルを n 個のクラスタに分ける.
正解データがクラスタに分けられているかで評価．
評価指標に purity を使う．
selectional preference
名詞と動詞とスコアからなるデータセットを使う．
例として (people, eat) で考える
コーパスから eat の主語か目的語として関連づいた上位 20
名詞を抽出
名詞の平均ベクトルと people の cos 類似度を計算して評価
評価指標にスピアマンの順位相関係数を使う．
7 / 11

8.
評価方法 3
analogy
king - man + woman = ?(queen) をあてるタスク．
入力 3 単語と正解 1 単語からなるデータセットを使う．
c に対して a と b の関係にあるような単語を見つけたいのでベク
トルの演算を行い cos 類似度の最も高い 1 単語を評価．
この例だと queen が正解．
評価指標に正解率を使う．
8 / 11

9.
結果
下から 3 つ目の state-of-art に対して複数のタスクで CBOW が
勝った．
9 / 11

10.
その他
state-of-art な手法は，タスクに特化していたりコーパス以外
の情報を使っているが，CBOW はコーパスだけで優れた性能
count models でも state-of-art な手法に近い結果
表の 3 行目のもっとも悪いときの結果をみると CBOW はそ
こまで悪くない
論文の表 3 と表 4 には，count models と predict models の平
均順位の高い順にパラメータが記されているので，参考に
なる
10 / 11

11.
参考文献
[1] Marco Baroni, Georgiana Dinu, and Germán Kruszewski.
Don’t count, predict! a systematic comparison of
context-counting vs. context-predicting semantic vectors.
In Proceedings of ACL, pages 238–247, 2014.
11 / 11