Contenu connexe Similaire à 読解支援@2015 06-26 (20) Plus de sekizawayuuki (20) 読解支援@2015 06-261. Efficient
Es*ma*on
of
Word
Representa*ons
in
Vector
Space
Tomas
Mikolov,
Kai
Chen,
Greg
Corrado,
Jeffrey
Dean
In
Proceedings
of
Interna*onal
Conference
on
Learning
Representa*ons,
2013
プレゼンテーション
関沢祐樹
2015/06/26
1
3. ニューラルネットワークモデル
• neural
network
language
model
(NNLM)
– 過去の単語から予測 (指定する必要あり)
– 入力層、予測層、隠れ層、出力層の4層
– 計算がかなり複雑
• Recurrent
Neural
Net
Language
Model
(RNNLM)
– 予測層がない、 過去の文脈を見る
– NNLMよりも、計算が少し簡単
• Parallel
Training
of
Neural
Networks
– 集中型サーバで基盤を複製して、並列処理をする
2015/06/26
3
5. 今回のタスク
• テストセットを定義して、使用
– 5種類の意味的問題 問題数:8869
– 9種類のシンタクス的問題 問題数:10675
– 手動で類似単語ペアのリストを作成
– リストからランダムに2つの単語ペアをとって作成
– 2語以上からなるものは対象外 (例:New
York)
2015/06/26
5
11. まとめ
• 様々なモデルの単語ベクトル表現の質を見た
• ニューラルネットワークよりも単純なモデル
– CBOWとSkip-‐gramを使用
– 質の良い単語ベクトルを生成できた
– 計算がより複雑でない
• 計算時間が早い
• 次元を大きくできる
2015/06/26
11