2015 08 survey

2015 08 survey
Komachi Lab M1 宮崎亮輔 2015/08/16 前期サーベイまとめ小町研究室
Komachi Lab これまで ✤ 先行研究のサーベイ  （主に分散表現と深層ニューラルネットワーク (DNN)）! - 分散表現の学習! - 分散表現の構成性! - 分散表現を用いた極性解析! - RecursiveNN, RecurrentNN, etc.（後に説明） 2
Komachi Lab サーベイまとめ・報告 3
Komachi Lab 研究背景 4 自然言語処理における意味の表現ベースとなる考え：ベクトル表現・分散表現例犬 = (0.8 0.1 0.0 0.7 0.7)! 猫 = (0.9 0.2 0.0 0.6 0.8) 似てる？ King - Man + Woman Queenになる？・分散表現による単語の表現（類似単語が近いベクトルに）・分散表現による意味の構成性（加法構成性という特徴）分散表現の良さを測るタスクも上２つが多い（類似性，類推性）
Komachi Lab 分散表現の動向 5 キーポイントは恐らく４つ - 共起頻度にもとづく ( Count ) 分布仮説 (Harris 1954)! 似た文脈に出現する単語は似た意味を持つ・ベクトル表現の作成 Count, Predict, Fine tuning, Composition 単語の共起行列に重み付けや次元削減を行う PPMIなど SVD, NMFなどペット学校研究楽しい飼う犬 80 5 0 70 83 猫 90 10 0 65 88 (Schütze 1993) 共起頻度行列の例考え方の根幹となる仮説
Komachi Lab 分散表現の動向 6 キーポイントは恐らく４つ分布仮説 Harris 1954! 似た文脈に出現する単語は似た意味を持つ・ベクトル表現の作成（学習） Count, Predict, Fine tuning, Composition ・入力単語から周辺の単語を予測 - 予測問題の学習に基づく ( Predict ) (Mikolov et al. 2013a, b) ・周辺単語から中央の単語を予測 word2vecという名前で流行
Komachi Lab 分散表現の動向 7 キーポイントは恐らく４つ・ベクトル表現の作成（調整） Count, Predict, Fine tuning, Composition 例）極性分析のタスク（文や句の極性を分析する） - 解きたいタスクで微調整 ( Fine tuning ) (Socher et al. 2013) CountやPredictで作成した単語ベクトル Recursive Neural Networkで入力ベクトルまで再学習 FeedForwardでないネットワーク構造が増えてきている木構造をネットワーク構造として考えている入力: 誤差逆伝播法出力: very good, good, neutral, bad, very bad （後に詳しく説明）
Komachi Lab 分散表現の動向 8 キーポイントは恐らく４つ Count, Predict, Fine tuning, Composition - 意味の構成性 ( Composition ) ・ベクトル表現の利用単語より長い単位（句や文）の意味をどう表現するか → 構成してる単語のベクトルから文や句のベクトルを計算計算方法入力出力演算 reference Additive 単語A, 単語B 句(AB) V(A) + V(B) Mitchell et al. 2008 Multiplicative 単語A, 単語B 句(AB) V(A) ○ V(B) Mitchell et al. 2008 Vector-Matrix 形容詞A, 名詞B 名詞句(AB) M(A)V(B) Baroni et al. 2010 etc.※V(単語)：単語のベクトル表現, M(単語)：単語の行列表現, ○：アダマール積このように利用することを前提にベクトル表現を学習することも (Tsubaki et al. 2013)
Komachi Lab 分散表現とDNNの関係 9 しかし、入力が文だと = 入力長が一意でないと分散表現はDNNへの入力値として親和性が高い (0~1の実数値のベクトルなので) 一般的なFeedForward型ネットワークへ入力できない可変長の入力に対応したネットワーク構造が必要例）この場合は４単語構成の文のみしか入力できない forward step の方向
Komachi Lab 分散表現とDNNの関係 10 可変長の入力に対応したネットワーク構造 RecursiveNNRecurrentNN 単語と一つ前の隠れ層を入力繰り返すことで系列を入力可能に系列が長いと情報を保持しきれない木構造のように組み上げる RecurrentNNの順序考慮ver （各重み行列は共有）
Komachi Lab Long ShortTerm Memory 11 長い系列の重要な情報を記憶できる隠れ層を持つ LSTM ReccurentNNの系列が長いと情報を保持しきれない問題を解決３つのゲートで隠れ層を制御 input: 隠れ層への入力を選択的に入力 forget: 隠れ層の状態を選択的に忘れる output: 隠れ層からの出力を選択的に出力重要な情報はゲートが開き、ノイズはゲートが閉じるどのような入力のときに  ゲートを開け閉めするべきかも学習する
Komachi Lab 極性分析 12 分散表現・DNNを用いた方法が次々提案特にSentiment Tree BankができてからRecursive NNに注目部分木（句）毎に正解ラベルの振られた木構造のデータセット Socher et al. 2013 特に良い成果を納めてるのがLSTMを利用したRNN Le et al. 2013
Komachi Lab 極性分析におけるLSTM 13 phraseによる移動極性を表す特徴語の分布 (Wan et al. 2015) 上：初期値(Glove)! 下：RNN(LSTM)でチューニング
Komachi Lab まとめ ✤ 分散表現・DNNのキーポイント! - Count! - Predict! - Composition! - Fine Tuning ! • Sentiment → RecursiveNN, LSTM 14 分布仮説
Komachi Lab Reference ✤ Schütze (1993)  Word Space! ✤ Mikolov et al. 2013a  Efﬁcient Estimation of Word Representations in Vector Space! ✤ Mikolov et al. 2013b  Distributed Representations of Words and Phrases and their Compositionality! ✤ Harris 1954  Distributional structure! ✤ Socher et al. 2013  Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank! ✤ Mitchell et al. 2008  Vector-based Models of Semantic Composition! ✤ Baroni et al. 2010  Nouns are vectors, adjectives are matrices: Representing adjective-noun constructions in semantic space! ✤ Tsubaki et al. 2013  Modeling and Learning Semantic Co-Compositionality through Prototype Projections and Neural Networks! ✤ Le et al. 2015  Compositional Distributional Semantics with Long Short Term Memory 15

Check these out next

2015 08 survey

Recommandé

Contenu connexe

Présentations pour vous(20)

Similaire à 2015 08 survey(11)

Plus de marujirou(7)

Dernier(20)

2015 08 survey