Minimally Supervised Classification to Semantic Categories using Automatically Acquired Symmetric Patterns

Minimally Supervised Classification to Semantic Categories using Automatically Acquired Symmetric Patterns
COLING 2014 読み会 Minimally Supervised Classification to Semantic Categories using Automatically Acquired Symmetric Patterns ※このスライド中のすべての図はこの論文中のものです小町研究室B４堺澤勇也
この論文の主張  対象パターン（e.g., “X and Y”）とI-k-NNを使用して、名詞の意味分類をする  先行研究とは違い、事前に対象パターンを定義せず、生のテキストから教師なし手法でパターンを自動で抽出する  実験結果から、対象パターンはword embedding手法と比較して分類素性として良い素性だった  簡単なkNNアルゴリズムで最新の異なる手法の実験結果を上回る結果になった
タスク定義  この論文のタスクは名詞の意味カテゴリの分類である  Semantic Categorization of Concrete Nouns :  名詞カテゴリに相当する具体的な“もの”に着目  名詞の文脈に依存しない性質は異なりレベルの分類に適してしる  Dataset :  CSLB property norms datasetを使用  被験者３０人が６３８個の具体的な名詞に対してカテゴリを付けてもらったもの
Category Selection  CSLB内の２７２５個のカテゴリから以下の二つを満たすものが欲しい  （１）単一の名詞カテゴリ  （２）顕著な意味カテゴリ  そのために以下のような操作をする  １つの名詞にのみアノテーションされてるもの（名詞の５％である３５の名詞に現れるもののみ）  低頻度のカテゴリを消去  各意味カテゴリc に対して、c のカテゴリだとアノテーションされた名詞全体の各名詞のこの名詞はカテゴリc であるとアノテーションした人数が１０人以上のもの  最後に、色やサイズなどなど具体的なものに相当しないカテゴリを除く  これにより残ったカテゴリは以下の４つとなった  Animacy (animals), edibiliy (food items)  Is_a_tool (tools), is_worn (clothes)
 Patterns : 対象パターン  構造的なフレーズ表現から提供される、単語とワイルドカードの組み合わせから構成される  例→ “X such as Y”, “X is a country”  Symmetric Patterns :  交換可能な二つのワイルドカードを含むパターンを指す  例→ “X and Y”, “X or Y”, “X as well as Y”  先行研究では、このパターンは意味的に似ている単語ペアを見つけることが出来ている
自動獲得の為に使用するパター  Flexible Patterns : ン  完全な教師なし手法で生のテキストから抽出される  以下の二つの構成要素がキーアイディアとなる  high frequency words (HFW), content words (CW)  コーパス内の単語の出現回数を基に、言語内の各単語はどちらかに定義される  HFWはほとんど機能語、CWはほとんど内容語となる  この二つは、生のテキストからパターンを抽出するのに有用である
Flexible Patternsの獲得  CWsとHFWsによる単語の分類を基に、大きなコーパスを詳しく読み込むことで抽出される  抽出されたパターンは、CWワイルドカードと HFWsにとって変わる実際の単語で構成される  （例）  “The boy is happy and joyful” は内容語がCWとなり、  → “The CW is CW and CW” となる。  上記の表現から、与えられた長さの制限（この論文では最大５）の単語の系列を抽出し、Flexible patternsとしてそれを示す。  上記の文章から、長さの制限を５とすると、“The CW is CW and”と“CW is CW and CW”がFlexible patternsとなる
対象パターンの自動抽出  最初に二つのCWを含むFlexible patterns を抽出する  そして、それらのCWを入れ替えることが可能なパターンを選択  つまり、CW1とCW2を含むパターンを抽出し、それらを入れ替えたパターンがコーパス中（今回はgoogle books 5- gramを使用）に出現するならばそれらは対象パターンである  例  “cats and dogs”, “dogs and cats ”がある  → “CW and CW” は対象パターン  “countries such as France”はあるが“France such as countries” はない  → “CW such as CW” は対象パターンではない
Model :重み付き無向グラフ  グラフの構築  ノードが単語、エッジが単語間の関係に相当する  すべての対象パターンPに関与する単語ペアを取り、その単語ペアが現れる頻度がα を超えた場合、それらの単語のノードをエッジで結ぶ  重みは単語ペアのパターンの頻度の相乗平均で決まる  ラベル伝搬  iterative variant of the k-Nearest Neighbors algorithm (I-k- NN) を使用してラベルを伝搬させる  シードの拡張  新たなシードを獲得するために、グラフ上強いエッジ（頻度がβ 以上）にノードv を与え、それがラベルl がついたノードγ とつくか、ラベルl がついたノードの隣接δl につくかまで繰り返す
シード拡張の例 +1 -1 -1 +1 ノードは単語を指すエッジは単語間の関係を指す（ノード内の数字は人手でアノテーシ
シード拡張の例 +1 -1 -1 +1 ノードは単語を指すエッジは単語間の関係を指す（ノード内の数字は人手でアノテーシノード間で同じ対象パターンがコーパβ （この論文では５０）以上現れるとそれらのノードを結ぶ
シード拡張の例 +1 +1 -1 -1 +1 +1 ノードは単語を指すエッジは単語間の関係を指す（ノード内の数字は人手でアノテーシノード間で同じ対象パターンがコーパβ （この論文では５０）以上現れるとそれらのノードを結ぶノード間でl とラベル付けされているノとつながったノードはラベルl としてラ付けされる（これをつながっているすべてのノーラベル付けされるまで繰り返す）
グラフ構築の例 +1 +1 -1 -1 +1 -1 ノードは単語を指すエッジは単語間の関係を指す（ノード内の数字は人手でアノテーシ
グラフ構築の例 +1 +1 -1 -1 +1 -1 ノードは単語を指すエッジは単語間の関係を指す（ノード内の数字は人手でアノテーシノード間で同じ対象パターンがコーパにα （この論文では３）以上現れるとそれらのノードを結ぶ重みはその対象パターン相乗平均とす
ラベル伝搬の例: I-k-NN +1 +1 -1 -1 +1 -1 緑のノードに対するラベル伝搬を考える
ラベル伝搬の例: I-k-NN +1 +1 -1 -1 +1 -1 緑のノードに対するラベル伝搬を考える左の緑ノードは+1 とラベル付けされたノードが２つ、-1 とラベル付けされたノードが３つくっついているのでそれ比は、max(2,3) / 5 = 3 / 5 右の緑ノードは、-1 とラベル付けされノードが一つだけくっついているので比は、1 / 1 = 1
ラベル伝搬の例: I-k-NN +1 +1 -1 -1 -1 +1 -1 緑のノードに対するラベル伝搬を考える左の緑ノードは+1 とラベル付けされたノードが２つ、-1 とラベル付けされたノードが３つくっついているのでそれ比は、max(2,3) / 5 = 3 / 5 右の緑ノードは、-1 とラベル付けされノードが一つだけくっついているので比は、1 / 1 = 1 求めた比の最大値をとるものだけを採用するこれを、すべてのノードにラベルがつで繰り返す
実験  ここでは、対象パターンの素性としての役割とI-k- NNのラベル伝搬手法としての有用性を示すために二つのタイプのベースラインと比較している  分類素性ベースライン  ラベル伝搬ベースライン
各ベースライン  分類素性ベースライン  SENNA  Word embedding 手法をベースとするディープネットワーク  今回の比較では単語の類似性測定として二つのword embedding 間のcos類似度を使用  Brown  Brown アルゴリズムによって示される単語クラスタリング手法  グラフを構築する為に、単語の類似性として、バイナリツリー（単語は葉ノードに対応）の距離を使用  ラベル伝搬ベースライン  N-Cut  正規化したグラフカットアルゴリズム  MAD (Modified Adsorption)  確率的なグラフベースのラベル伝搬アルゴリズム
実験結果ほとんどの手法でSP （symmetric patterns）がよい精度を出していることが確認出来るまたI-k-NNは単純なアルゴリズムながら他の手法と同等かそれを上回る精度を出してい
ラベルシードセットサイズの分析（a） : 異なった分類素性の比較（c） : トップ４つの性能モデ（b） : 異なったラベル伝搬アルゴリズムの比較どれも提案手法が一番高いF値を示していることがわかる

Check these out next

Minimally Supervised Classification to Semantic Categories using Automatically Acquired Symmetric Patterns

Recommandé

Contenu connexe

Présentations pour vous(20)

Dernier(20)

Minimally Supervised Classification to Semantic Categories using Automatically Acquired Symmetric Patterns