Lucene terms extraction

Luceneインデックスからの
専門用語抽出
関口宏司＠ロンウイット

背景／目的
• 専門用語抽出
• サジェスチョン
• クラスタリング
• MLT
• もしかして検索

• Luceneインデックスをコーパスとして利用
専門用語

WWW

Lucene
インデックス
＝コーパス
Word
PDF クロール
COPYRIGHT (C) 2012 RONDHUIT CO.,LTD. ALL RIGHTS RESERVED. 2

専門用語抽出
• 単名詞
• 複合名詞
• ターム性
• ある言語単位（複合名詞など）の持つ専門分野固有の概念への関連性の強さ
• 専門文書を書いた専門家の概念に直結していると考えられる

• ユニット性
• ある言語単位がコーパス中で安定して使用される度合い


手順

候補抽出スコアリング出力


単名詞バイグラムと頻度
単名詞Nの右方に連接する単名詞 RNiの頻度(i=1…m)
↓ ↓

[LN1 N](#L1) [N RN1](#R1)
[LN2 N](#L2) [N RN2](#R2)
: :
[LNn N](#Ln) [N RNm](#Rm)
↑ ↑
単名詞Nの左方に連接する単名詞 LNiの頻度(i=1…n)
連接種類数 n → #LDN(N)
m → #RDN(N)


実際の例（頻度と異なり数）

トライグラム統計
トライグラム
[単語トライグラム](3)
単語トライグラム [クラストライグラム](1)
クラストライグラム [文字トライグラム](1)

単語トライグラム #LDN(トライグラム)=3

トライグラム
トライグラム抽出 [トライグラム統計](2)
単語トライグラム統計 [トライグラム抽出](1)

トライグラム #RDN(トライグラム)=2

文字トライグラム


連接頻度


実際の例（連接頻度）

トライグラム [単語トライグラム](3)
[クラストライグラム](1)
単語トライグラム [文字トライグラム](1)

クラストライグラム #LDN(トライグラム)=3
単語トライグラム #LN(トライグラム)=5

トライグラム

#RN(トライグラム)=3


複合名詞のスコアリング

単名詞：Ni
複合名詞：CN=N1N2…NL
単名詞Nの左方スコア関数：FL(N)
単名詞Nの右方スコア関数：FR(N)


実際の例（CNスコア、連接頻度の場合）

トライグラム [単語トライグラム](3)
[クラストライグラム](1)
単語トライグラム [文字トライグラム](1)

クラストライグラム #LDN(トライグラム)=3
単語トライグラム #LN(トライグラム)=5

トライグラム

#RN(トライグラム)=3
トライグラム


出現頻度を考慮した重み付け

トライグラム


C-value

CN: 複合名詞
length(CN):CNの長さ（名詞数）
n(CN): コーパスにおけるCNの出現回数
t(CN): CNを含むより長い複合名詞の出現回数
c(CN): CNを含むより長い複合名詞の異なり数


MC-value

トライグラム

※ 参考文献[1]とカウント結果が異なる
CN: 複合名詞
length(CN):CNの長さ（名詞数）
n(CN): コーパスにおけるCNの出現回数
t(CN): CNを含むより長い複合名詞の出現回数
c(CN): CNを含むより長い複合名詞の異なり数


実際の抽出例 ※ 連接頻度FLR法（Lucene近似版）を利用

• livedoorニュースコーパス（以下同様）、スポーツウォッチ（上位120位まで）
日本世界関係女子サッカー一日勝利
選手プロサッカーファン注目なでしこ代表選手
日本代表ファン女子移籍巨人発表
試合同番組プロ野球選手開催決勝北海道日本ハムファイターズ
放送ロンドン五輪日本中リーグ人気決勝戦
サッカー試合後ゴール野村氏最終的田中将大
野球解説自分試合前選手たちサッカー界
代表スポーツ番組野村克也氏ロンドン五輪出場代表戦番組中
監督優勝出演五輪出場世界選手権日本シリーズ
チーム野球解説者本田圭佑獲得前出一回
番組サッカー女子日本代表ネット上掲示板上女子W杯五輪代表
五輪元日本代表関係者自身所属最終戦
プロ野球試合中日本戦日本人選手日本サッカー日本代表監督
W杯プロ野球解説者プレーインタビューオープン戦予選
一戦週刊アサヒ芸能関連リンク二人問題ツイッター上
一人相手ブログ開幕コメント本田
番組内サッカー選手スポーツボール生出演開幕戦
サッカー解説者大会練習 Jリーグ一年可能性
サッカー日本代表なでしこジャパン報道球団日本サッカー協会北京五輪
出場野球選手楽天スポーツ選手日本選手権スポーツ紙

実際の抽出例 ※ 連接頻度FLR法（Lucene近似版）を利用

• トピックニュース（上位140位まで）
ネット掲示板同番組 livedoorニュース可能性二人芸能独島
関連情報女性関係人気記事内さん韓国名
関連記事コメント番組中選手タレント放送後発売
記事韓国人ファン生活人たち社会政府
ネットユーザー番組内写真ギャラリーネットユーザ女性自身記事中フジテレビ系
ネット視聴者メディア AKB 芸人子供記者
ネット上日韓ユーザ五輪各メディアドラマ日本中
番組掲示板上 livedoor テレビ番組女子外国人関連リンク
日本韓国語関係者ネットユーザーたち韓国ニュース日本人同番組内
放送発言韓国メディア事件逮捕活動代表
批判ツイッターツイッター上フジテレビ公開騒動大阪
ユーザー批判的韓国ネット掲示板韓国内橋下氏映画ラジオ番組
韓国写真発表自分生活保護被害同ブログ
ネット掲示板上情報番組公式サイト視聴率怒り事故 CM
同記事テレビ韓国ネットユーザー自身コメント欄ツイート番組放送中
ニュース出演被害者男性否定的アイドル共演者
情報一人ニュースサイトメンバー内容自殺芸能人
報道韓流放送中話題問題視結婚韓国人女性
問題意見芸能界出演者関連事務所日本代表
掲示板ブログ放送事故殺到紹介世界日韓戦

スコア計算方法の違いによる抽出比較
連接種類数LR法連接頻度LR法連接種類数FLR法連接頻度FLR法
選手日本選手日本
日本中日本代表日本選手
日本選手代表日本代表日本代表
日本戦日本代表選手チーム試合
女子選手日本選手試合放送
代表選手代表選手監督サッカー
日本代表選手日本代表戦サッカー野球
日本サッカー日本代表一人代表
日本代表戦日本戦一戦監督
代表戦日本女子代表野球チーム
女子代表選手女子日本代表代表番組
選手ら選手ファン五輪
一日日本中出場プロ野球
一日一日女子野球日本代表番組 W杯
同選手代表戦優勝一戦
リー選手五輪代表世界一人
中一日本サッカー番組内番組内
一選手日本代表監督同番組サッカー解説者
サッカー選手野球選手試合後サッカー日本代表
野球選手女子代表選手プレー出場
COPYRIGHT (C) 2012 RONDHUIT CO.,LTD. ALL RIGHTS RESERVED. ※ FLR法はいずれもLuceneによる近似実装 16

参考文献
[1] 出現頻度と連接頻度に基づく専門用語抽出
中川、湯本、森自然言語処理 Vol. 10 No. 1 Jan 2003

[2] Lucene 4.0 Javadoc
http://lucene.apache.org/core/4_0_0/index.html

[3] livedoor ニュースコーパス
http://www.rondhuit.com/download.html#ldcc


Lucene terms extraction

Recommandé

Recommandé

Contenu connexe

Plus de Koji Sekiguchi

Plus de Koji Sekiguchi (20)

Lucene terms extraction