Contenu connexe Similaire à 日本語の語彙的換言知識の質的評価 (20) Plus de Tomoyuki Kajiwara (6) 日本語の語彙的換言知識の質的評価3. 換言, 言い換え, 書き換え, パラフレーズ
意味が近似的に等価な言語表現の異形 [1]
[1] 乾, 藤田 (2004) 言い換え技術に関する研究動向
先生
教員
教師
教諭
3
4. 換言, 言い換え, 書き換え, パラフレーズ
意味が近似的に等価な言語表現の異形 [1]
[1] 乾, 藤田 (2004) 言い換え技術に関する研究動向
先生
教員
教師
教諭
4
8. 語彙的換言技術の応用(2)
• 自動要約 [4]
大賞を受賞したAさん
大賞 の Aさん
• 機械翻訳 [5]
その本なら書類の下にある
It is under the papers if it is the book.
その本 は 書類の下にある
The book is under the papers.
[4] 片岡, 増山, 山本 (2000) 動詞型連体修飾表現の N1のN2 への言い換え
[5] 松吉, 佐藤, 宇津呂 (2004) 機能表現「なら」の機械翻訳のための言い換え
8
11. 名称 略称 収録数 品詞 収集方法 形式
PPDB: Japanese(S) PPDB 1,522,492 句 対訳コーパス 句→句
内容語換言辞書(用言) 用言 9,702 用言
人手 語→句
内容語換言辞書(名詞) 普通名詞 15,879 名詞
日本語WordNet同義語DB WordNet 23,506 名詞
言語資源
および人手
語→語
動詞含意関係データベース
(類似・上位下位関係)
Ntriv 63,572
動詞
含意スコア計算
(相互情報量)
および人手動詞含意関係データベース
(文字上包含関係にある)
Triv 30,453
基本的意味関係の事例
ベース(略記対)
略記対 3,276
名詞
文脈類似度
および人手
基本的意味関係の事例
ベース(異形同義語対)
同義語対 44,754
基本的意味関係の事例
ベース(異表記対)
異表記対 30,230
現在利用可能な日本語の語彙的換言知識
11
12. 名称 略称 収録数 品詞 収集方法 形式
PPDB: Japanese(S) PPDB 1,522,492 句 対訳コーパス 句→句
内容語換言辞書(用言) 用言 9,702 用言
人手 語→句
内容語換言辞書(名詞) 普通名詞 15,879 名詞
日本語WordNet同義語DB WordNet 23,506 名詞
言語資源
および人手
語→語
動詞含意関係データベース
(類似・上位下位関係)
Ntriv 63,572
動詞
含意スコア計算
(相互情報量)
および人手動詞含意関係データベース
(文字上包含関係にある)
Triv 30,453
基本的意味関係の事例
ベース(略記対)
略記対 3,276
名詞
文脈類似度
および人手
基本的意味関係の事例
ベース(異形同義語対)
同義語対 44,754
基本的意味関係の事例
ベース(異表記対)
異表記対 30,230
現在利用可能な日本語の語彙的換言知識
12
13. PPDB: Japanese
• 日英対訳コーパスをもとに全自動で構築
• 英語を中間意味表現(ピボット)として使用
• 換言:同じ英語に対応する複数の日本語の句
• 換言確率により、S・M・L・XLの4種類を提供
• 最も高精度なSサイズを使用
• それでも大規模(152万対) ※ 他は数万対
{の寿命がある/寿命がある}{ったらない/ったらありゃしない}
{、多くのこと/してたくさんのこと} {が鈍った/を遅らせた}
13
14. 名称 略称 収録数 品詞 収集方法 形式
PPDB: Japanese(S) PPDB 1,522,492 句 対訳コーパス 句→句
内容語換言辞書(用言) 用言 9,702 用言
人手 語→句
内容語換言辞書(名詞) 普通名詞 15,879 名詞
日本語WordNet同義語DB WordNet 23,506 名詞
言語資源
および人手
語→語
動詞含意関係データベース
(類似・上位下位関係)
Ntriv 63,572
動詞
含意スコア計算
(相互情報量)
および人手動詞含意関係データベース
(文字上包含関係にある)
Triv 30,453
基本的意味関係の事例
ベース(略記対)
略記対 3,276
名詞
文脈類似度
および人手
基本的意味関係の事例
ベース(異形同義語対)
同義語対 44,754
基本的意味関係の事例
ベース(異表記対)
異表記対 30,230
現在利用可能な日本語の語彙的換言知識
14
16. 名称 略称 収録数 品詞 収集方法 形式
PPDB: Japanese(S) PPDB 1,522,492 句 対訳コーパス 句→句
内容語換言辞書(用言) 用言 9,702 用言
人手 語→句
内容語換言辞書(名詞) 普通名詞 15,879 名詞
日本語WordNet同義語DB WordNet 23,506 名詞
言語資源
および人手
語→語
動詞含意関係データベース
(類似・上位下位関係)
Ntriv 63,572
動詞
含意スコア計算
(相互情報量)
および人手動詞含意関係データベース
(文字上包含関係にある)
Triv 30,453
基本的意味関係の事例
ベース(略記対)
略記対 3,276
名詞
文脈類似度
および人手
基本的意味関係の事例
ベース(異形同義語対)
同義語対 44,754
基本的意味関係の事例
ベース(異表記対)
異表記対 30,230
現在利用可能な日本語の語彙的換言知識
16
18. 名称 略称 収録数 品詞 収集方法 形式
PPDB: Japanese(S) PPDB 1,522,492 句 対訳コーパス 句→句
内容語換言辞書(用言) 用言 9,702 用言
人手 語→句
内容語換言辞書(名詞) 普通名詞 15,879 名詞
日本語WordNet同義語DB WordNet 23,506 名詞
言語資源
および人手
語→語
動詞含意関係データベース
(類似・上位下位関係)
Ntriv 63,572
動詞
含意スコア計算
(相互情報量)
および人手動詞含意関係データベース
(文字上包含関係にある)
Triv 30,453
基本的意味関係の事例
ベース(略記対)
略記対 3,276
名詞
文脈類似度
および人手
基本的意味関係の事例
ベース(異形同義語対)
同義語対 44,754
基本的意味関係の事例
ベース(異表記対)
異表記対 30,230
現在利用可能な日本語の語彙的換言知識
18
20. 名称 略称 収録数 品詞 収集方法 形式
PPDB: Japanese(S) PPDB 1,522,492 句 対訳コーパス 句→句
内容語換言辞書(用言) 用言 9,702 用言
人手 語→句
内容語換言辞書(名詞) 普通名詞 15,879 名詞
日本語WordNet同義語DB WordNet 23,506 名詞
言語資源
および人手
語→語
動詞含意関係データベース
(類似・上位下位関係)
Ntriv 63,572
動詞
含意スコア計算
(相互情報量)
および人手動詞含意関係データベース
(文字上包含関係にある)
Triv 30,453
基本的意味関係の事例
ベース(略記対)
略記対 3,276
名詞
文脈類似度
および人手
基本的意味関係の事例
ベース(異形同義語対)
同義語対 44,754
基本的意味関係の事例
ベース(異表記対)
異表記対 30,230
現在利用可能な日本語の語彙的換言知識
20
22. 名称 略称 収録数 品詞 収集方法 形式
PPDB: Japanese(S) PPDB 1,522,492 句 対訳コーパス 句→句
内容語換言辞書(用言) 用言 9,702 用言
人手 語→句
内容語換言辞書(名詞) 普通名詞 15,879 名詞
日本語WordNet同義語DB WordNet 23,506 名詞
言語資源
および人手
語→語
動詞含意関係データベース
(類似・上位下位関係)
Ntriv 63,572
動詞
含意スコア計算
(相互情報量)
および人手動詞含意関係データベース
(文字上包含関係にある)
Triv 30,453
基本的意味関係の事例
ベース(略記対)
略記対 3,276
名詞
文脈類似度
および人手
基本的意味関係の事例
ベース(異形同義語対)
同義語対 44,754
基本的意味関係の事例
ベース(異表記対)
異表記対 30,230
現在利用可能な日本語の語彙的換言知識
22
24. 0.0 0.2 0.4 0.6 0.8 1.0
PPDB: Japanese
用言等換言辞書
普通名詞換言辞書
WordNet同義語DB
動詞含意DB(Ntriv)
動詞含意DB(Triv)
略記対
異形同義語対
異表記対
正解率
語彙的換言知識の質的評価 24
評価者3人中2人以上が
換言可能と回答した割合
25. 0.0 0.2 0.4 0.6 0.8 1.0
PPDB: Japanese
用言等換言辞書
普通名詞換言辞書
WordNet同義語DB
動詞含意DB(Ntriv)
動詞含意DB(Triv)
略記対
異形同義語対
異表記対
正解率
一致率
語彙的換言知識の質的評価 25
評価者3人の評価が一致
( ooo or xxx )した割合
26. 0% 20% 40% 60% 80% 100%
PPDB: Japanese
用言等換言辞書
普通名詞換言辞書
WordNet同義語DB
動詞含意DB(Ntriv)
動詞含意DB(Triv)
略記対
異形同義語対
異表記対
常に換言可能
文脈によって換言可能
常に換言不可能
語彙的換言知識の質的評価 26