SlideShare une entreprise Scribd logo
1  sur  11
A Semantics-aware Transformer
Model of Relation Linking for
Knowledge Base Question
Answering
Tahira Naseem, Srinivas Ravishankar, Nandana Mihindukulasooriya, Ibrahim Abdelaziz, Young-Suk Lee,
Pavan Kapanipathi, Salim Roukos, Alfio Gliozzo, Alexander Gray
ACL 2021 , @論文読み会, 紹介者: Yoshiaki Kitagawa
※スライド中の資料は論文から引用しています
Summary
 Task
 Relation Linking
 sentence (question)中の entity 間の
relation が KB のどの relation に該当する
かを当てる
 先行研究と比べてどこがすごいか?
 KB を問わない (not 特定の KB)
 question text だけでなく、AMR (Abstract
Meaning Representation)の情報を利用
 技術や手法のキモ
 シンプルな Neural Relation Linking Model
 AMR の活用
 どうやって有効だと検証したか?
 Wikidata, DBpedia から作成された4つのQAデータ
セットで、Precision, Recall, F 値を測定
 このデータセットでは entity と entity の relation がア
ノテートされている(はず)
 議論はあるか?
 TBD
 次に読むべき論文
 AMR [Lim et al., 2020]
 Slot Prediction [Kapa- nipathi et al., 2021]
Introduction
 Knowledge base question answering (KBQA) は様々なアプリケーションから注目されているタスクであ
る
 そのサブタスクとして以下がある
 question を構造化された query に変換する
 Entity Linking
 Relation Linking
 例文: Who founded the city where Pat Vincent died?
 founded (founder) や died (death place) は relation
 Pat Vincent は entity
 に map する必要がある
Contribution
 KBに依存しないRelation linking のシンプルなニューラルモデルを提案
 AMR を使えるようにした
 4つのデータセットで stage-of-art
Semantics-aware Relation Linking のための AMR
 例文: Who founded the city where Pat Vincent
died? の AMR
 AMR は DAG で “who is doing what to whom“
を捉える ことができる
 query の target である node は amr-unknown と
lable 付けされる
Overall system flow
Slot Prediction
 slot の定義: AMR graph の node のペア
 AMR の parse 結果の node と KB の entity はリンクする (BLINK entity linker)
 [Kapanipathi et al., 2021] の rule base の手法を採用(詳しくはここを見る)
 amr-unknown と その他の entity node の間の slot を抽出
overall architecture of our model
Experiments results
Summary
 Task
 Relation Linking
 sentence (question)中の entity 間の
relation が KB のどの relation に該当する
かを当てる
 先行研究と比べてどこがすごいか?
 KB を問わない (not 特定の KB)
 question text だけでなく、AMR (Abstract
Meaning Representation)の情報を利用
 技術や手法のキモ
 シンプルな Neural Relation Linking Model
 AMR の活用
 どうやって有効だと検証したか?
 Wikidata, DBpedia から作成された4つのQAデータ
セットで、Precision, Recall, F 値を測定
 このデータセットでは entity と entity の relation がア
ノテートされている(はず)
 議論はあるか?
 TBD
 次に読むべき論文
 AMR [Lim et al., 2020]
 Slot Prediction [Kapa- nipathi et al., 2021]
参考資料
 論文: https://aclanthology.org/2021.acl-short.34.pdf

Contenu connexe

Tendances

I know what you asked graph path learning using amr for commonsense reasoning
I know what you asked  graph path learning using amr for commonsense reasoningI know what you asked  graph path learning using amr for commonsense reasoning
I know what you asked graph path learning using amr for commonsense reasoning
Ace12358
 

Tendances (7)

オブジェクト指向っぽい話
オブジェクト指向っぽい話オブジェクト指向っぽい話
オブジェクト指向っぽい話
 
Acl reading 2nd
Acl reading 2ndAcl reading 2nd
Acl reading 2nd
 
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
 
トピックモデルによる統計的潜在意味解析読書会 3.7 評価方法 - 3.9 モデル選択 #トピ本
トピックモデルによる統計的潜在意味解析読書会 3.7 評価方法 - 3.9 モデル選択 #トピ本トピックモデルによる統計的潜在意味解析読書会 3.7 評価方法 - 3.9 モデル選択 #トピ本
トピックモデルによる統計的潜在意味解析読書会 3.7 評価方法 - 3.9 モデル選択 #トピ本
 
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
トピックモデルの評価指標 Coherence 研究まとめ #トピ本トピックモデルの評価指標 Coherence 研究まとめ #トピ本
トピックモデルの評価指標 Coherence 研究まとめ #トピ本
 
I know what you asked graph path learning using amr for commonsense reasoning
I know what you asked  graph path learning using amr for commonsense reasoningI know what you asked  graph path learning using amr for commonsense reasoning
I know what you asked graph path learning using amr for commonsense reasoning
 
ICASSP2017読み会 (Deep Learning III) [電通大 中鹿先生]
ICASSP2017読み会 (Deep Learning III) [電通大 中鹿先生]ICASSP2017読み会 (Deep Learning III) [電通大 中鹿先生]
ICASSP2017読み会 (Deep Learning III) [電通大 中鹿先生]
 

Similaire à A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_question_answering

A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
Ace12358
 

Similaire à A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_question_answering (12)

A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_qu...
 
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
 
ICDE2014 Session 22 Similarity Joins
ICDE2014 Session 22 Similarity JoinsICDE2014 Session 22 Similarity Joins
ICDE2014 Session 22 Similarity Joins
 
Pfi last seminar
Pfi last seminarPfi last seminar
Pfi last seminar
 
Combining long short term memory and convolutional neural network for cross s...
Combining long short term memory and convolutional neural network for cross s...Combining long short term memory and convolutional neural network for cross s...
Combining long short term memory and convolutional neural network for cross s...
 
Knowledge_graph_alignment_with_entity-pair_embedding
Knowledge_graph_alignment_with_entity-pair_embeddingKnowledge_graph_alignment_with_entity-pair_embedding
Knowledge_graph_alignment_with_entity-pair_embedding
 
Neural Models for Information Retrieval
Neural Models for Information RetrievalNeural Models for Information Retrieval
Neural Models for Information Retrieval
 
MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習MapReduceによる大規模データを利用した機械学習
MapReduceによる大規模データを利用した機械学習
 
2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phrase2021 10-07 kdd2021読み会 uc phrase
2021 10-07 kdd2021読み会 uc phrase
 
A Novel Cascade Binary Tagging Framework for Relational Triple Extraction
A Novel Cascade Binary Tagging Framework for Relational Triple ExtractionA Novel Cascade Binary Tagging Framework for Relational Triple Extraction
A Novel Cascade Binary Tagging Framework for Relational Triple Extraction
 
Pgunconf ゆるいテキスト検索ふたたび - n-gram応用編
Pgunconf ゆるいテキスト検索ふたたび - n-gram応用編Pgunconf ゆるいテキスト検索ふたたび - n-gram応用編
Pgunconf ゆるいテキスト検索ふたたび - n-gram応用編
 
EMNLP 2011 reading
EMNLP 2011 readingEMNLP 2011 reading
EMNLP 2011 reading
 

Plus de Ace12358

Can language models be biomedical knowledge bases
Can language models be biomedical knowledge basesCan language models be biomedical knowledge bases
Can language models be biomedical knowledge bases
Ace12358
 
Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...
Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...
Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...
Ace12358
 
The contribution of_stylistic_information_to_content-based_mobile_spam_filtering
The contribution of_stylistic_information_to_content-based_mobile_spam_filteringThe contribution of_stylistic_information_to_content-based_mobile_spam_filtering
The contribution of_stylistic_information_to_content-based_mobile_spam_filtering
Ace12358
 
Dual tkb a-dual_learning_bridge_between_text_and_knowledge_base
Dual tkb  a-dual_learning_bridge_between_text_and_knowledge_baseDual tkb  a-dual_learning_bridge_between_text_and_knowledge_base
Dual tkb a-dual_learning_bridge_between_text_and_knowledge_base
Ace12358
 
Neural relation extraction for knowledge base enrichment introduced by Yoshia...
Neural relation extraction for knowledge base enrichment introduced by Yoshia...Neural relation extraction for knowledge base enrichment introduced by Yoshia...
Neural relation extraction for knowledge base enrichment introduced by Yoshia...
Ace12358
 

Plus de Ace12358 (14)

Can language models be biomedical knowledge bases
Can language models be biomedical knowledge basesCan language models be biomedical knowledge bases
Can language models be biomedical knowledge bases
 
Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...
Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...
Camouflaged chinese spam_content_detection_with_semi-supervised_generative_ac...
 
The contribution of_stylistic_information_to_content-based_mobile_spam_filtering
The contribution of_stylistic_information_to_content-based_mobile_spam_filteringThe contribution of_stylistic_information_to_content-based_mobile_spam_filtering
The contribution of_stylistic_information_to_content-based_mobile_spam_filtering
 
Dual tkb a-dual_learning_bridge_between_text_and_knowledge_base
Dual tkb  a-dual_learning_bridge_between_text_and_knowledge_baseDual tkb  a-dual_learning_bridge_between_text_and_knowledge_base
Dual tkb a-dual_learning_bridge_between_text_and_knowledge_base
 
Low-dimensional hyperbolic knowledge graph embeddings
Low-dimensional hyperbolic knowledge graph embeddingsLow-dimensional hyperbolic knowledge graph embeddings
Low-dimensional hyperbolic knowledge graph embeddings
 
Neural relation extraction for knowledge base enrichment introduced by Yoshia...
Neural relation extraction for knowledge base enrichment introduced by Yoshia...Neural relation extraction for knowledge base enrichment introduced by Yoshia...
Neural relation extraction for knowledge base enrichment introduced by Yoshia...
 
Emnl preading2016
Emnl preading2016Emnl preading2016
Emnl preading2016
 
Chainer meetup lt
Chainer meetup ltChainer meetup lt
Chainer meetup lt
 
Emnlp2015 reading festival_lstm_cws
Emnlp2015 reading festival_lstm_cwsEmnlp2015 reading festival_lstm_cws
Emnlp2015 reading festival_lstm_cws
 
Naacl2015unsupervised morph
Naacl2015unsupervised morphNaacl2015unsupervised morph
Naacl2015unsupervised morph
 
DeepLearning論文紹介@Ace12358
DeepLearning論文紹介@Ace12358DeepLearning論文紹介@Ace12358
DeepLearning論文紹介@Ace12358
 
DeepLearning3@Ace12358
DeepLearning3@Ace12358DeepLearning3@Ace12358
DeepLearning3@Ace12358
 
EMNLPreading@Ace12358
EMNLPreading@Ace12358 EMNLPreading@Ace12358
EMNLPreading@Ace12358
 
ACLreading2014@Ace12358
ACLreading2014@Ace12358ACLreading2014@Ace12358
ACLreading2014@Ace12358
 

Dernier

Dernier (11)

論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
論文紹介:Video-GroundingDINO: Towards Open-Vocabulary Spatio-Temporal Video Groun...
 
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その32024/04/26の勉強会で発表されたものです。
 
Utilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native IntegrationsUtilizing Ballerina for Cloud Native Integrations
Utilizing Ballerina for Cloud Native Integrations
 
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
Amazon SES を勉強してみる その22024/04/26の勉強会で発表されたものです。
 
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
論文紹介:Selective Structured State-Spaces for Long-Form Video Understanding
 
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
知識ゼロの営業マンでもできた!超速で初心者を脱する、悪魔的学習ステップ3選.pptx
 
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
論文紹介: The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games
 
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
Observabilityは従来型の監視と何が違うのか(キンドリルジャパン社内勉強会:2022年10月27日発表)
 
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
LoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイスLoRaWANスマート距離検出センサー  DS20L  カタログ  LiDARデバイス
LoRaWANスマート距離検出センサー DS20L カタログ LiDARデバイス
 
新人研修 後半 2024/04/26の勉強会で発表されたものです。
新人研修 後半        2024/04/26の勉強会で発表されたものです。新人研修 後半        2024/04/26の勉強会で発表されたものです。
新人研修 後半 2024/04/26の勉強会で発表されたものです。
 
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアルLoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
LoRaWAN スマート距離検出デバイスDS20L日本語マニュアル
 

A semantics aware-transformer_model_of_relation_linking_for_knowledge_base_question_answering

  • 1. A Semantics-aware Transformer Model of Relation Linking for Knowledge Base Question Answering Tahira Naseem, Srinivas Ravishankar, Nandana Mihindukulasooriya, Ibrahim Abdelaziz, Young-Suk Lee, Pavan Kapanipathi, Salim Roukos, Alfio Gliozzo, Alexander Gray ACL 2021 , @論文読み会, 紹介者: Yoshiaki Kitagawa ※スライド中の資料は論文から引用しています
  • 2. Summary  Task  Relation Linking  sentence (question)中の entity 間の relation が KB のどの relation に該当する かを当てる  先行研究と比べてどこがすごいか?  KB を問わない (not 特定の KB)  question text だけでなく、AMR (Abstract Meaning Representation)の情報を利用  技術や手法のキモ  シンプルな Neural Relation Linking Model  AMR の活用  どうやって有効だと検証したか?  Wikidata, DBpedia から作成された4つのQAデータ セットで、Precision, Recall, F 値を測定  このデータセットでは entity と entity の relation がア ノテートされている(はず)  議論はあるか?  TBD  次に読むべき論文  AMR [Lim et al., 2020]  Slot Prediction [Kapa- nipathi et al., 2021]
  • 3. Introduction  Knowledge base question answering (KBQA) は様々なアプリケーションから注目されているタスクであ る  そのサブタスクとして以下がある  question を構造化された query に変換する  Entity Linking  Relation Linking  例文: Who founded the city where Pat Vincent died?  founded (founder) や died (death place) は relation  Pat Vincent は entity  に map する必要がある
  • 4. Contribution  KBに依存しないRelation linking のシンプルなニューラルモデルを提案  AMR を使えるようにした  4つのデータセットで stage-of-art
  • 5. Semantics-aware Relation Linking のための AMR  例文: Who founded the city where Pat Vincent died? の AMR  AMR は DAG で “who is doing what to whom“ を捉える ことができる  query の target である node は amr-unknown と lable 付けされる
  • 7. Slot Prediction  slot の定義: AMR graph の node のペア  AMR の parse 結果の node と KB の entity はリンクする (BLINK entity linker)  [Kapanipathi et al., 2021] の rule base の手法を採用(詳しくはここを見る)  amr-unknown と その他の entity node の間の slot を抽出
  • 10. Summary  Task  Relation Linking  sentence (question)中の entity 間の relation が KB のどの relation に該当する かを当てる  先行研究と比べてどこがすごいか?  KB を問わない (not 特定の KB)  question text だけでなく、AMR (Abstract Meaning Representation)の情報を利用  技術や手法のキモ  シンプルな Neural Relation Linking Model  AMR の活用  どうやって有効だと検証したか?  Wikidata, DBpedia から作成された4つのQAデータ セットで、Precision, Recall, F 値を測定  このデータセットでは entity と entity の relation がア ノテートされている(はず)  議論はあるか?  TBD  次に読むべき論文  AMR [Lim et al., 2020]  Slot Prediction [Kapa- nipathi et al., 2021]