Soumettre la recherche
Mettre en ligne
Reasoning with neural tensor networks for knowledge base completion
•
0 j'aime
•
1,787 vues
J
Junya Kamura
Suivre
arXive times 論文輪講資料
Lire moins
Lire la suite
Sciences
Signaler
Partager
Signaler
Partager
1 sur 23
Télécharger maintenant
Télécharger pour lire hors ligne
Recommandé
[DL輪読会]"Improving Coherence and Consistency in Neural Sequence Models with Du...
[DL輪読会]"Improving Coherence and Consistency in Neural Sequence Models with Du...
Deep Learning JP
DLゼミ20170522
DLゼミ20170522
harmonylab
ResNest: split-attention networks
ResNest: split-attention networks
harmonylab
[Dl輪読会]A simple neural network module for relational reasoning
[Dl輪読会]A simple neural network module for relational reasoning
Deep Learning JP
DEIM2022_根岸寛太.pptx
DEIM2022_根岸寛太.pptx
KantaNegishi1
An efficient framework for learning sentence representations
An efficient framework for learning sentence representations
Yuya Soneoka
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
Deep Learning JP
データサイエンス概論第一=0 まえがき
データサイエンス概論第一=0 まえがき
Seiichi Uchida
Recommandé
[DL輪読会]"Improving Coherence and Consistency in Neural Sequence Models with Du...
[DL輪読会]"Improving Coherence and Consistency in Neural Sequence Models with Du...
Deep Learning JP
DLゼミ20170522
DLゼミ20170522
harmonylab
ResNest: split-attention networks
ResNest: split-attention networks
harmonylab
[Dl輪読会]A simple neural network module for relational reasoning
[Dl輪読会]A simple neural network module for relational reasoning
Deep Learning JP
DEIM2022_根岸寛太.pptx
DEIM2022_根岸寛太.pptx
KantaNegishi1
An efficient framework for learning sentence representations
An efficient framework for learning sentence representations
Yuya Soneoka
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
[DL輪読会]Bayesian Uncertainty Estimation for Batch Normalized Deep Networks
Deep Learning JP
データサイエンス概論第一=0 まえがき
データサイエンス概論第一=0 まえがき
Seiichi Uchida
文献紹介:Recursive Deep Models for Semantic Compositionality Over a Sentiment Tre...
文献紹介:Recursive Deep Models for Semantic Compositionality Over a Sentiment Tre...
Shohei Okada
Paper: clinically accuratechestx-rayreport generation_noself
Paper: clinically accuratechestx-rayreport generation_noself
Yusuke Fujimoto
Paper: seq2seq 20190320
Paper: seq2seq 20190320
Yusuke Fujimoto
正則化による尤度比推定法を応用した多値分類器の改良
正則化による尤度比推定法を応用した多値分類器の改良
MasatoKikuchi4
[DL輪読会]Measuring abstract reasoning in neural networks
[DL輪読会]Measuring abstract reasoning in neural networks
Deep Learning JP
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
Seiichi Uchida
4thNLPDL
4thNLPDL
Sho Takase
[DL輪読会]FOTS: Fast Oriented Text Spotting with a Unified Network
[DL輪読会]FOTS: Fast Oriented Text Spotting with a Unified Network
Deep Learning JP
Coursera Machine Learning week1
Coursera Machine Learning week1
Junya Kamura
Derivative models from BERT
Derivative models from BERT
Junya Kamura
Parameterized convolutional neural networks for aspect level classification
Parameterized convolutional neural networks for aspect level classification
Junya Kamura
Machine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hub
Junya Kamura
Deep learning for_extreme_multi-label_text_classification
Deep learning for_extreme_multi-label_text_classification
Junya Kamura
Deep contextualized word representations
Deep contextualized word representations
Junya Kamura
事例から見る人工知能の現在と、企業における活用方法
事例から見る人工知能の現在と、企業における活用方法
Junya Kamura
論文輪講 Initializing convolutional filters with semantic features for text class...
論文輪講 Initializing convolutional filters with semantic features for text class...
Junya Kamura
Deep learningの世界に飛び込む前の命綱
Deep learningの世界に飛び込む前の命綱
Junya Kamura
Contenu connexe
Similaire à Reasoning with neural tensor networks for knowledge base completion
文献紹介:Recursive Deep Models for Semantic Compositionality Over a Sentiment Tre...
文献紹介:Recursive Deep Models for Semantic Compositionality Over a Sentiment Tre...
Shohei Okada
Paper: clinically accuratechestx-rayreport generation_noself
Paper: clinically accuratechestx-rayreport generation_noself
Yusuke Fujimoto
Paper: seq2seq 20190320
Paper: seq2seq 20190320
Yusuke Fujimoto
正則化による尤度比推定法を応用した多値分類器の改良
正則化による尤度比推定法を応用した多値分類器の改良
MasatoKikuchi4
[DL輪読会]Measuring abstract reasoning in neural networks
[DL輪読会]Measuring abstract reasoning in neural networks
Deep Learning JP
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
Seiichi Uchida
4thNLPDL
4thNLPDL
Sho Takase
[DL輪読会]FOTS: Fast Oriented Text Spotting with a Unified Network
[DL輪読会]FOTS: Fast Oriented Text Spotting with a Unified Network
Deep Learning JP
Similaire à Reasoning with neural tensor networks for knowledge base completion
(8)
文献紹介:Recursive Deep Models for Semantic Compositionality Over a Sentiment Tre...
文献紹介:Recursive Deep Models for Semantic Compositionality Over a Sentiment Tre...
Paper: clinically accuratechestx-rayreport generation_noself
Paper: clinically accuratechestx-rayreport generation_noself
Paper: seq2seq 20190320
Paper: seq2seq 20190320
正則化による尤度比推定法を応用した多値分類器の改良
正則化による尤度比推定法を応用した多値分類器の改良
[DL輪読会]Measuring abstract reasoning in neural networks
[DL輪読会]Measuring abstract reasoning in neural networks
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
4thNLPDL
4thNLPDL
[DL輪読会]FOTS: Fast Oriented Text Spotting with a Unified Network
[DL輪読会]FOTS: Fast Oriented Text Spotting with a Unified Network
Plus de Junya Kamura
Coursera Machine Learning week1
Coursera Machine Learning week1
Junya Kamura
Derivative models from BERT
Derivative models from BERT
Junya Kamura
Parameterized convolutional neural networks for aspect level classification
Parameterized convolutional neural networks for aspect level classification
Junya Kamura
Machine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hub
Junya Kamura
Deep learning for_extreme_multi-label_text_classification
Deep learning for_extreme_multi-label_text_classification
Junya Kamura
Deep contextualized word representations
Deep contextualized word representations
Junya Kamura
事例から見る人工知能の現在と、企業における活用方法
事例から見る人工知能の現在と、企業における活用方法
Junya Kamura
論文輪講 Initializing convolutional filters with semantic features for text class...
論文輪講 Initializing convolutional filters with semantic features for text class...
Junya Kamura
Deep learningの世界に飛び込む前の命綱
Deep learningの世界に飛び込む前の命綱
Junya Kamura
Plus de Junya Kamura
(9)
Coursera Machine Learning week1
Coursera Machine Learning week1
Derivative models from BERT
Derivative models from BERT
Parameterized convolutional neural networks for aspect level classification
Parameterized convolutional neural networks for aspect level classification
Machine learning 15min TensorFlow hub
Machine learning 15min TensorFlow hub
Deep learning for_extreme_multi-label_text_classification
Deep learning for_extreme_multi-label_text_classification
Deep contextualized word representations
Deep contextualized word representations
事例から見る人工知能の現在と、企業における活用方法
事例から見る人工知能の現在と、企業における活用方法
論文輪講 Initializing convolutional filters with semantic features for text class...
論文輪講 Initializing convolutional filters with semantic features for text class...
Deep learningの世界に飛び込む前の命綱
Deep learningの世界に飛び込む前の命綱
Reasoning with neural tensor networks for knowledge base completion
1.
Reasoning With Neural
Tensor Networks for Knowledge Base Completion Richard Socher, Danqi Chen, Christopher D. Manning, Andrew Y. Ng 2017/04/25 論文輪講 嘉村準弥
2.
agenda • 概要 • 手法 •
関連手法 • 実験 • まとめ
3.
概要
4.
概要 • 2エンティティ間の関係を予測するモデルである Neural Tensor
Networkを提案+初期化方式の改良 による性能向上 • 知識ベースにおける2単語を基に関係性予測を行っ たところ既存のモデルを上回り、WordNetで86.2%、 FreeBaseで90.0%の精度を得ることが出来た
5.
エンティティ間の関係性
6.
Neural Tensor Network (NTN) •
2単語 が特定の関係Rである確率を求める e.g. (Bengal tiger, has part, tail) = true (e1,e2 ) f = tanh WR [1:k] ∈ d×d×k = テンソル slice_i = 1,...,k = テンソルのスライス 以下はニューラルネットワークの標準形式 VR ∈ k×2d U ∈ k bR ∈ k
7.
提案手法
8.
Neural Tensor Network f
= tanh WR [1:k] ∈ d×d×k slice_i = 1,...,k • テンソルの各スライスは関係性それぞれ示していると見なすことが出来る。 →違う分野においても同様の関係として学習できる (「has part」と言う関係においてBengal tiger→tailとcar→brakeは 同様な関係と見なすことができる) VR ∈ k×2d U ∈ k bR ∈ k
9.
関連手法
10.
関連手法(Distance Model) • 2単語間のL1距離を測ることによって関連性を推測 →スコアが低いほど関連性が強い •
問題点として2つのエンティティベクトルのパラメー タが相互作用しない WR,1,WR,2 ∈ d×d
11.
関連手法(Singule Layer Model) •
単一層ニューラルネットワーク(非線形) • 2つのエンティティベクトル間の弱い相互作用しか表現 できない • 提案手法におけるテンソル=0の状況 f = tanh WR,1,WR,2 ∈ k×d uR ∈ k×1
12.
関連手法(Hadamard Model) • 複数の線形積を介してエンティティベクトルと相互 作用する単一のベクトルとして表現 f
= tanh W1,Wrel,1,W2,Wrel,2 ∈ d×d b1,b2 ∈ d×1 eR = relacion_ specific_ parameter
13.
関連手法(Bilinear Model) • 双線形形式であり、線形相互作用のみをモデル化す ることができる。より複雑なモデルに適合できない •
提案モデルにおけるパラメータ設定を変更した場合 と同義 g(e1,R,e2 ) = e1 T WRe2 WR ∈ d×d
14.
提案モデルの利点 • bilenear modelと比較して大きいデータベースの場 合に特に有用な表現力を備える •
より小さいデータセットの場合、スライスの数を減 らすことができ、関係間で変更することが可能
15.
初期化について • ランダム初期化でも良いが、さらなる向上を目指す ・単語ベクトルでエンティティベクトルを表現 ・事前に教師なし訓練された単語ベクトルで初期化 • エンティティベクトルは単語ベクトルを平均化する と性能が向上 Vhomo
sapiens = 0.5(Vhomo + Vsapiens)
16.
実験
17.
データセットと各データ数 • 不要な関係は除外して学習を実行 (言い換えの関係「みかんとオレンジは似ている=オレンジとみかんは似ている」など) • Wordnetは2つの単語を自由に設定可能 •
Freebaseは関係性毎に単語が制限されている (関係性がgenderであればもう片方の単語はmale or femaleに制限される
18.
テストデータ • テストデータの関係性をランダムに入れ替えること によって 2×#Test
トリプレットを作成 →ポジティブ、ネガティブデータを用意 • Freebaseに於いてはあり得る単語の組み合わせタ イプのみ用意。 (Pablo Picaso、国籍、スペイン)→ポジティブ (Pablo Picaso、国籍、米国)→ネガティブ (Pablo Picaso、国籍、Gogh)→不適当(テスト未使用)
19.
テスト方法 • 各モデルとの精度を比較 • 開発データを用いてクロスバリデーションを行い、 最適なハイパーパラメータを算出) 1.
vector initialization 2. λ=0.0001 3. 隠れ層d=100 (single layer, NTN) 4. training iterations T=500 5. NTNにおけるスライス数=4
20.
精度比較結果 • WordNet →既存最高性能であるBilinearより2%向上 →Single Layerよりより4%向上(?)
21.
提案手法における 関係性毎の精度 • 関係性毎に精度は異なるが、いずれも他の手法より 高精度であった (施設や死因などは推測が困難)
22.
初期化方法別による精度比較 • WV-init(事前に教師なし訓練された単語ベクトル で初期化)モデルが最も性能が良くなった。
23.
まとめ • NTNというモデルで2エンティティ間の関係性推測 が良好に行えた • エンティティを単語ベクトルの平均で初期化するこ とにより性能が向上
Télécharger maintenant