[DL Hacks]DROPデータセットによるMachine Reading Comprehension研究の状況
•
1 j'aime•1,640 vues
2019/11/18 Deep Learning JP: http://deeplearning.jp/hacks/
Recommandé
Contenu connexe
Tendances
Tendances (20)
Similaire à [DL Hacks]DROPデータセットによるMachine Reading Comprehension研究の状況
Similaire à [DL Hacks]DROPデータセットによるMachine Reading Comprehension研究の状況 (20)
Plus de Deep Learning JP
Plus de Deep Learning JP (20)
Dernier
Dernier (7)
[DL Hacks]DROPデータセットによるMachine Reading Comprehension研究の状況
- 3. Background 3
- 10. Methods 10
- 15. NAQANetHeads1/2 QANetの後に算術処理ができるようにモジュール(Head)を追加 1.Passage(Question)Span ⼊⼒⽂章からある区間(span)を抽出して回答する質問形式に対応 ⽂章の始まりの単語と終わりの単語の位置を指定する分布 と を埋め 込み表現から予測 2.Count ⽂章内の要素の個数を数えて回答する質問形式に対応 簡単のため0-9まで値の分布 を予測 pp_start pp_end pcount 15
- 16. NAQANetHeads2/2 3.ArithmeticExpression ⼊⼒⽂章内の数値の加減算によって答えが得られる質問形式に対応 ⽂章内の数値を抽出しておき、それぞれに {+, -, 0} をアサインする p =i sign softmax FFN h( ( i N )) FFN(·) はReLUを使った2層のFC, は 番⽬の数値の埋め込み 最後にそれらを掛けた上で、算術的に⾜し合わせる hi N i 16
- 17. NAQANetTraining Answertypeprediction 最終的にどの形式の出⼒を回答として使⽤するか決める必要がある p =type softmax FFN h , h( ([ P Q ])) は注意機構を使って集約した参照⽂Pと質問⽂Qの分散表現 Weakly-SupervisedTraining 学習時にはスパン分布の予測、カウント数の予測、(可能な限り)全ての組み合わせの 算術計算を実⾏し、尤度を計算 Pr( type ) Pr( answer ∣ type ) h , hP Q 17
- 23. MTMSN/ArithmeticExpressionReranking {+, -, 0} を、それぞれの数値の埋め込みだけ⾒てアサイ ンするとうまくコンテキストが⾒れないので、Beam Searchを使って補正 23
- 26. Tag-basedMulti-SpanExtractionwithNABERT+(5th) Tag-basedMulti-SpanExtractioninReadingComprehension https://arxiv.org/abs/1909.13375 MTMSNと同様、Multi-Spanの問題に取り組んだ MTMSNと基本は同じだが、Spanの選び出しに、NMSアルゴリズムによる選び出しでは なく系列ラベリングのように各単語に BIO のタグをつけていく B :Beginningofaspan I :Insideofaspan O :notincludedinaspan 26
- 29. NumNetReasoningModule1/3 質問⽂Qと参照⽂P内の各数値に対応する埋め込み表現をノードする集合 V = V ∪Q V P ⼆種類のエッジの集合 GreaterRelationEdge( ) のノードについて、関係が となっている、 のエッジからなる集合 LowerorEqualRelationEdge( ) のノードについて、関係が となっている、 のエッジからなる集合 , からなる有向グラフ を構築 V E E v , v ∈i j V n v >( i) n v( j ) =eij v , v( i j ) E v , v ∈i j V n v ≤( i) n v( j ) =e ij v , v( i j ) V E G = (V , E) 29
- 30. NumNetReasoningModule2/3 ♤1.NodeRelatednessMeasure ノードに対するAttensionを計算 α =i sigmoid W v[i] + b( v v) ♤2.MessagePropagation 隣接ノードの情報を集約(Message関数による伝搬) =vi ′ α W v[j] N∣ i∣ 1 ⎝ ⎜ ⎛ j∈Ni ∑ j rji ⎠ ⎟ ⎞ N =i j∣ v , v ∈ E , r ∈{ ( j i) } ij {>, ≤} × {q − q, p − p, q − p, p − q} 30
- 31. NumNetReasoningModule3/3 ♤3.NodeRepresentationUpdate 集約された表現を元に、各ノードの新しい分散表現を計算 v =i ′ ReLU W v + + b( f i vi ′ f ) ♤1-♤3を単位ステップ Reasoning-Step(·) として、これをK回繰り返し、得られた表現を 後段のPredictionModuleで使⽤する v =t Reasoning-Step v( t−1 ) K=3がベストスコアで、K>3では出⼒が不安定になるとのこと。 31
- 41. Dataloaders AllenNLPで実装されたDROP⽤の公式(?)Dataloaderが公開されている https://github.com/allenai/allennlp/blob/master/allennlp/data/dataset_readers/reading_co mprehension/drop.py @overrides def _read(self, file_path: str): # if `file_path` is a URL, redirect to the cache file_path = cached_path(file_path) logger.info("Reading file at %s", file_path) with open(file_path) as dataset_file: dataset = json.load(dataset_file) logger.info("Reading the dataset") kept_count, skip_count = 0, 0 for passage_id, passage_info in dataset.items(): passage_text = passage_info["passage"] passage_tokens = self._tokenizer.tokenize(passage_text) passage_tokens = split_tokens_by_hyphen(passage_tokens) for question_answer in passage_info["qa_pairs"]: [略] 41
- 50. 50