9. 関連研究
• Elena Voita, David Talbot, Fedor Moiseev, Rico Sennrich, Ivan
Titov. Analyzing multi-head self-attention: Specialized heads do
the heavy lifting, the rest can be pruned. In ACL, 2019.
• Kevin Clark, Urvashi Khandelwal, Omer Levy, Christopher D.
Manning. What Does BERT Look At? An Analysis of BERT's
Attention. In BlackBoxNLP, 2019
9
10. 実験
基本的には二つのタスク
• WMT2014 English to French corpusで訓練したlarge transformer
のnewstest2013 test setでの評価
• MultiNLIデータにおいてfinetuningをしたBERTの”base-uncased”
モデルの”matched” validation setにおける評価
10
22. Appendix
重要であると考えられたheadについて
• 同様の研究がAnalyzing multi-head self-attention: Specialized
heads do the heavy lifting, the rest can be pruned. でも行われて
いて具体的に重要なheadがどのような役割をしているのかを調べ
た
• Syntax的な役割, positionalな役割, rare wordへの対処に関する
役割などが観察された
22