QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension

[icoxfog417]

一言でいうと

質問回答のモデルを、CNN+Attentionのみで作成したという研究。これにより、学習/推論速度が向上し精度も高まった。入力ベクトルには単語以外に文字も使用し、畳み込みはCNN+Self Attention+全結合で行っている。また、データの水増しとして翻訳モデルを使用している(英語=>仏語=>英語に戻して水増し)

論文リンク

https://arxiv.org/abs/1804.09541

著者/所属機関

Adams Wei Yu, David Dohan, Minh-Thang Luong, Rui Zhao, Kai Chen, Mohammad Norouzi, Quoc V. Le

• Carnegie Mellon University
• Google Brain

投稿日付(yyyy/MM/dd)

2018/4/23

概要

新規性・差分

手法

結果

コメント

[icoxfog417]

実装が公開 https://github.com/hengruo/QANet-pytorch