search

kacky24 / papers

my publications and short summaries of papers I have read
3 stars 1 forks source link

Pay Less Attention with Lightweight and Dynamic Convolutions #46

Closed kacky24 closed 5 years ago

kacky24 commented 5 years ago

short summary

Lightweight convolution, Dynamic convolutionという機構を提案し、self attentionを使わなくても、よりシンプルで効率的な構造で、翻訳だけでなく、言語モデルや要約タスクにおいてもself attentionベースの手法に匹敵する・しのぐ結果を出した。（transformerのself-attention部分を提案モジュールに置き換える感じで）

2019-02-04 13 47 37

わかりやすい資料URL https://qiita.com/koreyou/items/328fa92a1d3a7e680376

補足

Dynamic convolution

2019-02-04 13 58 16

において、f(Xi)は、

2019-02-04 14 00 10 2019-02-04 14 00 16

と表されるが、この操作においては、あるタイムステップの単語のベクトルだけを用いて、グループ数H＊カーネルサイズkの重みを動的に生成している。

author

Felix Wu∗ Cornell University Angela Fan, Alexei Baevski, Yann N. Dauphin, Michael Auli Facebook AI Research

URL

https://openreview.net/pdf?id=SkVhlh09tX

year

ICLR2019