[2019]Pay Less Attention with Lightweight and Dynamic Convolutions

IkokObi commented 5 years ago

ざっくり言うと

NLPでself-attentionが流行っているが，それに変わってlightweight convolutionとdynamic convolutionを提案
self-attentionと異なり，系列全体の情報は使わない．それでいて匹敵する性能
入力系列長Nに対してO(N^2)で計算量が増えるself-attentionに対して，提案した2つはO(N)で済む
層の数を同じとすると，パラメータの数が少なくなる
ICLR投稿論文であり，翻訳タスクでSOTAを名乗っているが，同タイミングで他にもSOTAが出ているらしい
キーワード
NLP
translation
document summarization
lightweight convolution, dynamic convolution

1. 情報

論文リンク

https://arxiv.org/abs/1901.10430

著者

Felix Wu, Angela Fan, Alexei Baevski, Yann N. Dauphin, Michael Auli (Facebook)

投稿日付

2019/1/29

2. 先行研究と比べてどこがすごい？

入力系列長Nに対してO(N^2)で計算量が増えるself-attentionに対して，O(N)で済むモデルを提案
翻訳タスクでSOTA
言語モデル，要約タスクにおいてもself-attentionを使ったベースラインモデル以上の性能
Transformerのself-attentionを置き換える形で実装可能であり，self-attentionよりもパラメータ数が少ない
パラメータ数，計算量で利点があるにも関わらずself-attentionと同等の性能
推論スピードが高速

3. 技術や手法のキモはどこ？

チャネル方向への畳み込みがないDepthwise convolutionを応用
チャネル方向にいくつかは共通のカーネルを使用
カーネルの形を入力単語xの関数としたdynamic convolution

4. どうやって有効だと検証した？

4つの翻訳タスク
- English-German(SOTA)
- English-French
- English-Chinese
- German-English
Language Modeling
Document Summarization
- abstractive summarization

5. 議論はある？

NLPの他のタスク(question-answering)やCV分野への適用

6. 次に読むべき論文は？

Xception: Deep Learning with Depthwise Separable Convolutions
- François Chollet
- https://arxiv.org/abs/1610.02357
- 著者はKerasのメイン開発者

IkokObi commented 5 years ago

7. 実装の詳細

基本的にはTransformerのself-attention部分を置き換える形
チャネル方向への畳み込みを行わないdepthwise convolutionを使用
lightweight conv.はdepthwise conv.を更にチャネル方向にいくつか共通化している
dynamic conv.はkernelを入力xの関数としている
パラメータ数がだいぶ削減される
実装の際には，cudaにおける計算を高速化するために工夫を入れている

IkokObi commented 5 years ago

8. データセット

翻訳タスク
- English-German
- 学習データ: WMT’16データ4,500,000ペア
- Englist-French
- 学習データ: WMT'14データ36,000,000ペア
- English-Chinese
- 学習データ: WMT’17データ20,000,000ペア
- German-English
- 学習データ: IWSLT’14データ160,000ペア
言語モデルタスク
- Billion word dataset: 768,000,000tokens
文章要約タスク
- CNN-DailyMailデータ: 280,000ペア

IkokObi commented 5 years ago

9. 結果の詳細

翻訳タスクの結果
言語モデル及び要約タスクの結果

IkokObi commented 5 years ago

雑感&メモ

実装あり(http://github.com/pytorch/fairseq)
depthwise convolutionについては下のリンクが分かりやすかった
- https://qiita.com/yu4u/items/34cd33b944d8bdca142d

karakuri-ai / paper-readings

[2019]Pay Less Attention with Lightweight and Dynamic Convolutions #5

ざっくり言うと

キーワード

1. 情報

論文リンク

著者

投稿日付

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？

7. 実装の詳細

8. データセット

9. 結果の詳細

雑感&メモ