[WIP] Pay Less Attention with Lightweight and Dynamic Convolutions

[agatan]

• ICLR 2019
• 当時、機械翻訳の SoTA を更新（同時にたくさんの論文が SoTA 更新してたので一瞬だった...）

Transformer のような self-attention 機構が流行っていて、性能も良い。 が、すべての timestep について attention を計算するのでコストが高いという問題がある。（timestep ^ 2 の計算が必要なので）