search

usersan / papers

読んだ論文のメモ置き場：主にエッジAI、高速化、FPGA実装関連など
0 stars 0 forks source link

Rethinking Attention with Performers #40

Open tera1k opened 10 months ago

tera1k commented 10 months ago

0. 論文

https://arxiv.org/abs/2009.14794v4

Krzysztof Choromanski, Valerii Likhosherstov, David Dohan, Xingyou Song, Andreea Gane, Tamas Sarlos, Peter Hawkins, Jared Davis, Afroz Mohiuddin, Lukasz Kaiser, David Belanger, Lucy Colwell, Adrian Weller

1. どんなもの？

FAVOR+：アテンションの演算を低ランク近似 image

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？