search

usersan / papers

読んだ論文のメモ置き場：主にエッジAI、高速化、FPGA実装関連など
0 stars 0 forks source link

Training data-efficient image transformers & distillation through attention #47

Open tera1k opened 10 months ago

tera1k commented 10 months ago

0. 論文

https://arxiv.org/abs/2012.12877v2

Hugo Touvron, Matthieu Cord, Matthijs Douze, Francisco Massa, Alexandre Sablayrolles, Hervé Jégou

1. どんなもの？

DeiTの論文 ViTと同じアーキテクチャで、蒸留だったりData Augmentationを使ってる？

2. 先行研究と比べてどこがすごい？

3. 技術や手法のキモはどこ？

4. どうやって有効だと検証した？

5. 議論はある？

6. 次に読むべき論文は？