search

raoyongming / DynamicViT

[NeurIPS 2021] [T-PAMI] DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification
https://dynamicvit.ivg-research.xyz/
MIT License
576 stars 72 forks source link

FLOPs #9

Closed Cydia2018 closed 2 years ago

Cydia2018 commented 2 years ago

请问作者，对于动态DeiT，如何计算其在某个数据集上的FLOPs？例如在文章中的表1，GFLOPs的值是ImageNet全部测试集在模型的平均GFLOPs吗？

raoyongming commented 2 years ago

我们的模型能够动态选择保留token，但是为了方便并行计算，在测试时候我们对不同样本固定了保留token的数目，所以每个样本的推理FLOPs是完全一致的，具体细节可以参考论文Section 3.4.

Cydia2018 commented 2 years ago

我们的模型能够动态选择保留token，但是为了方便并行计算，在测试时候我们对不同样本固定了保留token的数目，所以每个样本的推理FLOPs是完全一致的，具体细节可以参考论文Section 3.4.

明白，感谢您的回复。