search

raoyongming / DynamicViT

[NeurIPS 2021] [T-PAMI] DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification
https://dynamicvit.ivg-research.xyz/
MIT License
551 stars 69 forks source link

请教一下关于class “AdaSwinTransformerBlock"中 forward function 中x1，x2的问题 #28

Closed LucasZhan closed 1 year ago

LucasZhan commented 1 year ago

首先很感谢几位作者的出色工作。 提这个issue主要是想请教一下关于class “AdaSwinTransformerBlock"中 forward function 中x1，x2的问题： 看完代码后我感觉DynamicViT>models>dyswin.py line553， 554是用于实现equation 6的功能的。不知道我判断的对不对。如果关于x1 x2的代码不是用于实现equation 6，那么这两个变量的作用是什么？如果是的话，能说一下思路吗？

提前感谢🙏

raoyongming commented 1 year ago

你好，感谢对我们工作的关注。这里实现的是拓展版本论文里面的Eq.13的功能。x1, x2分别表示特征中被选为fast和slow的部分。因为hierarchical结构（Swin/ConvNeXt）不能用我们原始的DynamicViT框架处理，我们新设计了针对这类结构的方法（见论文3.2）。

LucasZhan commented 1 year ago

谢谢，不好意思打扰了。我该看一下README的update的。