raoyongming / DynamicViT

[NeurIPS 2021] [T-PAMI] DynamicViT: Efficient Vision Transformers with Dynamic Token Sparsification
https://dynamicvit.ivg-research.xyz/
MIT License
551 stars 69 forks source link

论文细节请教 #16

Closed wangning7149 closed 2 years ago

wangning7149 commented 2 years ago

作者,您好!请问论文中公式5中: 原公式是经过softmax生成一个[N,2]的tensor, 请问可不可以用sigmoid生成一个[N,1]的tensor呢?

raoyongming commented 2 years ago

你好,应该是可以的,但是需要调整对应的gumbel softmax的实现。因为生成[N,2]的tensor能直接使用F.gumbel_softmax,并且多出来的计算量几乎忽略不计,所以我在代码中选择了这个更简洁的实现。