关于计算注意力时的自适应平均池化和之后的双线性插值上采样。

VCIP-RGBD / DFormer

[ICLR 2024] DFormer: Rethinking RGBD Representation Learning for Semantic Segmentation

MIT License

142 stars 24 forks source link

Closed kikyou2018 closed 4 months ago

kikyou2018 commented 4 months ago

您好。在一些其它的工作，如segformer中，降低注意力复杂度的一种方法是，通过不重叠的Conv2d降低K、V的个数，后续且不需要上采样。那么DFormer的工作中，却选择通过降低Q的个数降低计算量，是出于什么考量？