Linwei-Chen / FreqFusion

TPAMI:Frequency-aware Feature Fusion for Dense Image Prediction
254 stars 9 forks source link

ALPF generator中4×K^2×1×1的中间结果是如何得到的 #26

Open llgnll opened 5 days ago

llgnll commented 5 days ago

image 您好,论文对于ALPF generator的介绍中,似乎没有介绍这个4×K^2×1×1的中间结果是如何获得的,而代码中我也没有找到相关部分,能否请教一下?

Linwei-Chen commented 5 days ago

感谢对我们工作的关注!其pixel unshuffle以及后续计算在CARAFE里已经实现。简单来说,即使用4个kxk的滤波器可以得到4倍c(通道数)的结果,经过pixel unshuffle操作后就能得到2倍的上采样结果

llgnll commented 4 days ago

非常感谢您的解答!我还有一个小问题,在计算类间相似度的公式中,对Ωcls=0的解释是属于Y_i,j的类别区域,这里的Y_i,j是什么 image

Linwei-Chen commented 4 days ago

是融合的特征,在这里您可以理解为特征图上某个点

llgnll commented 4 days ago

感谢您的解答!是的,这个我能理解,我想问的是,对于类内相似度,计算的是Y_i,j与其所属类中心的余弦相似度,而对于类间相似度,计算的是Y_i,j与其他类中心的余弦相似度,但是其他类每个类有一个类中心,也就有多个类中心,那我应该选取哪个类中心来计算余弦相似度呢,还是说对这些类中心进行加权平均?

Linwei-Chen commented 4 days ago

是的,平均即可

llgnll commented 4 days ago

再次感谢您的解答!

Linwei-Chen commented 4 days ago

🥳