yan-hao-tian / VW

iclr2024 poster Varying Window Attention
MIT License
118 stars 19 forks source link

为什么VWFormer两个版本的不一样 #19

Closed sunhanzhang closed 4 months ago

sunhanzhang commented 4 months ago

为什么对于cityscapes数据集的VWFormer的这个代码,跟另外一个VWFormer的代码不一样?有人知道原因吗???

yan-hao-tian commented 4 months ago

差别不太大,一个是用mmcv的nonlocal实现attention的计算,一个是用torch的multiheadattention实现attention的计算。有时间我会对齐一下,前者效果其实会更好一点。