请问一下，这里的attention2d,是什么类型的attention机制呢？

kaijieshi7 / Dynamic-convolution-Pytorch

Pytorch!!!Pytorch!!!Pytorch!!! Dynamic Convolution: Attention over Convolution Kernels (CVPR-2020)

553 stars 91 forks source link

Open shuyuandeqipa opened 4 years ago

kaijieshi7 commented 4 years ago

我是按照《Dynamic Convolution: Attention over Convolution Kernels》这篇文章实现的。文章中图示了他的attention，就是简单的加权求和。 v2-253337874838d4b99e6a0609e6f0d150_720w

Asthestarsfalll commented 3 years ago

使用了SE block外加一个Softmax来生成注意力，属于通道注意力吧，不过是对卷积核的通道