search

wofmanaf / SA-Net

Code for our ICASSP 2021 paper: SA-Net: Shuffle Attention for Deep Convolutional Neural Networks
249 stars 42 forks source link

SA模块添加位置的疑问 #6

Closed Suncheng2019 closed 3 years ago

Suncheng2019 commented 3 years ago

您好，读了您发表的SA注意力机制文章，想尝试一下。但是总得不到较好的结果，甚至比不添加注意力精度要低一点点，我想可能是我添加的位置有问题。 我在尝试往YOLOv3的Darknet-53中添加SA注意力，对于位置的选取有些疑问，比如是将SA添加到Residual模块里面或外面，是否对所有Residual都添加SA，以及Groups分组数是否可以修改呢？ 期望您的回复。

wofmanaf commented 3 years ago

我没有试过YOLOv3, 默认情况下是将SA添加到Residual模块里面, 为了保证速度,可以只在每个stage的最后一个block添加,groups分组数可以修改的.由于Darknet-53每个stage输出的channel较小,可以尝试采用较小的group分组数,比如32, 16

Suncheng2019 commented 3 years ago

我没有试过YOLOv3, 默认情况下是将SA添加到Residual模块里面, 为了保证速度,可以只在每个stage的最后一个block添加,groups分组数可以修改的.由于Darknet-53每个stage输出的channel较小,可以尝试采用较小的group分组数,比如32, 16 非常感谢您的回复! 我按照您的建议添加了5处SA模块, 正在等结果. 看您论文中使用的数据集规模较大, 如果个人数据集较小的话(增强扩容后大约20000张), 添加SA模块后会在精度上有比较明显提升吗? 或者添加SA会在其他方面有提升吗? (再次感谢您的回复, 因为您的Attention机制很新很轻量, 非常希望能体验一下效果 哈! 祝生活愉快^_^ !)

syh-hue commented 3 years ago

我没有试过YOLOv3，下是将SA添加到Residual模块里面，为了保证速度，可以只在每个阶段的最后一个块添加，组输出数可以修改。因为Darknet-53stage输出的频道，可以结果尝试采用的小组结果数，例如 32，16 非常感谢您的回复处！ 我按照您的模块的建议添加了 5SA，正在等。 看中论文您使用的集数较快大，如果如果增幅扩大容后大约2000张的话，加SA模块后会在精度上有比较明显的提升吗？或者添加SA会在其他方面有提升吗？ （再次感谢您的回复，因为您的注意力机制很新很轻，非常希望能体验一下效果哈！祝生活愉快^_^！）

你好，请问您每一个阶段最后一个模块添加之后结果如何了呢，是不是取得了比较理想的结果？是否可以分享一些结果