resnet的卷积核大小

YOLOonMe / EMA-attention-module

Implementation Code for the ICCASSP 2023 paper " Efficient Multi-Scale Attention Module with Cross-Spatial Learning" and is available at: https://arxiv.org/abs/2305.13563v2

163 stars 9 forks source link

resnet的卷积核大小 #4

Closed hefangnan closed 11 months ago

hefangnan commented 11 months ago

您好，看到您提供的resnet50上训练的权重文件，在一开头使用的是3×3大小的卷积核，而并非官方提供的7乘7大小的卷积核，而且3×3的卷积核只有一层，请问这样不会导致感受野不同而对最终的性能产生影响吗？ Snipaste_2023-09-18_21-57-46

YOLOonMe commented 11 months ago

@hefangnan 1. 3x3卷积核是对比的基准方案里面的，我直接采用了只是为了方便对比NAM； 2. 个人认为：7x7的感受野更大可以捕获更多的邻近上下文，但是实验中采用的CIFAR数据尺寸太小，3x3影响不大。

hefangnan commented 11 months ago

谢谢您的及时回复！因为我的实验对象都是高分辨率的图像，所以要用到7×7大小的卷积核。如果我直接将EMA添加到res50中，再使用原本的res50的预训练权重进行训练，您觉得对实验结果有影响吗？

YOLOonMe commented 11 months ago

这个也许行吧，只在imagenet1k这中224x224做过实验，其他的数据集不好说效果会怎么样

hefangnan commented 11 months ago

好的十分感谢！