search

VDIGPKU / M2Det

M2Det: A Single-Shot Object Detector based on Multi-Level Feature Pyramid Network
MIT License
1.46k stars 318 forks source link

about SFAM #54

Open foralliance opened 5 years ago

foralliance commented 5 years ago

HI

自己的一个模型A，训练，测试都没问题．最终在FDDB上能到98.9的结果． 然后，模仿M2Det，尝试加入SFAM模块（即SENet中的思想），得到模型B．

但是在训练模型B时，loss从一开始到最终都完全不下降（迭代了400个epoch）．

2个模型除了在模型B中加入SFAM模块外，其它毫无差异．SFAM模块的代码也会M2Det的完全一致． 自己的一些超参数设置：

　　单GPU(1080TI)
　　底层VGG16
　　batch_size = 16，图片训练尺寸 = 320
　　迭代400个epoches，
　　初始学习率0.001，后期下降2次，前6个epoch使用了warm up策略．
　　新层初始化用的xavier_uniform
　　SFAM模块：compress_ratio设置为8，输入维度256/512，输出32/64．不像M2Det是2048那么大．

想问下，在加入SFAM模块后，在训练时，有什么要注意的吗？为什么仅仅加了一个SFAM模块，自己的loss就完全不下降？？ 麻烦了！

qijiezhao commented 5 years ago

我觉得是batchsize比较小的影响。 SFAM也不一定对你的模型有效

foralliance commented 5 years ago

谢谢您的回答。 主要是loss完全不下降，这点实在不知所措！

13155313939 commented 5 years ago

请问加入后，有没有初始化