search

shicai / DenseNet-Caffe

DenseNet Caffe Models, converted from https://github.com/liuzhuang13/DenseNet
357 stars 273 forks source link

about some details #19

Closed dlyldxwl closed 7 years ago

dlyldxwl commented 7 years ago

Thanks for your job! I use your pretrain model and SSD algorithm to train a model. for conv layer, I add param { lr_mult: 1 decay_mult: 1} for bn layer , I add param { lr_mult: 0 decay_mult: 0} for 3 times to fix. I don't konw the scale layer need add lr_mult and decay_mult?scale 层需要添加学习率这些参数吗 And for conv layer, need I add weight_filler and bias_filler? 我既然有了预训练模型，那还需要对卷积层参数初始化吗？ 谢谢！

shicai commented 7 years ago

1 需要，通常是2次{ lr_mult: 1 decay_mult: 0} 2 这个无所谓，无论初始化与否，都会被预训练模型的参数覆盖。

foralliance commented 6 years ago

@shicai 在微调时， 　　1. 如果某一层是预训练网络中的层，比如基于VGG16，conv5_3就是VGG16中的某一层，如果这一层出现了weight_filler和bias_filler这2个参数（初始化用的）．那无论这2个参数是什么，都会被预训练模型的参数覆盖， 　　2. 如果某一层不是预训练网络中的层，那么weight_filler和bias_filler这2个参数就是用来初始化的． 　　可以这么理解吗？？ 　　麻烦了！！