search

yun-liu / RCF

Richer Convolutional Features for Edge Detection
Other
758 stars 260 forks source link

关于不同层学习率的问题 #90

Open DragonZzzz opened 5 years ago

DragonZzzz commented 5 years ago

您好，看您代码中神经网络的不同层采用的不同的学习率，会有什么一些解释吗（虽然是炼丹），还想请教一下关于不同层的学习率，有什么经验和调整的技巧和方法可以分享吗？

yun-liu commented 5 years ago

这里面主要是跟HED (Holistically-Nested Edge Detection) 那篇论文学的。比如每个层的side-output的学习率都比较小的时候效果好，我的理解是因为side-output上的参数比较少，参数的变化很容易引起最终结果的巨大改变；用较小的学习率，是为了让这个变化缓慢一些，从而优化的好一些。希望能帮到您～