learning_rate 设置原则

[VinaTsai]

Google 的这篇论文则为理解这个现象提供了一个可能的解释：适当而不是过小的学习率能为优化过程带来隐式的梯度惩罚项，有助于收敛到更平稳的区域。笔者认为其分析过程还是值得参考学习的。

References:

1. https://mp.weixin.qq.com/s/lMBSE9hduy1fEHT72juC4A
2. https://arxiv.org/abs/2009.11162