Closed zlj199502 closed 5 years ago
我想问问一个关于学习率的参数,lr_decay_factor是怎么得到呢?
你好,
这是根据作者的 learning rate schedule 得到的。作者在 50 个 epoch 内,learning rate 从 1e-2 下降到 1e-5,设 x = lr_decay_factor, 则有 1e-2 * x ^ (50 -1) = 1e-5, 求解得到 x = 0.8685113737513527.
我想问问一个关于学习率的参数,lr_decay_factor是怎么得到呢?