bilylee
commented
6 years ago 你好，
这是根据作者的 learning rate schedule 得到的。作者在 50 个 epoch 内，learning rate 从 1e-2 下降到 1e-5，设 x = lr_decay_factor, 则有 1e-2 * x ^ (50 -1) = 1e-5, 求解得到 x = 0.8685113737513527.
Closed zlj199502 closed 5 years ago
bilylee
commented
6 years ago 你好，
这是根据作者的 learning rate schedule 得到的。作者在 50 个 epoch 内，learning rate 从 1e-2 下降到 1e-5，设 x = lr_decay_factor, 则有 1e-2 * x ^ (50 -1) = 1e-5, 求解得到 x = 0.8685113737513527.
我想问问一个关于学习率的参数，lr_decay_factor是怎么得到呢？