Open simo-an opened 2 years ago
习题7-2 在Adam算法中， 说明指数加权平均的偏差修正的合理性（ 即公式(7.27)和公式(7.28)）． 说明：
Adam算法（ Adaptive Moment Estimation Algorithm）可以看作动量法和 RMSprop 算法的结合， 不但使用动量作为参数更新方向， 而且可以自适应调整学习率。
设想当 t = 1 时 M1 = (1 - 𝛽1)g1 而我们期望在初始情况下（即t=1），M1 = g1
修正之后有 M1 = g1
而随着 t = 的增加，修正的效果越来越小
题目
习题7-2 在Adam算法中， 说明指数加权平均的偏差修正的合理性（ 即公式(7.27)和公式(7.28)）． 说明：
解答
设想当 t = 1 时 M1 = (1 - 𝛽1)g1 而我们期望在初始情况下（即t=1），M1 = g1
修正之后有 M1 = g1
而随着 t = 的增加，修正的效果越来越小