7.4.3译者加的个人注解

ShusenTang / Dive-into-DL-PyTorch

本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。

http://tangshusen.me/Dive-into-DL-PyTorch

Apache License 2.0

18.25k stars 5.39k forks source link

7.4.3译者加的个人注解 #144

Closed mahao01 closed 4 years ago

mahao01 commented 4 years ago

bug描述 译者在7.4.3从零开始实现这一节加了个人注解：

注：个人认为这里不应该是“加权平均”而应该是“加权和”，因为根据7.4.2.2节分析，加权平均最后除以了 $1-\gamma$ ，所以就相当于没有进行平均

这里有点疑惑，原文上面说 $v_t \leftarrow \gamma v_{t-1} + (1-\gamma) \frac{\eta_t}{1-\gamma}{} g_t$ 对应的序列是 $\eta_{t-i}g_{t-i}/(1-\gamma)$ ，这里多出来的 $1-\gamma$ 是不是就是除以的数呢，如果这样的话其实是有做平均的，不知道这样理解对不对？

ShusenTang commented 4 years ago

我的理解是：如果把ng/(1-\lambda)看成是整体A，那么就是”对A进行了加权平均“，这里宾语是A；但是如果宾语是梯度的话，那就变成了7.4.2.2节加粗那段话：”对梯度（乘以学习率n）进行了加权平均再乘以了1/(1-\lambda)“，而1/(1-\lambda)又等于序列个数，所有相当于平均后又乘以了个数，相当于没有平均。

mahao01 commented 4 years ago

感谢回复