Open hailiang-wang opened 6 years ago
“冲量”这个概念源自于物理中的力学，表示力对时间的积累效应。
在普通的梯度下降法x += v中，每次x的更新量v为v = - dx lr，其中dx为目标函数func(x)对x的一阶导数，。 当使用冲量时，则把每次x的更新量v考虑为本次的梯度下降量- dx lr与上次x的更新量v乘上一个介于[0, 1]的因子momentum的和，即v = - dx lr + v momemtum。 从公式上可看出：
当本次梯度下降- dx lr的方向与上次更新量v的方向相同时，上次的更新量能够对本次的搜索起到一个正向加速的作用。 当本次梯度下降- dx lr的方向与上次更新量v的方向相反时，上次的更新量能够对本次的搜索起到一个减速的作用。
http://www.jianshu.com/p/58b3fe300ecb
“冲量”这个概念源自于物理中的力学，表示力对时间的积累效应。
在普通的梯度下降法x += v中，每次x的更新量v为v = - dx lr，其中dx为目标函数func(x)对x的一阶导数，。 当使用冲量时，则把每次x的更新量v考虑为本次的梯度下降量- dx lr与上次x的更新量v乘上一个介于[0, 1]的因子momentum的和，即v = - dx lr + v momemtum。 从公式上可看出：
当本次梯度下降- dx lr的方向与上次更新量v的方向相同时，上次的更新量能够对本次的搜索起到一个正向加速的作用。 当本次梯度下降- dx lr的方向与上次更新量v的方向相反时，上次的更新量能够对本次的搜索起到一个减速的作用。
http://www.jianshu.com/p/58b3fe300ecb