search

nndl / solutions

《神经网络与深度学习》课后习题答案-分享讨论
690 stars 80 forks source link

习题7-9 #60

Open simo-an opened 2 years ago

simo-an commented 2 years ago

题目

习题 7-9 证明在标准的随机梯度下降中， 权重衰减正则化和 ℓ2 正则化的效果相同． 并分析这一结论在动量法和Adam算法中是否依然成立．

解答

image

HiHarryOvO commented 2 years ago

倒数第三行的 lambda 的系数那里，应该添上一个 alpha 吧