L1 L2 正则化理解 | Hotheat

[hotheat]

https://www.hotheat.top/archives/dd5856e4.html

在深度学习中的损失函数通常是下面的样子 L(W) = \frac{1}{N}\Sigma_{i=1}^nL_i(f(x_i, W), y_i) + \lambda R(W)前半部分称为 Data loss，$R(W)$ 称为正则化惩罚项，超参数 $\lambda$ 可以通过交叉验证的方式来获得。