nndl / solutions

《神经网络与深度学习》课后习题答案-分享讨论
695 stars 79 forks source link

习题3-7 #8

Open fecet opened 4 years ago

fecet commented 4 years ago

要注意的是,Softmax回归中使用的𝐶个权重向量是冗余的,即对所有的 权重向量都减去一个同样的向量𝒗,不改变其输出结果.因此,Softmax 回归往往需要使用正则化来约束其参数.此外,我们还可以利用这个特性来避免计算Softmax函数时在数值计算上溢出问题.

不加入正则化项限制权重向量的大小, 可能造成权重向量过大, 产生上溢.