Open codershenghai opened 5 years ago
http://www.zhangshenghai.com/posts/38226/
神经网络共有三个部分,在前两个部分中,我们讨论了神经网络的静态部分:如何创建网络的连接、数据和损失函数。本节将致力于讲解神经网络的动态部分,即神经网络学习和搜索最优超参数的过程。 梯度检查使用中心化公式: \frac{df(x)}{dx} = \frac{f(x+h)-f(x-h)}{2h}使用相对误差来比较:如何比较数值梯度$f’_n$和$f’_a$?使用相对误差是更加合适的: \frac{
http://www.zhangshenghai.com/posts/38226/
神经网络共有三个部分,在前两个部分中,我们讨论了神经网络的静态部分:如何创建网络的连接、数据和损失函数。本节将致力于讲解神经网络的动态部分,即神经网络学习和搜索最优超参数的过程。 梯度检查使用中心化公式: \frac{df(x)}{dx} = \frac{f(x+h)-f(x-h)}{2h}使用相对误差来比较:如何比较数值梯度$f’_n$和$f’_a$?使用相对误差是更加合适的: \frac{