Open codershenghai opened 5 years ago
http://www.zhangshenghai.com/posts/38226/
神经网络共有三个部分，在前两个部分中，我们讨论了神经网络的静态部分：如何创建网络的连接、数据和损失函数。本节将致力于讲解神经网络的动态部分，即神经网络学习和搜索最优超参数的过程。 梯度检查使用中心化公式： \frac{df(x)}{dx} = \frac{f(x+h)-f(x-h)}{2h}使用相对误差来比较：如何比较数值梯度$f’_n$和$f’_a$？使用相对误差是更加合适的： \frac{
http://www.zhangshenghai.com/posts/38226/
神经网络共有三个部分，在前两个部分中，我们讨论了神经网络的静态部分：如何创建网络的连接、数据和损失函数。本节将致力于讲解神经网络的动态部分，即神经网络学习和搜索最优超参数的过程。 梯度检查使用中心化公式： \frac{df(x)}{dx} = \frac{f(x+h)-f(x-h)}{2h}使用相对误差来比较：如何比较数值梯度$f’_n$和$f’_a$？使用相对误差是更加合适的： \frac{