nndl / nndl.github.io

《神经网络与深度学习》邱锡鹏著 Neural Network and Deep Learning

https://nndl.github.io

17.47k stars 3.58k forks source link

描述错误：P140 #601

Open Tigerrr07 opened 3 years ago

Tigerrr07 commented 3 years ago

描述错误：P140

[ 1 ] 描述错误：P140 RNN中的梯度消失是误差项梯度消失，即损失函数Lt关于zk的偏导，zk是隐藏层净输入，这样当t-k很大时，zk的变化不能引起损失函数Lt的变化，就导致了长程依赖的问题，即难建立长距离的依赖关系；但老师在书里写的是Lt关于hk的偏导消失，这也是对的，因此 Lt / zk = Lt / hk · hk / zk（这里的 / 表示偏导），但前面一直提误差项，后面突然提Lt关于hk的偏导就很突然，容易引起混淆。如果是我理解的问题还希望老师指导！