Open simo-an opened 2 years ago
习题6-3 当使用公式(6.50)作为循环神经网络的状态更新公式时, 分析其可能存在梯度爆炸的原因并给出解决方法.
请问下这里所说的梯度爆炸,是指没有做好U参数初始化导致的吗?是不是应该理解为模型本身可能会导致梯度爆炸(没有考虑参数初始化)?
题目
习题6-3 当使用公式(6.50)作为循环神经网络的状态更新公式时, 分析其可能存在梯度爆炸的原因并给出解决方法.
解答