Open cymkG opened 5 years ago
谢谢作者提供这么好的教程，有几个问题想要请教 1、在lstm.py代码，test函数中，调用backward函数，传入的第二个参数d是目标输出，最后是传给了delta_h，不知道为什么？delta_h命名的意思不应该是用目标输出d减去forward输入的h吗？ 2、不太明白gradient_check（）函数用意，因为教程未给出具体说明，所以不太明白这段代码的意思。个人理解，检查梯度是为了看看梯度计算情况，看有没有出现梯度爆炸或梯度消失的现象吗？ 3、lstm代码中的测试例子有更新参数的函数update（），但是测试用例没有调用，lstm有个重要用途是预测，如果作者能给出一个较为完善的测试用例，能够打印出经过BPTT计算后参数更新的预测值就好啦
谢谢作者提供这么好的教程，有几个问题想要请教 1、在lstm.py代码，test函数中，调用backward函数，传入的第二个参数d是目标输出，最后是传给了delta_h，不知道为什么？delta_h命名的意思不应该是用目标输出d减去forward输入的h吗？ 2、不太明白gradient_check（）函数用意，因为教程未给出具体说明，所以不太明白这段代码的意思。个人理解，检查梯度是为了看看梯度计算情况，看有没有出现梯度爆炸或梯度消失的现象吗？ 3、lstm代码中的测试例子有更新参数的函数update（），但是测试用例没有调用，lstm有个重要用途是预测，如果作者能给出一个较为完善的测试用例，能够打印出经过BPTT计算后参数更新的预测值就好啦