rnn的bptt貌似有问题

hanbt / learn_dl

Deep learning algorithms source code for beginners

Apache License 2.0

1.2k stars 988 forks source link

Open treezhao1024 opened 7 years ago

treezhao1024 commented 7 years ago

求解。calc_delta_k 的element_wise_op按照文档描述，应该对state 求导，而不是对state_list求导，文档和代码那个是对的？

xiangyubo commented 6 years ago

同问，我也觉得应该是对copy出来的state去做，因为后面计算的时候用的是 diag(state)

luoshizhi commented 6 years ago

同问，应该是对state_list[k]求导，不是state_list[k+1]吧

cyrixlin commented 6 years ago

是的，原代码是有问题。请大家参考29#，我做了梯度验证（代码修改前、修改后），证明了原代码有问题，修改后的是正确的。正确代码也在29#，供大家参考。

xiangyubo commented 6 years ago

感谢大大的辛勤付出