零基础入门深度学习(6) - 长短时记忆网络(LSTM) 误差项沿时间的反向传递 公式（13）有错误

[cyrixlin]

首先，非常感谢《零基础入门深度学习》作者hanbingtao付出的辛苦努力，提供了这么好的教程和代码程序。

误差项沿时间的反向传递 公式（13）明显写错了。 将误差项向前传递到任意k时刻的公式：

$${\mathrm{\delta <!--\; \delta \; -->}}_k^T=\underset{j=k}{\overset{t-<!--\; -\; -->1}{\prod <!--\; \prod \; -->}}{\mathrm{\delta <!--\; \delta \; -->}}_{o,j}^T{W}_{oh}+{\mathrm{\delta <!--\; \delta \; -->}}_{f,j}^T{W}_{fh}+{\mathrm{\delta <!--\; \delta \; -->}}_{i,j}^T{W}_{ih}+{\mathrm{\delta <!--\; \delta \; -->}}_{\stackrel{~<!--\; ~\; -->}{c},j}^T{W}_{ch}(式13)$$

原公式是采用从j=k到j=t-1求delta(j)，然后把各个delta(j）乘起来，得到delta(k)。这显然是错误的，应当采用循环处理，已知delta(t)，用原文中公式（58）求出delta(t-1)，反复使用公式（58）直至求出delta(k)。而不是连乘积的形式。

从原文给出的样例代码lstm.py也可以看出这一点，是采用循环处理，逐步沿时间前移，而不是连乘积的算法。