Open Anemone95 opened 4 years ago
https://anemone.top/ml-RNN%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/
RNN普通神经网络不能考虑之前一个单词对下一个单词的作用，即上下文，因此引入RNN。RNN在中间层加入了memory，在每次传播后，将中间层输出存储到memory，在下一次传播时，将结果取出与原输入一起作为输入，之后再传出到下一层。以下图为例，为了方便演示，将激活函数全部变为线性，并且权重设为1，假设一开始，输入矩阵$[1,1]^T$，那么会输出$[4,4]^T$，同时两个记忆体由0变为2（因为隐
https://anemone.top/ml-RNN%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0/
RNN普通神经网络不能考虑之前一个单词对下一个单词的作用，即上下文，因此引入RNN。RNN在中间层加入了memory，在每次传播后，将中间层输出存储到memory，在下一次传播时，将结果取出与原输入一起作为输入，之后再传出到下一层。以下图为例，为了方便演示，将激活函数全部变为线性，并且权重设为1，假设一开始，输入矩阵$[1,1]^T$，那么会输出$[4,4]^T$，同时两个记忆体由0变为2（因为隐