LSTM —— Long Short Term Memory

[junxnone]

• 长短时记忆网络 - Long Short Term Memory Network - LSTM
• 通过遗忘和保留记忆的机制减少梯度爆炸（explode）/ 梯度消失（vanish）。

Reference

• [ ] 浅谈RNN、LSTM + Kreas实现及应用
• [ ] 理解 LSTM 网络
• [ ] 详解 LSTM
• [ ] 零基础入门深度学习(6) - 长短时记忆网络(LSTM)
• [ ] 双向 LSTM
• [ ] paper -1997 - Bidirectional Recurrent Neural Networks
• [ ] 双向长短时记忆网络
• [ ] Understanding LSTM Networks

Brief

• Cell state - 单元状态
• 隐藏状态
• Input Gate - 输入门
• Forget Gate - 遗忘门
• Output Gate - 输出门

RNN vs LSTM

RNN
LSTM

Gate - 门

门		由 sigmoid + 按位乘 组成
单元状态

遗忘门
输入门
输出门

状态更新

Bi-directional LSTM - 双向 LSTM

• 综合序列前后信息
• 正向计算和反向计算不共享权重

后续改进

peephole
coupled
GRU

History

Year	Name	Description
1997	LSTM	Hochreiter & Schmidhuber 提出

[junxnone]

28