RNN

[YujunXie]

ConvGRU & ConvLSTM

《Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling》

简介

• Paper: NIPS2014
• Code: pytorch
• 主要贡献：
  • 分析比较了RNN中用于捕获长距离依赖的ConvGRU和ConvLSTM这两种循环单元。

方法

• 网络结构：

1. LSTM：long short-term memory unit

   就BasicRNNCell而言，只需接受input和hidden_state，输出它们之间的乘积并经过一个激活函数即可。

   但由于在反向传播过程中出现激活函数的累乘，容易造成梯度消失和梯度爆炸，这就造成在较长的time-steps下，后面的step很难学到前面step的信息，为了解决这一问题，设计出了lstm及lstm的变种，其核心原理在于在前向计算中，刻意地选择记住一定比例的过去的信息和一定比例的现在的信息。

。

一般的LSTM是用全连接来作为不同状态之间的转换，而ConvLSTM不是使用全连接而是卷积操作。同理ConvGRU。能更好的提取图像上的特征信息。

LSTM的主要创新之处在于存储单元Ct，Ct在整个神经元中充当了状态信息的累加器，神经元通过各种参数化学习而来的控制门对信息进行保存和削减。

有三个门：输入门，遗忘门，输出门。(空心小圆圈表示矩阵对应元素相乘，又称为Hadamard乘积)

2. GRU：gated recurrent unit

有两个门：更新门，复位门。

ConvLSTM的参数量为ConvGRU的两倍。

LSTM对过去和现在的信息选择相同的比例输出，而gru对过去和现在的信息输出的比例和为1，对输出的过去信息和现在信息有一种权重的作用。

思考:thinking:

:dart: take-home-message

• 作为处理时空序列数据常用的记忆单元，convGRU, convLSTM表现差不多。
• 重点是区分两者的区别。

:sparkles:在人群计数工作中使用循环单元，可以用于融合不同层级/尺度的密度图，保留更好的特征和信息。

参考文献:books:

ConvLSTM

LSTM与GRU

从动图中理解 RNN，LSTM 和 GRU