search

zergtant / pytorch-handbook

pytorch handbook是一本开源的书籍，目标是帮助那些希望和使用PyTorch进行深度学习开发和研究的朋友快速入门，其中包含的Pytorch教程全部通过测试保证可以成功运行
20.1k stars 5.39k forks source link

通过Sin预测Cos实例中，RNN的前向传播函数可能存在问题 #115

Open RobotMo opened 3 years ago

RobotMo commented 3 years ago

案例中，样本维度为1，序列长度为TIME_STEP（batch_size从网络结构来看似乎是默认为1），同一个序列中不同样本之间存在关联，但是同一个batch中的不同序列之间以及不同batch之间是不存在关联的，所以此处RNN网络结构的前向传播函数中，不需要加加入上一个batch的隐藏状态。 如果按案例中所写，训练过程中表现确实会越来越好，但是放到训练过程之外，使用独立的样本测试的时候效果似乎不太理想

daijiuqian commented 3 years ago

他代码写的切断连接,但是实际上是传入了上一个epoch的隐藏状态.