Open simo-an opened 2 years ago
习题7-8 分析为什么批量归一化不能直接应用于循环神经网络.
层归一化是可以用于RNN的,如下显示二者的区别
1.序列长度变化:RNN处理的序列数据长度可能会变化,在每个时间步上,序列长度可能不同,意味着每个小批量的序列长度会不同。而批量归一化假设在每个批次中,输入数据具有相同的维度特征,对于长度不同的序列,很难直接应用批量归一化 2.顺序信息丢失:RNN中的顺序信息对于模型的学习很重要。批量归一化过程中,会对时间步的样本进行混洗,破坏了时间步之间的依赖性和序列的顺序性
题目
习题7-8 分析为什么批量归一化不能直接应用于循环神经网络.
解答
层归一化是可以用于RNN的,如下显示二者的区别![image](https://user-images.githubusercontent.com/38021707/149443561-dea10487-b82c-40ef-bb50-2700666155ff.png)