Time-series Extreme Event Forecasting with Neural Networks at Uber Nikolay中提到的mini-batch normalization
A hybrid method of exponential smoothing and recurrent neural networks for time series forecasting提到的local normalization。这个我要详细讲一下，这篇文章是M4竞赛第一名ES-RNN，采用的方法是采用每个滑动窗口的最后一个点来除以整个窗口，然后使用log函数进行最大值抑制。
但我看到了这篇文章Deep Adaptive Input Normalization for Time Series Forecasting(2020, IEEE Transactions on Neural Networks and Learning Systems ,CCF B)之后，我觉得这些方法可能确实是太过于固定了。因此本文顺着该作者所提到的各种正则化方法进行学习。
我之前一直用的是全局正则化，但是因为我预测的对象是网络流量，对于这种不平稳的、波动较大的流量，全局正则化的效果实在是不行。而深度学习模型又对正则化比较敏感，导致最终出来的结果不太好，连对比算法都打不过。
我之前的想法是两个：
但我看到了这篇文章Deep Adaptive Input Normalization for Time Series Forecasting(2020, IEEE Transactions on Neural Networks and Learning Systems ,CCF B)之后，我觉得这些方法可能确实是太过于固定了。因此本文顺着该作者所提到的各种正则化方法进行学习。