search

thuml / Autoformer

About Code release for "Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting" (NeurIPS 2021), https://arxiv.org/abs/2106.13008
MIT License
2k stars 430 forks source link

关于epoch次数 #87

Closed 21want28k closed 2 years ago

21want28k commented 2 years ago

为什么短短的几个epoch就会开始过拟合（我认为的过拟合是，验证集的loss开始上升，就是代码里面写的early-stopping）。刚学习AI不久，因为在我的认知里面，一般都要经过好多次epoch才会达到一个比较好的效果。非常感谢看我的issue。

wuhaixu2016 commented 2 years ago

这个应该和数据集本身的属性有关，因为时间序列预测的一个数据集只是一个特别长的时间序列，也就意味着每个batch的属性相差不多，所以才会很快收敛。 如果像ImageNet那样数据集很多样，可能需要更多的epoch了