search

thuml / Autoformer

About Code release for "Autoformer: Decomposition Transformers with Auto-Correlation for Long-Term Series Forecasting" (NeurIPS 2021), https://arxiv.org/abs/2106.13008
MIT License
2k stars 430 forks source link

参数量是否过大？ #125

Closed ownnaruto closed 1 year ago

ownnaruto commented 1 year ago

您好，感觉按照默认参数的话，模型的参数量会很大，而且暂时还没有感觉到效果，我想问下，对于时序预测而言，这么大的参数量是否有必要呢？

wuhaixu2016 commented 1 year ago

您好，在Autoformer中我们保持了标准Transformer的参数配比，确实不需要这么大的参数量，其实可以将d_model降低为64，d_ff降低为256。在一些变量数少的数据集上反而会有更好的效果（因为更加有利于优化）。