search

BUAABIGSCity / PDFormer

[AAAI2023] A PyTorch implementation of PDFormer: Propagation Delay-aware Dynamic Long-range Transformer for Traffic Flow Prediction.
MIT License
209 stars 35 forks source link

你好，想请教一下val集loss与测试集loss相差较大的原因？ #8

Closed zhaozhihua97 closed 1 year ago

zhaozhihua97 commented 1 year ago

你好，我下载了PEMS04的数据集，并在默认超参数的设置下进行了实验，在实验过程中val的mae loss徘徊在33左右，而在测试时loss则下降为了18+，为什么验证集和测试集的loss会相差如此之大？

aptx1231 commented 1 year ago

模型的Loss是huber-loss，可以看json文件的设置：set_loss: huber。所以会比MAE大一些。

zhaozhihua97 commented 1 year ago

另，您没有在METR-LA上进行实验的原因是什么？两个数据的数据形式是相似的。

aptx1231 commented 1 year ago

因为METR-LA是速度数据集，文章主要做的flow prediction。遵照过去的研究都是在PEMS-3-4-7-8等去做的。 你可以从https://github.com/LibCity/Bigscity-LibCity-Datasets 这里下载处理好的METR-LA数据集，放在raw-data目录就能跑了。

zhaozhihua97 commented 1 year ago

冒昧问一下，您是否在metr-la做过摸底实验，指标表现如何。

aptx1231 commented 1 year ago

冒昧问一下，您是否在metr-la做过摸底实验，指标表现如何。

没做过这个，你可以试一下，用libcity的数据直接就能跑