search

GestaltCogTeam / STEP

Code for our SIGKDD'22 paper Pre-training-Enhanced Spatial-Temporal Graph Neural Network For Multivariate Time Series Forecasting.
Apache License 2.0
328 stars 36 forks source link

论文中的对比实验是否公平？ #68

Open ownnaruto opened 3 hours ago

ownnaruto commented 3 hours ago

论文的对比实验是否公平呢？

  1. STEP的encoder使用了过去288 * 7个时间点的数据得到最后的hidden表示，然后和最近12个时间点的原始数据一起作为预测部分的输入
  2. 然而论文中对比的方法几乎全部都是只使用了过去12个时间点的原始数据作为输入，而你们使用了更多的历史数据，蕴含信息更多，可能使得预测变得更容易了

所以我觉得这样对比论文的实验是不公平的

zezhishao commented 3 hours ago

你可能误会了，STEP和之前的网络不是对等的关系。

STEP是一个预训练增强框架，它是用来提升之前STGNN在建模长期信息时的效率和准确率，以及解除对图结构的依赖的。STEP下游是需要依赖一个STGNN的，例如GWNet或者DCRNN。

论文模型下游用的GWNet，消融实验里面也测试了DCRNN以一定程度上验证通用性。

由于之前没有STEP这样的框架，我就直接和现有的STGNN对比了。

另外，现有的STGNN扩张到同样的时间窗口基本都会OOM或者运行时间特别长（我记得CNN-based方法容易OOM，RNN-based方法容易训练时间特别长），准确率也不一定有提升，甚至会降低。您可以自行测试一下。

之前也有相关的issue讨论这个问题，见https://github.com/GestaltCogTeam/BasicTS/issues/71