search

HKUDS / OpenCity

"OpenCity: Open Spatio-Temporal Foundation Models for Traffic Prediction"
https://arxiv.org/abs/2408.10269
66 stars 10 forks source link

询问data_process.py中ConcatDataset的使用 #3

Open jt-dcw opened 3 weeks ago

jt-dcw commented 3 weeks ago

首先非常团队的出色工作，但是我在复现时有一个问题不是很理解，问题如下： 假设进行预训练时所使用的数据是['CAD4-1', 'NYC_TAXI']，这两个数据的特征数量分别是621和263，在特征数量不同的情况下是如何使用ConcatDataset是如何进行数据拼接呢

LZH-YS1998 commented 1 day ago

感谢您的关注！可以使用ConcatDataset进行拼接是因为：ConcatDataset 通过保持一个内部的索引，将传入的多个数据集按照顺序连接。与每个数据集的样本内容或样本的尺寸无关。

您可以参考data_process.py部分的代码实现，以及pytorch提供的ConcatDataset官方文档。