search

Henry1iu / TNT-Trajectory-Prediction

A Pytorch Implementation of TNT: Target-driveN Trajectory Prediction
487 stars 92 forks source link

数据预处理过慢 #21

Closed wangqf1997 closed 2 years ago

wangqf1997 commented 2 years ago

您好！

我们在使用您公开的代码时发现，数据预处理的过程非常慢，预计近百个小时，请问这是正常现象吗？ 如果确实存在问题的话，请问该如何改善呢？

期待您的回答，谢谢！

(TNT) acl@acl-MS-7C98:~/TNT$ ./scripts/preprocessing.bash 0%| | 1/12872 [03:34<767:27:29, 214.66s/it] 1%|▏ | 82/12872 [36:08<93:56:50, 26.44s/it]

Henry1iu commented 2 years ago

Hi,

请问你们使用的设备CPU型号是什么？我使用的设备CPU为i9 9900K，处理数据集大概需要48小时。另外因为涉及数据读写，你的硬盘是否为nvme接口的SSD？

刚开始的sequence处理时间会较长，稍后会有回落。

此致 剑邦

wangqf1997 commented 2 years ago

您好！

数据处理是在我们的小型工作站上，CPU为i9-10900K，硬盘应该也是固态，具体记不清了。 这样看时间大概在合理的范围内，非常感谢您的解答。

Henry1iu commented 2 years ago

Hi,

不客气 ：）

此致 剑邦

wanglaotou commented 1 year ago

你好，我的cpu型号是：Intel(R) Xeon(R) Gold 5218R CPU @ 2.10GHz，执行：bash ./scripts/preprocessing.bash，显示处理数据时间需要5天，速度太慢了。 2%|▌ | 198/12872 [1:59:22<115:48:59, 32.90s/it]

Henry1iu commented 1 year ago

你好，我的cpu型号是：Intel(R) Xeon(R) Gold 5218R CPU @ 2.10GHz，执行：bash ./scripts/preprocessing.bash，显示处理数据时间需要5天，速度太慢了。 2%|▌ | 198/12872 [1:59:22<115:48:59, 32.90s/it]

你好, 你的CPU主频比较低, 处理速度可能相对会慢一些. 你可以考虑加大batch_size和num_workers进行加速, 详情见代码.

另外数据存储也会影响速度. 我没有在服务器上测试过速度, 具体情况需要你自行斟酌.