LibCity / Bigscity-LibCity

LibCity: An Open Library for Urban Spatial-temporal Data Mining
https://libcity.ai/
Apache License 2.0
907 stars 166 forks source link

刚刚问题的补充:内存问题 #349

Closed KeFttan closed 1 year ago

KeFttan commented 1 year ago

根据您的建议,对内存进行了观察。 在运行之前: @2@M1SA4W1W($6RENAWDY1X

运行到86%时: 01KT3AK7(S Y0IHGKCXU2KO

应该是这种情况导致被killed 这种情况是否有解决办法,为何64G都无法满足encoding trajectory...

KeFttan commented 1 year ago

之前提出的问题: https://github.com/LibCity/Bigscity-LibCity-Datasets/issues/48

aptx1231 commented 1 year ago

这个是因为模型在数据预处理的时候进行了滑窗。一个长度n个轨迹会产出n-1个样本,第一步预测第二步,前2步预测第3步,前3步预测第4步... 因此可能需要较大的内存,一方面可以换个大内存的服务器,另外可以修改代码限制一下滑窗产出轨迹的数量。

WenMellors commented 1 year ago

你可以换一个模型,STAN 要算一个 POI 到 POI 的距离矩阵,所以就会很占用内存。

KeFttan commented 1 year ago

这个是因为模型在数据预处理的时候进行了滑窗。一个长度n个轨迹会产出n-1个样本,第一步预测第二步,前2步预测第3步,前3步预测第4步... 因此可能需要较大的内存,一方面可以换个大内存的服务器,另外可以修改代码限制一下滑窗产出轨迹的数量。

感谢您的回复!修改了模型的window_size之后确实可以运行了

KeFttan commented 1 year ago

你可以换一个模型,STAN 要算一个 POI 到 POI 的距离矩阵,所以就会很占用内存。

感谢您的回复!我发现计算距离矩阵的时候使用的是numpy,是因为怕爆显存的原因吗

WenMellors commented 1 year ago

是的,内存肯定比显存多吧。

KeFttan commented 1 year ago

感谢回复!❤