Tangshitao / QuadTreeAttention

QuadTree Attention for Vision Transformers (ICLR2022)
342 stars 34 forks source link

Killed! #25

Open chen9run opened 1 year ago

chen9run commented 1 year ago

image image 请问一下,这是正常的嘛,随着训练内存占用越来越大,是我64G内存条硬件不够用嘛,要通过升级内存条解决嘛,还是其他层面的问题

Tangshitao commented 1 year ago

不是,你有改代码吗

chen9run commented 1 year ago

不是,你有改代码吗 没有呀,是源码

Tangshitao commented 1 year ago

可能确实要大点内存吧,我都是服务器上训练的。

chen9run commented 1 year ago

可能确实要大点内存吧,我都是服务器上训练的。

感谢你的意见,我将内存增加到了128G,在训练为一个epoch之后,我发现内存还在不停的增加,更像是代码层面的问题,如下图: image image 下面为报错的所在文件路径/LoFTR-master/src/utils,似乎是在做可视化相关的内容引起的,可以将这部分在训练中禁用嘛,如下图所示,亦或者后面添加plt.close()? image

chen9run commented 1 year ago

可能确实要大点内存吧,我都是服务器上训练的。

感谢你的意见,我将内存增加到了128G,在训练为一个epoch之后,我发现内存还在不停的增加,更像是代码层面的问题,如下图: image image 下面为报错的所在文件路径/LoFTR-master/src/utils,似乎是在做可视化相关的内容引起的,可以将这部分在训练中禁用嘛,如下图所示,亦或者后面添加plt.close()? image

已经解决,是matplotlib引起的

AubreyCH commented 1 year ago

@chen9run 您好,请问训练MegaDepth的图像数据您是根据D2Net重新处理的吗?还是在链接未失效之前下载的?我看到D2Net需要下载SfM数据集,要接近700G了,我这边实在是没有内存了。如果方便的话,是否可以分享一下D2-Undistorted_SfM的数据呢?