使用GPU训练时出现error in modulated_deformable_im2col_cuda: out of memory

creater-zq commented 2 years ago

您好，您的代码解决了我遇到的一些bugs。但是在训练时我遇到一些错误。

error in modulated_deformable_im2col_cuda: out of memory；我查看如下了一些信息,如下：
我设置的batch size为2，但我设置batch size=4的时候，cuda会直接中断退出。谢谢您！

跑着跑着，退出了。

  File "/DCNv2/dcn_v2.py",  in forward
    return dcn_v2_conv(input, offset, mask, self.weight, self.bias, self.stride, self.padding, self.dilation, self.deformable_groups,)
  File "DCNv2/dcn_v2.py",  in forward
    output = _backend.dcn_v2_forward(
RuntimeError: CUDA error: an illegal memory access was encountered
CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
已放弃 (核心已转储)

SilyRab commented 8 months ago

我也是这样，后来解决了吗？我在1卡上跑，但是dcn有一部分东西在0卡上，然后数据或者网络参数不在一张卡上，就报和你一样的错误了

creater-zq commented 8 months ago

我也是这样，后来解决了吗？我在1卡上跑，但是dcn有一部分东西在0卡上，然后数据或者网络参数不在一张卡上，就报和你一样的错误了

我后来修改了一些代码，跑通了，不过我发现他这个不适合我的数据集，就没搞了，是好久之前了

lucasjinreal / DCNv2_latest

使用GPU训练时出现error in modulated_deformable_im2col_cuda: out of memory #62