单机多GPU训练问题

[zhongwenkun886]

你好，我单机上有多块GTX TITAN X 显卡，当我用 --device 设置多卡训练时，会提示“UserWarning: Single-Process Multi-GPU is not the recommended mode for DDP”，然后 “RuntimeError: CUDA error: an illegal memory access was encountered ”。 如果我用一块显卡训练时，batch=4时还是提示显存不够：“CUDA out of memory. Tried to allocate 338.00 MiB (GPU 0; 11.93 GiB total capacity; 10.94 GiB already allocated; 22.81 MiB free; 11.35 GiB reserved in total by PyTorch)”

[TNTWEN]

家境贫寒 还没用过多卡训练....>o<.... 你是跑的yolov4的模型吧 mish占用显存确实太大了，我训练yolov4的时候用的RTX2080 只有8G的显存也成功跑完了 显存不足貌似也只能调小batch了 https://github.com/ultralytics/yolov3 在多卡训练时候bug很多，似乎多卡时候显示的训练参数也会不正常

现阶段还是比较推荐使用yolov3-spp或者yolov4-relu（https://github.com/TNTWEN/Pruned-OpenVINO-YOLO/blob/main/Pruneyolov3v4/cfg/yolov4-relu.cfg）的：

• 如果你想在openvino上部署，因为OpenVINO 2020.4版本对mish激活函数没有优化，速度明显要慢，OpenVINO2021.1版本对mish进行了优化，但是在半精度浮点数的GPU设备上mish存在bug，导致无法正常出现检测框。在其他设备上正常，速度也比2020.4版本快。

• 从训练角度来说yolov3-spp和yolov4-relu占用显存小，训练起来会更轻松，剪枝后精度降得也少。

[dfy888]

家境贫寒 还没用过多卡训练....>o<.... 你是跑的yolov4的模型吧 mish占用显存确实太大了，我训练yolov4的时候用的RTX2080 只有8G的显存也成功跑完了 显存不足貌似也只能调小batch了 https://github.com/ultralytics/yolov3 在多卡训练时候bug很多，似乎多卡时候显示的训练参数也会不正常

现阶段还是比较推荐使用yolov3-spp或者yolov4-relu（https://github.com/TNTWEN/Pruned-OpenVINO-YOLO/blob/main/Pruneyolov3v4/cfg/yolov4-relu.cfg）的：

• 如果你想在openvino上部署，因为OpenVINO 2020.4版本对mish激活函数没有优化，速度明显要慢，OpenVINO2021.1版本对mish进行了优化，但是在半精度浮点数的GPU设备上mish存在bug，导致无法正常出现检测框。在其他设备上正常，速度也比2020.4版本快。
• 从训练角度来说yolov3-spp和yolov4-relu占用显存小，训练起来会更轻松，剪枝后精度降得也少。

感谢作者的提示！

[zhongwenkun886]

非常感谢您的详细回答，赞！