PaddlePaddle / PaddleDetection

Object Detection toolkit based on PaddlePaddle. It supports object detection, instance segmentation, multiple object tracking and real-time multi-person keypoint detection.
Apache License 2.0
12.8k stars 2.89k forks source link

单机多卡训练时速度没有提升反而线性下降,1个卡 ips 80-90 2个卡反而下降到ips 17 #7329

Open xyxwinner opened 2 years ago

xyxwinner commented 2 years ago

问题确认 Search before asking

请提出你的问题 Please ask your question

系统: unbantu18.04 x86_64 环境: python: 3.8 paddlepaddle:2.3.2-gpu PaddleDetection-2.5 cuda11.2 cudnn 8.1.1 显卡:3080Ti * 2 模型:yolov3 配置文件:yolov3_mobilenet_v1_roadsign.yml

问题描述: 单卡时IPS可以达到80-90 ,切换成双卡同时训练ips反而下降到了17-19,调整work_num和bufsize数量均无效果。确认了服务器负载情况cpu占用也就30% 内存也够,实在不知道啥原因请大佬指导

附图: [单卡时的ips] 单卡吞吐 多卡吞吐 多卡 多卡GPU状态 多卡gpu 服务器负载: 多卡负载

xyxwinner commented 2 years ago

CUDA_VISIBLE_DEVICES=0,1 我测过 单独0 或者 1 速度都正常 放一起就不行了

xyxwinner commented 2 years ago

再补充一个环境NCCL== 2.15