Open xyxwinner opened 2 years ago
系统: unbantu18.04 x86_64 环境: python: 3.8 paddlepaddle:2.3.2-gpu PaddleDetection-2.5 cuda11.2 cudnn 8.1.1 显卡:3080Ti * 2 模型:yolov3 配置文件:yolov3_mobilenet_v1_roadsign.yml
问题描述: 单卡时IPS可以达到80-90 ,切换成双卡同时训练ips反而下降到了17-19,调整work_num和bufsize数量均无效果。确认了服务器负载情况cpu占用也就30% 内存也够,实在不知道啥原因请大佬指导
附图: [单卡时的ips] 多卡吞吐 多卡GPU状态 服务器负载:
CUDA_VISIBLE_DEVICES=0,1 我测过 单独0 或者 1 速度都正常 放一起就不行了
再补充一个环境NCCL== 2.15
问题确认 Search before asking
请提出你的问题 Please ask your question
系统: unbantu18.04 x86_64 环境: python: 3.8 paddlepaddle:2.3.2-gpu PaddleDetection-2.5 cuda11.2 cudnn 8.1.1 显卡:3080Ti * 2 模型:yolov3 配置文件:yolov3_mobilenet_v1_roadsign.yml
问题描述: 单卡时IPS可以达到80-90 ,切换成双卡同时训练ips反而下降到了17-19,调整work_num和bufsize数量均无效果。确认了服务器负载情况cpu占用也就30% 内存也够,实在不知道啥原因请大佬指导
附图: [单卡时的ips] 多卡吞吐 多卡GPU状态 服务器负载: