Closed Yingl-Liu closed 6 months ago
训练yolov5s时,发现该模型对CPU的利用率非常高,导致在多卡训练时CPU成为瓶颈,扩展率不高。 下图时两张卡训练时的CPU 利用率,已经达到86%了。
CPU型号:Intel(R) Xeon(R) Gold 6330 CPU @ 2.00GHz 加速卡:MLU370 X8 容器地址:registry.baidubce.com/device/paddle-mlu:cntoolkit3.0.2-cnnl1.13.0 PaddleYOLO分支: release/2.6 Paddle分支: release/2.4 模型配置文件:yolov5_s_300e_coco,yml; 其中batch_size改为32, work_num改为8, norm_type改为bn.
训练命令:python -m paddle.distributed.launch --mlus="0,1,2,3" tools/train.py -c configs/yolov5/yolov5_s_300e_coco.yml -o use_mlu=True use_gpu=False --eval --amp
请问这么高的CPU利用率正常吗?
暂时没有mlu机器看。work_num设置的太大了,改小点试试
通过设置cv2.setNumThreads(0),关闭opencv里多线程加速解决问题。前处理也不是性能瓶颈。
谢谢建议。
问题确认 Search before asking
请提出你的问题 Please ask your question
训练yolov5s时,发现该模型对CPU的利用率非常高,导致在多卡训练时CPU成为瓶颈,扩展率不高。 下图时两张卡训练时的CPU 利用率,已经达到86%了。
CPU型号:Intel(R) Xeon(R) Gold 6330 CPU @ 2.00GHz 加速卡:MLU370 X8 容器地址:registry.baidubce.com/device/paddle-mlu:cntoolkit3.0.2-cnnl1.13.0 PaddleYOLO分支: release/2.6 Paddle分支: release/2.4 模型配置文件:yolov5_s_300e_coco,yml; 其中batch_size改为32, work_num改为8, norm_type改为bn.
训练命令:python -m paddle.distributed.launch --mlus="0,1,2,3" tools/train.py -c configs/yolov5/yolov5_s_300e_coco.yml -o use_mlu=True use_gpu=False --eval --amp
请问这么高的CPU利用率正常吗?