PaddlePaddle / PaddleYOLO

🚀🚀🚀 YOLO series of PaddlePaddle implementation, PP-YOLOE+, RT-DETR, YOLOv5, YOLOv6, YOLOv7, YOLOv8, YOLOv10, YOLOX, YOLOv5u, YOLOv7u, YOLOv6Lite, RTMDet and so on. 🚀🚀🚀
https://github.com/PaddlePaddle/PaddleYOLO
GNU General Public License v3.0
550 stars 133 forks source link

yolov5s训练CPU利用率太高 #109

Closed Yingl-Liu closed 6 months ago

Yingl-Liu commented 1 year ago

问题确认 Search before asking

请提出你的问题 Please ask your question

训练yolov5s时,发现该模型对CPU的利用率非常高,导致在多卡训练时CPU成为瓶颈,扩展率不高。 下图时两张卡训练时的CPU 利用率,已经达到86%了。 截图 2023-03-21 19-10-49

CPU型号:Intel(R) Xeon(R) Gold 6330 CPU @ 2.00GHz 加速卡:MLU370 X8 容器地址:registry.baidubce.com/device/paddle-mlu:cntoolkit3.0.2-cnnl1.13.0 PaddleYOLO分支: release/2.6 Paddle分支: release/2.4 模型配置文件:yolov5_s_300e_coco,yml; 其中batch_size改为32, work_num改为8, norm_type改为bn.

训练命令:python -m paddle.distributed.launch --mlus="0,1,2,3" tools/train.py -c configs/yolov5/yolov5_s_300e_coco.yml -o use_mlu=True use_gpu=False --eval --amp

请问这么高的CPU利用率正常吗?

nemonameless commented 1 year ago

暂时没有mlu机器看。work_num设置的太大了,改小点试试

Yingl-Liu commented 1 year ago

通过设置cv2.setNumThreads(0),关闭opencv里多线程加速解决问题。前处理也不是性能瓶颈。

nemonameless commented 6 months ago

谢谢建议。