yuto3o / yolox

More Than YOLO(v3, v4, v3-tiny, v4-tiny)
150 stars 46 forks source link

利用单gpu训练,速度很慢,GPU利用率很低,CPU经常跑满 #5

Closed VYXUOF closed 4 years ago

VYXUOF commented 4 years ago

大佬,我是初学者,有个问题想问下,我这边训练的时候,GPU占有使用只有零点几G 利用率最多百分之十,而CPU通常利用率百分之百,请问下是什么情况,该如何解决啊

VYXUOF commented 4 years ago

我是使用的你提供的yolov4tiny来训练的 得出的模型很小 目前训练出了一个map4.8的模型 检测方面已经可以检测出来一点点东西了 但是目前训练速度太慢了 我调整了batch、epoch、learn rate等参数,但始终无法将训练速度和mAP值上升速度加快

yuto3o commented 4 years ago

tensorflow训练tiny版本网络时GPU占用就是比较低,我还没有找到比较好的办法。训练正常大小的yolo模型GPU占用倒是正常。应该是模型本身的问题,或者是训练模型的解码过程比较占用GPU时间; learning rate 可以先不管,默认的learning rate已经比较通用,可以尝试适当减小epoch的数量;或者在进行在线验证时,减小验证集的大小,也可以进一步加快训练过程;还不行的话,请不要先使用任何的数据增强手段,训练试试。请保持代码与本仓库的训练一致,因为我的代码在一边训练,一边微调,可能之前的某些参数设置会影响训练效果。

VYXUOF commented 4 years ago

好的 谢谢大佬 我这边继续尝试调参