search

SpursLipu / YOLOv3v4-ModelCompression-MultidatasetTraining-Multibackbone

YOLO ModelCompression MultidatasetTraining
GNU General Public License v3.0
445 stars 136 forks source link

正常剪枝之后，fine-tune出现错误 #46

Closed insightcs closed 4 years ago

insightcs commented 4 years ago

正常剪枝，剪枝率0.8，加载剪枝后的模型进行fine-tune时报错，显示GPU内存溢出，如下图 image @SpursLipu 麻烦您帮忙看一下，是否是因为剪枝之后的网络结构问题导致训练出错的，感谢。

SpursLipu commented 4 years ago

这是你的显存不够，batchsize调小一点。

insightcs commented 4 years ago

但是正常训练的时候，相同的batch_size，显存不会超，剪枝之后为什么会超这么多？

SpursLipu commented 4 years ago

呢就不知道了 代码上确实显示的是显存不足

insightcs commented 4 years ago

@SpursLipu 好的，感谢，调小batch_size可以进行fine-tune，不过确实很奇怪。

SISTMrL commented 1 year ago

@insightcs @SpursLipu 你好这个是为啥我也出现这样的问题

SISTMrL commented 1 year ago

你好，我finetune的时候还出现这个错误 non-finite loss, ending training tensor([nan, nan, 0., nan], device='cuda:0')