今天用gpu训练突然发现一个问题

miemie2013 / Pytorch-DIOU-YOLOv3

Pytorch复现YOLOv3，使用最新的DIOU loss训练

69 stars 28 forks source link

Open guangqianqin opened 4 years ago

guangqianqin commented 4 years ago

用gpu训练时，将学习率降维10-5，训练了几个epoch后loss就变为nan，但是用cpu训练却没问题。而且gpu无论怎么改变learning rate都不起作用

guangqianqin commented 4 years ago

目前训练集loss是4点多