search

Sharpiless / yolov5-distillation-5.0

yolov5 5.0 version distillation || yolov5 5.0版本知识蒸馏，yolov5l >> yolov5s
GNU General Public License v3.0
153 stars 27 forks source link

训练的loss出现了NAN #4

Closed lucky-xu-1994 closed 2 years ago

lucky-xu-1994 commented 3 years ago

@Sharpiless 您好，我在训练自己的数据集时，出现了结果为Nan。是因为蒸馏的损失太大了么？您有什么好的建议么？ 1627530193(1)

lxy-94 commented 2 years ago

@lucky-xu-1994 你好，我用它的代码也出现了nan现象，后来发现是teacher.py的“logits = value[-self.nc:].logit().tolist()”这个代码中的.logit()函数对某一些数据操作时会导致结果出现nan。仅供参考

lucky-xu-1994 commented 2 years ago

@lucky-xu-1994 你好，我用它的代码也出现了nan现象，后来发现是teacher.py的“logits = value[-self.nc:].logit().tolist()”这个代码中的.logit()函数对某一些数据操作时会导致结果出现nan。仅供参考

好的，谢谢，我这边改了新的蒸馏方法，没用这种方式了，就不会出现Nan。

limuyi commented 2 years ago

@lucky-xu-1994 我也出现了这个情况，通过调整蒸馏温度参数后问题解决了。请问可以了解下你的蒸馏方法嘛？

lixiangMindSpore commented 2 years ago

@lucky-xu-1994 你好，我用它的代码也出现了nan现象，后来发现是teacher.py的“logits = value[-self.nc:].logit().tolist()”这个代码中的.logit()函数对某一些数据操作时会导致结果出现nan。仅供参考

好的，谢谢，我这边改了新的蒸馏方法，没用这种方式了，就不会出现Nan。

你用了哪个新的蒸馏方法？