Closed lucky-xu-1994 closed 2 years ago
@lucky-xu-1994 你好,我用它的代码也出现了nan现象,后来发现是teacher.py的“logits = value[-self.nc:].logit().tolist()”这个代码中的.logit()函数对某一些数据操作时会导致结果出现nan。仅供参考
@lucky-xu-1994 你好,我用它的代码也出现了nan现象,后来发现是teacher.py的“logits = value[-self.nc:].logit().tolist()”这个代码中的.logit()函数对某一些数据操作时会导致结果出现nan。仅供参考
好的,谢谢,我这边改了新的蒸馏方法,没用这种方式了,就不会出现Nan。
@lucky-xu-1994 我也出现了这个情况,通过调整蒸馏温度参数后问题解决了。请问可以了解下你的蒸馏方法嘛?
@lucky-xu-1994 你好,我用它的代码也出现了nan现象,后来发现是teacher.py的“logits = value[-self.nc:].logit().tolist()”这个代码中的.logit()函数对某一些数据操作时会导致结果出现nan。仅供参考
好的,谢谢,我这边改了新的蒸馏方法,没用这种方式了,就不会出现Nan。
你用了哪个新的蒸馏方法?
@Sharpiless 您好,我在训练自己的数据集时,出现了结果为Nan。是因为蒸馏的损失太大了么?您有什么好的建议么?![1627530193(1)](https://user-images.githubusercontent.com/57120921/127428136-eaf84f25-2229-460e-b09d-4dbfe3b7d4f8.png)