search

DAMO-DI-ML / KDD2023-DCdetector

189 stars 21 forks source link

关于损失的问题 #41

Closed shaieesss closed 5 months ago

shaieesss commented 5 months ago

您好，我自己建立了一个类似的模型，发现学习出来的表征很多负数，即便在计算kl散度时有0.0001，torch.log也会存在nan的情况，而我看您的代码中好像没有用到太多的激活函数，请问是如何保证学习到的特征均为正

yyysjz1997 commented 5 months ago

您好，我自己建立了一个类似的模型，发现学习出来的表征很多负数，即便在计算kl散度时有0.0001，torch.log也会存在nan的情况，而我看您的代码中好像没有用到太多的激活函数，请问是如何保证学习到的特征均为正

你好~为什么学习到的特征必须均为正呢？

shaieesss commented 5 months ago

您好，我自己建立了一个类似的模型，发现学习出来的表征很多负数，即便在计算kl散度时有0.0001，torch.log也会存在nan的情况，而我看您的代码中好像没有用到太多的激活函数，请问是如何保证学习到的特征均为正

你好~为什么学习到的特征必须均为正呢？

如果负的比较大，损失函数中加log里面0.0001作用不是很大，导致损失直接nan

yyysjz1997 commented 5 months ago

您好，我自己建立了一个类似的模型，发现学习出来的表征很多负数，即便在计算kl散度时有0.0001，torch.log也会存在nan的情况，而我看您的代码中好像没有用到太多的激活函数，请问是如何保证学习到的特征均为正

你好~为什么学习到的特征必须均为正呢？

如果负的比较大，损失函数中加log里面0.0001作用不是很大，导致损失直接nan

那您可以尝试其他函数，或者将输入损失函数前添加一个合适的激活函数。我不懂您的需求，如果有更多细节可以加我联系方式，感谢关注

shaieesss commented 5 months ago

您好，我自己建立了一个类似的模型，发现学习出来的表征很多负数，即便在计算kl散度时有0.0001，torch.log也会存在nan的情况，而我看您的代码中好像没有用到太多的激活函数，请问是如何保证学习到的特征均为正

你好~为什么学习到的特征必须均为正呢？

如果负的比较大，损失函数中加log里面0.0001作用不是很大，导致损失直接nan

那您可以尝试其他函数，或者将输入损失函数前添加一个合适的激活函数。我不懂您的需求，如果有更多细节可以加我联系方式，感谢关注

如何加联系方式

yyysjz1997 commented 5 months ago

您好，我自己建立了一个类似的模型，发现学习出来的表征很多负数，即便在计算kl散度时有0.0001，torch.log也会存在nan的情况，而我看您的代码中好像没有用到太多的激活函数，请问是如何保证学习到的特征均为正

你好~为什么学习到的特征必须均为正呢？

如果负的比较大，损失函数中加log里面0.0001作用不是很大，导致损失直接nan

那您可以尝试其他函数，或者将输入损失函数前添加一个合适的激活函数。我不懂您的需求，如果有更多细节可以加我联系方式，感谢关注

如何加联系方式

WeChat ID: yyysjz