Open abcAnonymous opened 2 years ago
作者您好，我用pytorch 对您的代码进行了复现，基础代码是没有问题的。但是当我复现weight noise的时候，总会出现梯度爆炸的现象。 我注意到adative weight noise的噪声比例是由小到大的， 当我的噪声比例达到0.01以上的时候，训练集就会出现梯度爆炸，loss越来越大，但是您的代码就没有这个问题，您有遇到过这个问题吗？会是什么原因呢？
作者您好，我用pytorch 对您的代码进行了复现，基础代码是没有问题的。但是当我复现weight noise的时候，总会出现梯度爆炸的现象。 我注意到adative weight noise的噪声比例是由小到大的， 当我的噪声比例达到0.01以上的时候，训练集就会出现梯度爆炸，loss越来越大，但是您的代码就没有这个问题，您有遇到过这个问题吗？会是什么原因呢？