让证据非负的激活函数选择对结果的影响

roywang021 commented 2 years ago

作者你好，看你的代码。让证据非负的激活函数在训练过程中默认是relu，在测试阶段再换成exp？不知道我的理解是否正确，以及这个函数的选择对最终的结果是否比较大呢？

Cogito2012 commented 2 years ago

@roywang021 这个激活函数，我应该训练测试都是用exp。这篇NeurIPS'18原文代码默认用的是relu, 但我这里实验用relu不work。一般来说，需要保证训练、测试的激活函数一致。您可以根据自己的数据集和任务，找到合适的激活函数(relu, exp, softplus等)。

roywang021 commented 2 years ago

您好，我想问下你的relu不work具体体现在哪里，或者你认为是什么原因呢？

Cogito2012 commented 2 years ago

您好，我想问下你的relu不work具体体现在哪里，或者你认为是什么原因呢？

容易出现训练loss不收敛，最后测试效果很差。不过问过一些同行，他们做image任务用relu是可以work的。具体原因，可能是我没调好参数，也可能有理论方面的原因，有兴趣您也可以研究一下:)

roywang021 commented 2 years ago

您好，我想问下EDL损失中的KL散度正则化项，前面的系数选择对最终结果影响大么？

Cogito2012 commented 2 years ago

您好，我想问下EDL损失中的KL散度正则化项，前面的系数选择对最终结果影响大么？

影响挺大的，实验中发现KL散度项会降低performance，所以最终的config里面默认设置了with_kldiv=False。

roywang021 commented 2 years ago

您好，我想问下你的relu不work具体体现在哪里，或者你认为是什么原因呢？因为我最近也在用EDL做东西，但是效果挺差的。

------------------ 原始邮件 ------------------ 发件人: "Cogito2012/DEAR" @.>; 发送时间: 2022年6月29日(星期三) 中午1:25 @.>; @.**@.>; 主题: Re: [Cogito2012/DEAR] 让证据非负的激活函数选择对结果的影响 (Issue #3)

@roywang021 这个激活函数，我应该训练测试都是用exp。这篇NeurIPS'18原文代码默认用的是relu, 但我这里实验用relu不work。一般来说，需要保证训练、测试的激活函数一致。您可以根据自己的数据集和任务，找到合适的激活函数(relu, exp, softplus等)。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

roywang021 commented 2 years ago

谢谢！

------------------ 原始邮件 ------------------ 发件人: "Wentao @.>; 发送时间: 2022年6月29日(星期三) 中午1:25 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [Cogito2012/DEAR] 让证据非负的激活函数选择对结果的影响 (Issue #3)

@roywang021 这个激活函数，我应该训练测试都是用exp。这篇NeurIPS'18原文代码默认用的是relu, 但我这里实验用relu不work。一般来说，需要保证训练、测试的激活函数一致。您可以根据自己的数据集和任务，找到合适的激活函数(relu, exp, softplus等)。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: @.***>

Cogito2012 / DEAR

让证据非负的激活函数选择对结果的影响 #3