kaiwang960112 / Self-Cure-Network

This is a novel and easy method for annotation uncertainties.
404 stars 98 forks source link

有关rafdb数据集调参和测试的问题 #70

Closed RockPine520 closed 6 months ago

RockPine520 commented 2 years ago

作者您好! 我想请问一下,rafdb数据集缺少验证集,我们在做实验的时候需要自己从训练集划分出验证集进行调参,然后用测试集进行测试吗?还是说不需要这个步骤,直接在测试集上调参,得到最好的结果就行了? AffectNet数据集也有同样的问题,希望作者您能解答一下我的疑惑,非常感谢!

kaiwang960112 commented 2 years ago

直接对着测试集调可以,也可以先从rafdb训练集里面分出一些数据做验证集,然后调参。最后在测试集上测测。随机分出一些数据哈,应该是同分布的。affectnet也可以这么做哈。

RockPine520 @.***>于2022年5月1日 周日下午5:10写道:

作者您好!

我想请问一下,rafdb数据集缺少验证集,我们在做实验的时候需要自己从训练集划分出验证集进行调参,然后用测试集进行测试吗?还是说不需要这个步骤,直接在测试集上调参,得到最好的结果就行了? AffectNet数据集也有同样的问题,希望作者您能解答一下我的疑惑,非常感谢!

— Reply to this email directly, view it on GitHub https://github.com/kaiwang960112/Self-Cure-Network/issues/70, or unsubscribe https://github.com/notifications/unsubscribe-auth/AI6LK4EG2F2VP5JQORHNHGLVHZC73ANCNFSM5UZSZ2HQ . You are receiving this because you are subscribed to this thread.Message ID: @.***>

RockPine520 commented 2 years ago

谢谢作者答复!因为我看一些资料说对着测试集调参会出现信息泄露的问题,所以产生了这方面的疑惑

kaiwang960112 commented 2 years ago

个人觉得只要不拿测试集去训练应该都问题不大

RockPine520 @.***>于2022年5月1日 周日下午5:47写道:

谢谢作者答复!因为我看一些资料说对着测试集调参会出现信息泄露的问题,所以产生了这方面的疑惑

— Reply to this email directly, view it on GitHub https://github.com/kaiwang960112/Self-Cure-Network/issues/70#issuecomment-1114186312, or unsubscribe https://github.com/notifications/unsubscribe-auth/AI6LK4BXLWCFQEIDXJ5J5CLVHZHJHANCNFSM5UZSZ2HQ . You are receiving this because you commented.Message ID: @.***>

qiang333 commented 1 year ago

作者您好! 可以问一下在RAF-DB这个数据集上,对着测试集调参的话,最后论文报告结果是最好的测试结果,还是报告测试的平均结果。

kaiwang960112 commented 1 year ago

报的最好的,不过跑几次都差不多,误差上下很小。

发自我的iPhone

在 2022年9月13日,下午2:34,qiang333 @.***> 写道:

 作者您好! 可以问一下在RAF-DB这个数据集上,对着测试集调参的话,最后论文报告结果是最好的测试结果,还是报告测试的平均结果。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.

qiang333 commented 1 year ago

非常谢谢您的回答!!!