xuebinqin
commented
4 years ago 你好，
-
不同平台，版本以及评估工具是会造成一定的差异，如果差异不大，基本应该是没有问题的， 我们之前在不同版本的pytorch上跑出来的结果也会有些差异，这个不要紧。
-
“但是，出现了一个问题，不论是您提供的结果，还是我所重现的结果，在PACSAL-S数据集上测试时，maxF均为NaN（AUC也是）。注：PASCAL-S的gt为uint8格式（SOD为logical格式），但是即使将格式进行转换后，测试指标仍然为NaN。“
造成这个问题的的原因我估计是PASCAL-S的个别数据比较难，模型预测某张图为全背景（像素值全为0），或者ground truth某张图为全背景（像素值全为 0），在这种情况下，如果precision, recall 或者 maxF 任意一个在计算时分子，（尤其是）分母有可能为0，如果在做除法运算时分母为0，且代码实现中分母未增加epsilon ((num+epsilon)/(den+epsilon)， epsilon 一般设为1e-4 or smaller number )，那么就会出现NaN的情况。所以你需要检查代码中的除法运算，避免除以0的情况发生。
On Thu, Sep 12, 2019 at 9:09 PM lipengqian notifications@github.com wrote:
作者您好，很感谢您之前的回复，对我很有帮助。我根据您的readme下载了代码，预训练模型并在本地重新生成了结果，我对比了SOD数据集。本地生成的结果在指标上（MAE，maxF和S-measure）要稍微好于论文（即您所提供的结果），我想（如果我的猜想并不正确的话，请您指正）这可能是pytorch版本（1.1.0 vs 0.4.0）或者系统环境（我在linux服务器上重现结果，并在windows系统上使用sal_toolbox评估模型）。
但是，出现了一个问题，不论是您提供的结果，还是我所重现的结果，在PACSAL-S数据集上测试时，maxF均为NaN（AUC也是）。注：PASCAL-S的gt为uint8格式（SOD为logical格式），但是即使将格式进行转换后，测试指标仍然为NaN。
— You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub https://github.com/NathanUA/BASNet/issues/14?email_source=notifications&email_token=ADSGORM4UZERQ34IR25WWNLQJL75BA5CNFSM4IWLS2E2YY3PNVWWK3TUL52HS4DFUVEXG43VMWVGG33NNVSW45C7NFSM4HLELKSQ, or mute the thread https://github.com/notifications/unsubscribe-auth/ADSGORMM2B5QXTJ72WRNTCDQJL75BANCNFSM4IWLS2EQ .
-- Xuebin Qin PhD Candidate Department of Computing Science University of Alberta, Edmonton, AB, Canada Homepage:https://webdocs.cs.ualberta.ca/~xuebin/
pengqianli
作者您好，很感谢您之前的回复，对我很有帮助。我根据您的readme下载了代码，预训练模型并在本地重新生成了结果，我对比了SOD数据集。本地生成的结果在指标上（MAE，maxF和S-measure）要稍微好于论文（即您所提供的结果），我想（如果我的猜想并不正确的话，请您指正）这可能是pytorch版本（1.1.0 vs 0.4.0）或者系统环境（我在linux服务器上重现结果，并在windows系统上使用sal_toolbox评估模型）。 但是，出现了一个问题，不论是您提供的结果，还是我所重现的结果，在PACSAL-S数据集上测试时，maxF均为NaN（AUC也是）。另注：PASCAL-S的gt为uint8格式（SOD为logical格式），但是即使将格式进行转换后，测试指标仍然为NaN；除了PASCAL-S以外的其他数据集上的指标均是正常的。