GXYM / TextBPN-Plus-Plus

Arbitrary Shape Text Detection via Boundary Transformer;The paper at: https://arxiv.org/abs/2205.05320, which has been accepted by IEEE Transactions on Multimedia (T-MM 2023).
175 stars 38 forks source link

Totaltext复现结果问题 #12

Closed 123cjjjj closed 1 year ago

123cjjjj commented 1 year ago

谢谢作者对论文代码的开源,利用作者开源的基于Totaltext训练的模型进行测试,发现得到的结果达不到论文中公布的指标,评估出得到的结果是针对两种不同的tr和tp情况得到对应的F值,请问论文中给出的针对这个数据集的结果是在哪个tr和tp下得到的,对tr和tp以及F值的关系不太清楚,望回复!谢谢~

GXYM commented 1 year ago

谢谢作者对论文代码的开源,利用作者开源的基于Totaltext训练的模型进行测试,发现得到的结果达不到论文中公布的指标,评估出得到的结果是针对两种不同的tr和tp情况得到对应的F值,请问论文中给出的针对这个数据集的结果是在哪个tr和tp下得到的,对tr和tp以及F值的关系不太清楚,望回复!谢谢~

利用我们开源的模型测试,达不到公布的指标?差多少?你使用了我们提供的官方的评测代码?如果只差了一点点,这没有必要计较吧,不同的显卡会有一点点差别,因为计算精度不一样。

如果,你是重新训练,我们上个月更新过代码,请注意我们的更新。

请参考:https://github.com/GXYM/TextBPN-Plus-Plus/issues/9

里面有我们的回复的细节,请参考。我们不能完全的解决每个人的问题,你自己再好好检查一下。我们已经复现过一次结果了,修复了训练代码中的bug,测试代码应该没啥问题。在上一个issues的末尾,其他人也测试了我们提供的复现模型,你可以参考它的结果。

GXYM commented 1 year ago

谢谢作者对论文代码的开源,利用作者开源的基于Totaltext训练的模型进行测试,发现得到的结果达不到论文中公布的指标,评估出得到的结果是针对两种不同的tr和tp情况得到对应的F值,请问论文中给出的针对这个数据集的结果是在哪个tr和tp下得到的,对tr和tp以及F值的关系不太清楚,望回复!谢谢~

“请问论文中给出的针对这个数据集的结果是在哪个tr和tp下得到的,对tr和tp以及F值的关系不太清楚” 我们已经在代码中集成了测试代码,测试完成,测试结果会自动打印,对应的tr和tp也有。对于评测方法有疑问,请参考官方的评测方法的介绍。

GXYM commented 1 year ago

谢谢作者对论文代码的开源,利用作者开源的基于Totaltext训练的模型进行测试,发现得到的结果达不到论文中公布的指标,评估出得到的结果是针对两种不同的tr和tp情况得到对应的F值,请问论文中给出的针对这个数据集的结果是在哪个tr和tp下得到的,对tr和tp以及F值的关系不太清楚,望回复!谢谢~

我们报告的结果,对应的是tr=0.7和tp=0.6的结果,官方提倡使用这组参数评测

屏幕截图 2023-01-05 183041 这是上一个isssue中,其他人的测试结论,说明用我们提供的模型测试应该是没有啥问题的。就我们知道的Opencv的版本会对TD500的测试结果产生重大影响,Totaltext暂时没有发现,但是我们不建议使用太高的Opencv版本。

如果需试重新训练来复现结果,最好关注一下我们最近的代码更新。

GXYM commented 1 year ago

其他的,我没有什么可以提供给你的帮助。如果后期有其他人再反映用我们提供的模型测试,达不到论文中的效果(微小误差除外),那我们在我们这边在检查我们的模型和代码。但现在提供的模型和代码应该是没啥问题的,因为有人测试说提供的模型测试结果和论文的差别很微小,针对他的问题我们已经修复了训练代码的bugs.每个问题都要我检查一遍的话,太耗时了。所以我会针对反映多的问题和比较重要的问题,进行检查和修复。更多的个别问题,可能需要大家各自查找和解决。请谅解,谢谢!

123cjjjj commented 1 year ago

好滴,麻烦您了,谢谢您的回复

在 2023-01-05 19:01:24,"S.X.Zhang" @.***> 写道:

其他的,我没有什么可以提供给你的帮助。如果后期有其他人再反映用我们提供的模型测试,达不到论文中的效果(微小误差除外),那我们在我们这边在检查我们的模型和代码。但现在提供的模型和代码应该是没啥问题的,因为有人测试说提供的模型测试结果和论文的差别很微小,针对他的问题我们已经修复了训练代码的bugs.每个问题都要我们,检查一遍太耗时了,所以我们会针对反映多的问题和比较重要的问题,进行检查和修复。请谅解,谢谢!

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>