LBH1024 / CAN

When Counting Meets HMER: Counting-Aware Network for Handwritten Mathematical Expression Recognition (ECCV’2022 Poster).
MIT License
364 stars 59 forks source link

使用源码config训练CAN-DWAP,在CROHME14测试集上得到的ExpRate比论文中要低1.4% #27

Open lawsonxwl opened 1 year ago

lawsonxwl commented 1 year ago

config未作任何修改,Wordrate为0.9005,ExpRate为55.6%,问下大佬这个是啥情况?为什么复现不了呢

lawsonxwl commented 1 year ago

随机种子与config内相同 为 20211024

pinkal21300 commented 1 year ago

我在测试中得到 52.23% ExpRate。可能是什么原因?

lawsonxwl commented 1 year ago

我在测试中得到 52.23% ExpRate。可能是什么原因?

尝试增加训练epoch数量

pinkal21300 commented 1 year ago

@lawsonxwl 太感谢了。我会尝试。

eclickECNU commented 1 year ago

@lawsonxwl 我训练了240轮,代码没有任何改变,在2014 test 上只有54.67% ExpRate, 而且把counting loss 和 counting_preds 去掉之后,ExpRate 几乎不变,还是54%左右,和论文里的ablation study 完全对不上,不知道是哪里的问题,你有尝试过去掉counting loss 和 counting_preds 之后训练么

pinkal21300 commented 1 year ago

@eclickECNU 不,我到现在还没有尝试过。

Vegemo-bear commented 1 year ago

大佬,能提供一下训练好的模型吗,我这边训练出来的效果达不到50%,不知道是不是batchsize设置小的问题。

xikeda-hunzi commented 1 year ago

作者是有自己的数据增强处理,但是这部分代码没有开源,所以达不到很正常

lawsonxwl commented 1 year ago

作者是有自己的数据增强处理,但是这部分代码没有开源,所以达不到很正常

论文中无数据增强数据给的是57% 带上数据增强之后是65.58%

xikeda-hunzi commented 1 year ago

作者是有自己的数据增强处理,但是这部分代码没有开源,所以达不到很正常

论文中无数据增强数据给的是57% 带上数据增强之后是65.58%

是不是降低了batchsize啊,这个估计会有影响

lawsonxwl commented 1 year ago

使用的是论文的配置 batchsize为4 大了V100装不下

lawsonxwl commented 1 year ago

@lawsonxwl 我训练了240轮,代码没有任何改变,在2014 test 上只有54.67% ExpRate, 而且把counting loss 和 counting_preds 去掉之后,ExpRate 几乎不变,还是54%左右,和论文里的ablation study 完全对不上,不知道是哪里的问题,你有尝试过去掉counting loss 和 counting_preds 之后训练么

大佬你好 我看你在ICDAR2023的成绩很好 问下是使用的CAN模型吗? 有没有用啥trick 类似于beam search 和模型集成这种