search

ACL2020SpellGCN / SpellGCN

SpellGCN
https://arxiv.org/abs/2004.14166
241 stars 63 forks source link

无法复现出与paper中一致的结果 #18

Open aloha12345x opened 3 years ago

aloha12345x commented 3 years ago

您好，我把Wang2018的伪数据也加到训练集中训练，在SIGHAN15和SIGHAN14上得到结果比paper上写的低1个点左右。

Sentce Level，Detection F1 SIGHAN15: paper上写的77.7，复现结果：76.46；SIGHAN14: paper上写的67.2，复现结果65.43。

我跑了多次，结果有高有低，但都没有达到paper上报但值。paper上说报的结果是跑5次平均之后的结果，理论上跑多次得到的值应该在paper得到的值上下才对。

请问可以给一个可以完全复现paper上结果的代码setting吗，比如随机种子的值或其他细节之处？

sdzhangbo commented 3 years ago

你好，我跑的结果比你还低1-2个点。请问你有用with_error参数吗，然后epochs是采用论文里的6次，还是用的run_spellgcn.sh里面的10次epochs.

aloha12345x commented 3 years ago

你好，我跑的结果比你还低1-2个点。请问你有用with_error参数吗，然后epochs是采用论文里的6次，还是用的run_spellgcn.sh里面的10次epochs.

我全都是按默认的setting跑的，with_error=False，epoch=10，直接测试最后一个ckpt的performance。唯一有一点不同，是因为显存限制我把训练的batch_size从32改成了20。

drzqb commented 3 years ago

各位大佬有用bert复现结果的吗？我用spellgcn、bert做这个问题，出现的情况就是完全相同的训练超参，固定一个随机种子，spellgcn指标高于bert，换一个随机种子，bert指标反过来高于spellgcn了，有点晕。

li-aolong commented 3 years ago

@drzqb 你是怎么用的bert，直接把gcn层去掉了么，我用pytorch复现发现比他的tensorflow复现的结果差好多

hhhmmmzzz commented 2 years ago

您好，我把Wang2018的伪数据也加到训练集中训练，在SIGHAN15和SIGHAN14上得到结果比paper上写的低1个点左右。

Sentce Level，Detection F1 SIGHAN15: paper上写的77.7，复现结果：76.46；SIGHAN14: paper上写的67.2，复现结果65.43。

我跑了多次，结果有高有低，但都没有达到paper上报但值。paper上说报的结果是跑5次平均之后的结果，理论上跑多次得到的值应该在paper得到的值上下才对。

请问可以给一个可以完全复现paper上结果的代码setting吗，比如随机种子的值或其他细节之处？

你好，想问下你的27.1k的训练数据是处理的和TrainingTruthAll.txt和TrainingInputAll.txt格式一样然后直接加到这两个文件里嘛，我也是用的源代码的参数，但是训练结果的recall和文章里差10个点左右，呜呜