无法复现结果

[zhanqiuzhang]

没有修改代码，使用run.sh一样的设置，在 SIGHAN15 的 sentence level 上的结果比论文中 report 结果大概低3个点。

请问如何才能复现论文中结果？

[rarae]

detect_sent_precision=0.766525, detect_sent_recall=0.720441, detect_Fscore=0.742769 correct_sent_precision=0.755864, correct_sent_recall=0.710421, correct_Fscore=0.732438 我也遇到同样问题

[AnddyWang]

@zhanqiuzhang @rarae 我跑出来的在sh15上更低呢，两个跑的参数也都是默认的么？需要调整哪些参数或者文件么 detect_sent_precision=0.719588, detect_sent_recall=0.634545, detect_Fscore=0.674396 correct_sent_precision=0.612371, correct_sent_recall=0.540000, correct_Fscore=0.573913

[rarae]

@AnddyWang 没有改参数，你没有用28W的数据吧？

[AnddyWang]

@AnddyWang 没有改参数，你没有用28W的数据吧？

嗯，确实没用，你的结果是用了这个额外数据的么？

[wangwang110]

@zhanqiuzhang @rarae 用了28W的数据，和原来的数据一起训练，结果还差5个点 detect_sent_precision=0.687603, detect_sent_recall=0.756364, detect_Fscore=0.720346 correct_sent_precision=0.667769, correct_sent_recall=0.734545, correct_Fscore=0.699567

难道是先用28w的数据预训练，再用真实的训练数据集微调？

[YsylviaUC]

请问您最后是否复现了结果？我用了28w的数据，在sighan15上的结果差4个点

[wangwang110]

请问您最后是否复现了结果？我用了28w的数据，在sighan15上的结果差4个点

可以复现，先用wang2018的数据预训练，再用sighan的数据训练

[Imposingapple]

请问您最后是否复现了结果？我用了28w的数据，在sighan15上的结果差4个点

可以复现，先用wang2018的数据预训练，再用sighan的数据训练

您好，我先在28W数据上预训练，然后在10K的数据上微调了10个epoch，最后得到的结果和论文讲述的查了10个点，请问您预训练用了多少个epoch，微调用了多少epocj，有没有改动其他参数？求指教，谢谢！

[paopaoayaya]

可以问一下你们使用的服务器显存和内存配置吗，batch size使用的多大呀