Open Smile-L-up opened 3 years ago
请问楼主复现效果大致是什么样的呢?我也有类似问题,直接跑msra或者medicine数据集都达不到预期的F1值,比作者提供的低10%-20%,batch size试了4、8、16,都没有解决,不知道哪里出问题了
楼主复现效果模拟用户的呢?我也有问题,直接msra或者医学数据集都达不到预期的F1值,比作者提供的低10%-20%,批量试了4次、 8、16,都没有解决,不知道哪里出问题了
我倒是没有太注意这个,因为我的目标是精准NER,我希望验证 的是加入了知识对模型好就OK了,完全复现的话,设备不允许,原文使用的Batch_size应该是16,而我最大只能设置10。
您好,感谢您关于预训练的解答。但在我复现您的成果时碰到两类疑问: 1、msra数据集的复现效果好像不佳,不知道是不是我batch_size设置不够大的原因;另外想问一下msra的测试验证数据集划分为什么是2:1?最后还想问您一下git上提供的数据是完整的么? 2、我尝试让每次的结果都固定,但是即使是您提供的源代码,每次跑的结果仍然是不同的。不知道要怎么解决。期待您的回复。
我也遇见了这个问题,在book-review上差20%,在weibo上又一样...
您好,感谢您关于预训练的解答。但在我复现您的成果时碰到两类疑问: 1、msra数据集的复现效果好像不佳,不知道是不是我batch_size设置不够大的原因;另外想问一下msra的测试验证数据集划分为什么是2:1?最后还想问您一下git上提供的数据是完整的么? 2、我尝试让每次的结果都固定,但是即使是您提供的源代码,每次跑的结果仍然是不同的。不知道要怎么解决。期待您的回复。