LeeSureman / Flat-Lattice-Transformer

code for ACL 2020 paper: FLAT: Chinese NER Using Flat-Lattice Transformer
1k stars 178 forks source link

复现精度问题 #131

Open zhangliang-chn opened 8 months ago

zhangliang-chn commented 8 months ago

目前在resume和weibo数据集上做了实验,weibo数据集上f1可以达到论文的效果。 但是resume数据集上的效果最好就是95.1%左右,没有达到论文的95.45%,请问复现时有什么技巧,或者数据集分割时有什么技巧吗?我是按照您的参数设置做的实验。而且发现把flat_main.py中的这三行取消注释后效果更好:

torch.backends.cudnn.benchmark = False

fitlog.set_rng_seed(args.seed)

torch.backends.cudnn.benchmark = False

应该是因为这三行代码使用了作者您设置的随机数种子?

希望大佬看到的话,有空可以回复,谢谢~

liucuilan commented 7 months ago

目前在resume和weibo数据集上做了实验,weibo数据集上f1可以达到论文的效果。 但是resume数据集上的效果最好就是95.1%左右,没有达到论文的95.45%,请问复现时有什么技巧,或者数据集分割时有什么技巧吗?我是按照您的参数设置做的实验。而且发现把flat_main.py中的这三行取消注释后效果更好: #torch.backends.cudnn.benchmark = False #fitlog.set_rng_seed(args.seed) #torch.backends.cudnn.benchmark = False 应该是因为这三行代码使用了作者您设置的随机数种子?

希望大佬看到的话,有空可以回复,谢谢~

您好,请问方便发我一下resume和weibo数据集的参数设置吗?邮箱2130138626@qq.com,我目前的复现效果较差,非常非常感谢~

zhangliang-chn commented 7 months ago

目前在resume和weibo数据集上做了实验,weibo数据集上f1可以达到论文的效果。 但是resume数据集上的效果最好就是95.1%左右,没有达到论文的95.45%,请问复现时有什么技巧,或者数据集分割时有什么技巧吗?我是按照您的参数设置做的实验。而且发现把flat_main.py中的这三行取消注释后效果更好: #torch.backends.cudnn.benchmark = False #fitlog.set_rng_seed(args.seed) #torch.backends.cudnn.benchmark = False 应该是因为这三行代码使用了作者您设置的随机数种子? 希望大佬看到的话,有空可以回复,谢谢~

您好,请问方便发我一下resume和weibo数据集的参数设置吗?邮箱2130138626@qq.com,我目前的复现效果较差,非常非常感谢~

我就用的作者代码中的参数设置,weibo可以复现,resume差一点点,如果你复现效果非常差可能不是参数设置的问题吧