gaohongkui / GlobalPointer_pytorch

全局指针统一处理嵌套与非嵌套NER的Pytorch实现
380 stars 45 forks source link

请问【cls】与【sep】分隔符可以不需要吗?是有意为之吗 #2

Closed xhw205 closed 2 years ago

gaohongkui commented 3 years ago

No description provided.

你好,我之前是觉得[cls]与[sep]对确定是否是实体没有影响,所以就没有添加上。不过看了你的提问后,我去翻看了苏神的源码,他里面是有special_token的。我在代码中添加了special_token后确实有1%的提升,所以我更新了代码。如果你有别的数据集的话,也可以进行测试。 具体只需修改以下两处: https://github.com/gaohongkui/GlobalPointer_pytorch/blob/b9088b2065b30e282d48fa34a29ec9613f2a9397/train.py#L47

https://github.com/gaohongkui/GlobalPointer_pytorch/blob/b9088b2065b30e282d48fa34a29ec9613f2a9397/evaluate.py#L27

xhw205 commented 3 years ago

好的,感谢作者大大回复