请问【cls】与【sep】分隔符可以不需要吗？是有意为之吗

[gaohongkui]

No description provided.

你好，我之前是觉得[cls]与[sep]对确定是否是实体没有影响，所以就没有添加上。不过看了你的提问后，我去翻看了苏神的源码，他里面是有special_token的。我在代码中添加了special_token后确实有1%的提升，所以我更新了代码。如果你有别的数据集的话，也可以进行测试。 具体只需修改以下两处： https://github.com/gaohongkui/GlobalPointer_pytorch/blob/b9088b2065b30e282d48fa34a29ec9613f2a9397/train.py#L47

https://github.com/gaohongkui/GlobalPointer_pytorch/blob/b9088b2065b30e282d48fa34a29ec9613f2a9397/evaluate.py#L27

[xhw205]

好的，感谢作者大大回复