BERT-SPAN模型中SPAN输出的标签1具有严重的稀疏性

lonePatient / BERT-NER-Pytorch

Chinese NER(Named Entity Recognition) using BERT(Softmax, CRF, Span)

MIT License

2.11k stars 427 forks source link

Closed milktang closed 2 years ago

milktang commented 2 years ago

由于文本中存在少量实体，因此SPAN输出中出现大量标签0，而标签1具有严重的稀疏性。这种情况应该增加标签1的比重，而label smoothing是降低标签1的比重？为什么lsr的效果还是有所提升呢？