没有使用BERTtokenizer,来处理OOV问题对于没有见过的词直接用[unk]表示，是不是效果不会那么好。

chenxiaoyouyou / Bert-BiLSTM-CRF-pytorch

使用谷歌预训练bert做字嵌入的BiLSTM-CRF序列标注模型

MIT License

458 stars 100 forks source link

Open ybshaw opened 3 years ago

ybshaw commented 3 years ago

顺带请教一下，如果使用BERT的tokenzier(英文情况下)，会切成更细的词如##ing，这样句子的长度改变了，但是lable长度却是一样，请问要怎样处理呢，谢谢