stanleylsx / entity_extractor_by_ner

基于Tensorflow2.3开发的NER模型,都是CRF范式,包含Bilstm(IDCNN)-CRF、Bert-Bilstm(IDCNN)-CRF、Bert-CRF,可微调预训练模型,可对抗学习,用于命名实体识别,配置后可直接运行。
390 stars 73 forks source link

label和token是基于train数据学出来的,test出现新的则无法使用 #31

Closed tyn513 closed 2 years ago

stanleylsx commented 2 years ago

No description provided.

token是根据train学出来的,每次训练之前你不删除就不会变。 如果你是说的OOV问题:测试集的token在预测中出现[UNK]的问题,这应该是另外一个问题。