stanleylsx / entity_extractor_by_ner

基于Tensorflow2.3开发的NER模型,都是CRF范式,包含Bilstm(IDCNN)-CRF、Bert-Bilstm(IDCNN)-CRF、Bert-CRF,可微调预训练模型,可对抗学习,用于命名实体识别,配置后可直接运行。
393 stars 74 forks source link

无法生成lab2id和token2id两个文件 #72

Closed bigenheng closed 1 month ago

bigenheng commented 5 months ago

Snipaste_2024-05-10_21-19-22

bigenheng commented 5 months ago

你好,请问这个如何解决呢?

M-YoungBWeN commented 4 months ago

同问,我没有生成token2id

M-YoungBWeN commented 4 months ago

0001 在训练时使用预训练模型就不会生成token2id文件,那么预测时该使用哪个词表呢

stanleylsx commented 1 month ago

0001 在训练时使用预训练模型就不会生成token2id文件,那么预测时该使用哪个词表呢

预训练模型本身自己带有tokenizer,不需要生成token2id文件了。