search

stanleylsx / entity_extractor_by_ner

基于Tensorflow2.3开发的NER模型，都是CRF范式，包含Bilstm(IDCNN)-CRF、Bert-Bilstm(IDCNN)-CRF、Bert-CRF，可微调预训练模型，可对抗学习，用于命名实体识别，配置后可直接运行。
393 stars 74 forks source link

无法生成lab2id和token2id两个文件 #72

Closed bigenheng closed 1 month ago

bigenheng commented 5 months ago

Snipaste_2024-05-10_21-19-22

bigenheng commented 5 months ago

你好，请问这个如何解决呢？

M-YoungBWeN commented 4 months ago

同问，我没有生成token2id

M-YoungBWeN commented 4 months ago

0001 在训练时使用预训练模型就不会生成token2id文件，那么预测时该使用哪个词表呢

stanleylsx commented 1 month ago

0001 在训练时使用预训练模型就不会生成token2id文件，那么预测时该使用哪个词表呢

预训练模型本身自己带有tokenizer，不需要生成token2id文件了。