search

stanleylsx / entity_extractor_by_ner

基于Tensorflow2.3开发的NER模型，都是CRF范式，包含Bilstm(IDCNN)-CRF、Bert-Bilstm(IDCNN)-CRF、Bert-CRF，可微调预训练模型，可对抗学习，用于命名实体识别，配置后可直接运行。
390 stars 73 forks source link

换分词库 #38

Closed 670619720 closed 2 years ago

670619720 commented 2 years ago

我可以不用结巴分词，用自己的分词库吗？

stanleylsx commented 2 years ago

我可以不用结巴分词，用自己的分词库吗？

如果使用LSTM+CRF的话这个项目没有用到结巴分词，用的仅仅是字粒度的token 如果你使用Bert的话用的是Bert的Tokenizer