search

luopeixiang / named_entity_recognition

中文命名实体识别（包括多种模型：HMM，CRF，BiLSTM，BiLSTM+CRF的具体实现）
2.14k stars 538 forks source link

训练bilstm_crf,不需要在标注后加<end> #16

Open MTaoYue opened 4 years ago

MTaoYue commented 4 years ago

感谢作者的分享！ 在prepocess_data_for_lstmcrf中，发觉作者对每句句子和tag之后都加入了end的标志。 在我自己的数据集上跑代码下来，val_loss是不会变负的，不work。 我的理解是，这样做相当于有了两个end。这样训练crf这个转移矩阵的时候，相当于end->end在最后一步要有最大值，感觉是不对的。个人觉得并不需要给word和tag在数据标注上增加这个end尾巴。start和end的tag添加是给crf的矩阵使用的。

qq31415926 commented 2 years ago

您好，请问能解释一下bilstm_crf模型为啥val_loss需要为负数吗？