search

ProHiryu / albert-chinese-ner

使用预训练语言模型ALBERT做中文NER
MIT License
467 stars 124 forks source link

number of label_test.txt and token_test.txt are dismatch #3

Closed martin3252 closed 5 years ago

martin3252 commented 5 years ago

Hi,我改了一些label,讓程式變成sequence labeling的task，但是經過訓練及測試，發現預測的label檔案和token_test檔案長度不同(有缺字的情況)，不知道是什麼原因，所以來詢問版大，謝謝。 螢幕快照 2019-10-22 下午4 22 42 螢幕快照 2019-10-22 下午4 22 54 另外我有檢查過不是max_seq_length的問題

ProHiryu commented 5 years ago

是不是因为标点符号的处理问题呢？因为我看你的case像是？这个符号没有识别出来

martin3252 commented 5 years ago

經過檢查發現是因為predict label 變為 0, 因此不會被寫入檔案，所以程式看來是沒問題的。