search

macanv / BERT-BiLSTM-CRF-NER

Tensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuning And private Server services
https://github.com/macanv/BERT-BiLSMT-CRF-NER
4.68k stars 1.25k forks source link

英文测试集下做 predict出现了X label #308

Open JQIANG125 opened 4 years ago

JQIANG125 commented 4 years ago

用了英文的checkpoint 和vocab做fine tuning。但是prediction的时候 准确率极低，并且label中会出现X。

屏幕快照 2020-02-28 23 37 58
macanv commented 4 years ago

X是分词导致的问题

zwd13122889 commented 4 years ago

X是分词导致的问题

您好，我也是英文的版本，也出现了如上的label中有X， 那么我该如何解决这个问题呢？或者说我该在哪一部分取消分词呢？ @macanv @JQIANG125

lulia0228 commented 4 years ago

您好，我也是英文数据集跑出来许多X label , 同样参数在kyzhouhzau/BERT-NER跑出来效果很好，是哪里设置的不对呢

huanghonggit commented 4 years ago

@macanv @JQIANG125@lulia0228@zwd13122889 测试再用英文数据集的时候，acc也只有56%左右...请问你们解决了嘛

ZhouXiaoLeilei commented 4 years ago

@macanv @JQIANG125@lulia0228@zwd13122889 测试再用英文数据集的时候，acc也只有56%左右...请问你们解决了嘛

我也遇到了相同的问题，发现predict阶段作者在写结果文件（label_test.txt）那块代码是有问题的，不适用于英文，可以参考kyzhouhzau/BERT-NER代码的predict阶段改一下。