search

jiesutd / NCRFpp

NCRF++, a Neural Sequence Labeling Toolkit. Easy use to any sequence labeling tasks (e.g. NER, POS, Segmentation). It includes character LSTM/CNN, word LSTM/CNN and softmax/CRF components.
Apache License 2.0
1.89k stars 446 forks source link

关于复现 COLING 2018 paper NER task 任务 WLSTM+CRF+CCNN模型时遇到的一些问题 #154

Closed hzs0828 closed 4 years ago

hzs0828 commented 4 years ago

您好,我在复现NER任务 WLSTM+CRF+CCNN模型的时候,有两个问题想请教您 1.我发现您论文中的NER数据统计部分和CONLL 2003数据集在dev和test句子数量上结果不一致, 论文统计结果: image CONLL2003统计结果: 2 想请问您的论文中的数据集是怎么构建的呢

2.我使用CONLL 2003 NER数据集,复现WLSTM+CRF+CCNN模型结果时,未能达到您论文中的F1:91.35结果,我的最好的结果是F1:91.02(epochs: 97),数据已经转换为BIOES格式,对于demo.train.config只修改了word_emb_dim=100和Iteration=100,其他参数未改动,附上log信息和数据格式 log: WLSTM_crf_CCNN_BIOES_20200803_test.txt 数据格式: dev.txt 想请问您,我的复现结果达不到91.35是否跟数据量不一致有关呢,还是由于其他什么原因引起的呢

如有打扰到您,还请谅解,谢谢你!

jiesutd commented 4 years ago

你好，我确认了下数据分布，我用的conll 数据是3466 和3684 句，论文里应该是typo 了 。

91.35 应该是在有限几次尝试中最高值，平均值应该91.1 -91.2附近。你可以换几个random seed 试试。

此外你得要修改pretraining embedding的目录，替换成你的pretrained embedding, demo 中只是给了个很小的embeddings， 不是完整的。