search

v-mipeng / LexiconAugmentedNER

Reject complicated operations for incorporating lexicon for Chinese NER.
436 stars 66 forks source link

使用MSRA 和微博数据，均无法达到论文中的结果。 #3

Closed macanv closed 4 years ago

rtmaww commented 4 years ago

您好，这份代码按这个参数设置跑应该能达到论文中的结果：Weibo的hidden_size=100, lr=0.005，MSRA的hidden_size=256, lr=0.003。Weibo数据集取的是前30个epoch的结果。

macanv commented 4 years ago

我再试试，谢谢

zhangtaochn commented 4 years ago

在MSRA数据集上没有达到论文当中效果，差两个百分点。

rtmaww commented 4 years ago

我们在之后的论文中更新了参数，MSRA的hidden_size=300。如果参数都设置正确的话，请将MSRA数据集的MAX_SEQUENCE_LEN设置为-1试试，因为MSRA数据集句子长一些，使用原来的值会去掉很多句子。

zhangtaochn commented 4 years ago

@gungunXD 那 lr还是0.003, bachsize可以设置大一点儿么，或者你们在实验的时候设置为多少。另外能不能把你们用的msra的切分的数据集也分享一下呢，确保能够完全一致。

rtmaww commented 4 years ago

MSRA上的lr是0.0015。batchsize可以设大，不过我们实验时在其他数据集上设置的batchsize都是1，在MSRA上应该是10，因为这个数据集太大了。。我们用的MSRA数据集就是这个https://github.com/InsaneLife/ChineseNLPCorpus/tree/master/NER/MSRA 实际实验时我们参照Lattice-LSTM，没有切分dev集，直接使用test集进行测试。

zhangtaochn commented 4 years ago

@gungunXD 非常感谢，我这就测试下。

huanli2012 commented 4 years ago

在MSRA数据集上没有达到论文当中效果，差两个百分点。

我用weibo数据集也比论文中结果相差2个点