search

ShannonAI / mrc-for-flat-nested-ner

Code for ACL 2020 paper `A Unified MRC Framework for Named Entity Recognition`
663 stars 118 forks source link

关于span loss的问题 #28

Open Maybewuss opened 4 years ago

Maybewuss commented 4 years ago

您好，我在其他的qa任务中借鉴了span loss，但是发现加了以后收敛不了，这样正常吗？lr用的是3e-5。

littlesulley commented 4 years ago

不正常。可能其他地方哪里出错了。

Maybewuss commented 4 years ago

我直接用的dense，没有用MultiNonLinearClassifier，然后样本构造应该没啥问题，不知道是不是解码的问题，我解码的时候是要求start end的概率大于0.5并且要求span[start, end]的值也大于0.5。训练过程发现loss下降到一定程度后就不变 了，然后f1值也是一直接近0。然后一般finetune的时候lr都是在5e-5到2e-5之间这样，然后看到这边设置的是8e-6，是专门为了span loss调整的吗？

ghost commented 4 years ago

您好，感谢您的提问， 一般来说Learning rate和能否正常训练没有太大关系。在我们的任务上8e-6和2e-5的区别 应该只是在最后结果上的差别1-2个F1，但是应该并不会造成没有办法收敛的情况。