span_loss_candidates参数的问题

ShannonAI / mrc-for-flat-nested-ner

Code for ACL 2020 paper `A Unified MRC Framework for Named Entity Recognition`

643 stars 117 forks source link

span_loss_candidates参数的问题 #76

Closed ISGuXing closed 3 years ago

ISGuXing commented 3 years ago

您好，请问span_loss_candidates参数我使用all发现没有收敛，使用gold才收敛，大概训练了30个epoch，在test集上只有52%的F1，请问这个参数为什么这么重要呢？大概训练多少个epoch才会收敛到比较好的一个效果呢？期待您的回复！（我是在bert_base_case上训练的，然后计算span的时候用了您代码中的 MultiNonLinearClassifier）

YuxianMeng commented 3 years ago

@ISGuXing Hi，span_loss_candidates=all会导致负例数量远远大于正例。这种正负样本不均衡的问题会对模型的训练造成比较大的影响，后续我们有尝试dice-loss解决这个问题，你可以借鉴一下这个repo