z814081807 / DeepNER

天池中药说明书实体识别挑战冠军方案;中文命名实体识别;NER; BERT-CRF & BERT-SPAN & BERT-MRC;Pytorch
922 stars 229 forks source link

实体知识库&&SWA滑动平均 #28

Closed topDreamer closed 3 years ago

topDreamer commented 3 years ago

1、您好!请问这个实体知识库在模型预测后使用(直接进行检索匹配)的话,是不是会造成高召回、低准确的问题呢?就比如一个实体有多个类型,那么在匹配的时候是如何选择给定哪种类型呢?如何避免这种问题? 2、项目中使用的“SWA滑动平均”有什么推荐的参考资料嘛? 期待您的回复,谢谢!

z814081807 commented 3 years ago

1、您好!请问这个实体知识库在模型预测后使用(直接进行检索匹配)的话,是不是会造成高召回、低准确的问题呢?就比如一个实体有多个类型,那么在匹配的时候是如何选择给定哪种类型呢?如何避免这种问题? 2、项目中使用的“SWA滑动平均”有什么推荐的参考资料嘛? 期待您的回复,谢谢!

在这次比赛上是会造成高召回、低准确的问题,不过是因为这个数据集的问题,漏标了挺多实体(同一个实体可能有的标了,有的没标),在正常数据集的情况下,是会低召回(新的实体无法识别)和高精度的(一般很准,相当于实体词典) ,多个实体类型一般你统计一下训练集里面不同类型的占比,某类占比很高 ,其他零星几个很有可能零星的是误标的,一词多义的情况还是比较少,一般取最多的那个,也可以人工check一下。

swa 其实就是把不同epoch模型的参数求平均,是竞赛里面经常用的一个tricks吧 相当于融合了不同epoch的模型,有别于你百度搜到的swa优化方法,思想是一样的。

topDreamer commented 3 years ago

谢谢答复!