预测结果不对 - Githubissues

yuanxiaosc / Multiple-Relations-Extraction-Only-Look-Once

Multiple-Relations-Extraction-Only-Look-Once. Just look at the sentence once and extract the multiple pairs of entities and their corresponding relations. 端到端联合多关系抽取模型，可用于 http://lic2019.ccf.org.cn/kg 信息抽取。

https://yuanxiaosc.github.io/2019/05/28/信息抽取任务相关论文发展脉络/

346 stars 69 forks source link

预测结果不对 #7

Closed Lanme closed 4 years ago

Lanme commented 5 years ago

训练跑的是 run_multiple_relations_extraction.py 我只是预测了三句而已：

肥西家明房产经纪有限公司创建于2000年12月18日，总部办公地址位于合肥市肥西县县城上派镇三河中路众鑫楼2单元303室
360于2005年11月创立，系互联网安全服务和产品提供商，并于2011年登陆美国纽交所
兹娜·萨扎娜维特斯，女，出生于1990年10月25日，白俄罗斯举重运动员

这是loss:

ner的结果是有了，但是关系的结果：

yuanxiaosc commented 5 years ago

@Lanme 联合模型预测关系时确实会出现上述情况，于是我尝试了不同的损失函数来尝试解决该问题，但是目前还没彻底解决。具体原因参见README.md 中的 Need Your Help! ，欢迎提供解决该问题的方法。

Lanme commented 5 years ago

这个是loss导致还是N的负样本太多导致的呢？

yuanxiaosc commented 5 years ago

这个是loss导致还是N的负样本太多导致的呢？

本质上时负样本太多，导致类别不平衡问题，可行的一种解决方法是修改损失函数给予需要少数类更多的关注。希望你可以在这里获得一些启发： https://yuanxiaosc.github.io/2019/08/16/机器学习中的常识性问题/#如何处理数据类别不平衡问题

Lanme commented 5 years ago

我尝试了你的mask_loss.py，预测结果还是一样。正在尝试跑原来的bekou的模型，因为我看他原来的也是出现很多N呀，另外如果是loss的问题有木有尝试focal loss呢

yuanxiaosc commented 5 years ago

@Lanme 希望你能做实验看看，比如用他的代码来跑这个数据。我也问过他是如何处理的，他说他没有特别处理。。。。

AnddyWang commented 4 years ago

这个问题有解决吗？我训练了下，预测也都是这个结果

AnddyWang commented 4 years ago

@Lanme @yuanxiaosc