search

duterscmy / ccks2019-ckbqa-4th-codes

中文知识库问答代码，CCKS2019 CKBQA评测第四名解决方案
476 stars 91 forks source link

F1:40%左右 #28

Open hahlw opened 4 years ago

hahlw commented 4 years ago

这是运行tuple_filter.py 的结果 在验证集上逻辑回归筛选后top10 召回率为0.87 单实体问题中，候选答案可召回的的比例为:0.893 候选答案能覆盖标准查询路径的比例为:0.685

为啥子测试的时候F1那么低~ 有大佬复现了代码的结果吗?

1234560o commented 4 years ago

我一开始跑通这个代码也差不多是这个样子，后面慢慢优化、加特征、调参后（特别是实体链接那部分）测试集f1就接近70%了

hahlw commented 4 years ago

我一开始跑通这个代码也差不多是这个样子，后面慢慢优化、加特征、调参后（特别是实体链接那部分）测试集f1就接近70%了

好的好的,不知道大佬可以私一份代码吗?

1234560o commented 4 years ago

实在抱歉，因为一些原因不能公开。不过，在这个代码基础上修正一些bug和努力优化是能达到比较好的效果的

hahlw commented 4 years ago

实在抱歉，因为一些原因不能公开。不过，在这个代码基础上修正一些bug和努力优化是能达到比较好的效果的

好的好的,谢谢哈~

duterscmy commented 4 years ago

如果similarity.py这个环节微调好的话，测试集上单模型到58%左右是正常的，你可以把学习速率和轮次再调一下

Jun-Zhang-32108 commented 3 years ago

如果similarity.py这个环节微调好的话，测试集上单模型到58%左右是正常的，你可以把学习速率和轮次再调一下

想问一下，我用Similarity跑了一下给出的文本匹配的数据集，测试集准确率只有62%，请问这是预期效果嘛