duterscmy / ccks2019-ckbqa-4th-codes

中文知识库问答代码,CCKS2019 CKBQA评测第四名解决方案
477 stars 91 forks source link

请问作者和大家复现时各模块指标都是多少呀? #60

Open attackon1point6 opened 2 years ago

attackon1point6 commented 2 years ago

我自己的如下(2022.3时的代码),我感觉是比较低的,跟之前一些问题里结果有不小差距(我是用的ccks2019训练集验证集,然后知识库用的ccks2021年主办方提供的pkubase,应该没差别?) 模型 f1值 召回率 train_ner 0.669 entity_extractor 0.63(单实体和全部问题均为此值) entity_filter 0.546(总体)/0.586(单实体) tuple_extractor 覆盖比率:0.51(总体)/0.62(单实体) 最后valid测试 ave_f:0.40左右 是不是中间代码改过?或者ccks2021和2019数据库不太对应?

cheng940929 commented 1 year ago

tuple_extractor 覆盖比率:0.51(总体)/0.62(单实体)这个和你选择的topn有关系,你是用的默认值吗

attackon1point6 commented 1 year ago

tuple_extractor 覆盖比率:0.51(总体)/0.62(单实体)这个和你选择的topn有关系,你是用的默认值吗 tuple的topn我取的5,实体匹配时取的10,一开始默认值好像topn比我的都低一点,好像是tuple取的3,实体取的5.

cheng940929 commented 1 year ago

tuple_extractor 覆盖比率:0.51(总体)/0.62(单实体)这个和你选择的topn有关系,你是用的默认值吗 tuple的topn我取的5,实体匹配时取的10,一开始默认值好像topn比我的都低一点,好像是tuple取的3,实体取的5.

你可以跑最后的answer_bot.py吗。我的16g内存直接爆炸了。。。

attackon1point6 commented 1 year ago

tuple_extractor 覆盖比率:0.51(总体)/0.62(单实体)这个和你选择的topn有关系,你是用的默认值吗 tuple的topn我取的5,实体匹配时取的10,一开始默认值好像topn比我的都低一点,好像是tuple取的3,实体取的5.

你可以跑最后的answer_bot.py吗。我的16g内存直接爆炸了。。。

我是在a100上跑的,内存比较足;后来自己的16g电脑跑过一次通了,不过也是很卡就是了。他的实体链接字典、倒排字典啥的还是挺大的,能用实验室的计算资源就用实验室的吧

cheng940929 commented 1 year ago

好的,谢谢!!

px6927 commented 1 year ago

我自己的如下(2022.3时的代码),我感觉是比较低的,跟之前一些问题里结果有不小差距(我是用的ccks2019训练集验证集,然后知识库用的ccks2021年主办方提供的pkubase,应该没差别?) 模型 f1值 召回率 train_ner 0.669 entity_extractor 0.63(单实体和全部问题均为此值) entity_filter 0.546(总体)/0.586(单实体) tuple_extractor 覆盖比率:0.51(总体)/0.62(单实体) 最后valid测试 ave_f:0.40左右 是不是中间代码改过?或者ccks2021和2019数据库不太对应?

请问能留一个联系方式吗?这个代码我复现过程中出现了一些问题,想请教一下您TT

px6927 commented 1 year ago

好的,谢谢!!

您好请问能请教您一些问题吗?方便留一个联系方式吗?

attackon1point6 commented 1 year ago

我自己的如下(2022.3时的代码),我感觉是比较低的,跟之前一些问题里结果有不小差距(我是用的ccks2019训练集验证集,然后知识库用的ccks2021年主办方提供的pkubase,应该没差别?) 模型 f1值 召回率 train_ner 0.669 entity_extractor 0.63(单实体和全部问题均为此值) entity_filter 0.546(总体)/0.586(单实体) tuple_extractor 覆盖比率:0.51(总体)/0.62(单实体) 最后valid测试 ave_f:0.40左右 是不是中间代码改过?或者ccks2021和2019数据库不太对应?

请问能留一个联系方式吗?这个代码我复现过程中出现了一些问题,想请教一下您TT 加我v吧:likePipiro