Closed ChenlongDeng closed 1 year ago
dongtang123
commented
1 year ago 您好！我使用metrics.py对prediction下的结果文件直接进行评估，发现测试结果与论文中的结果有差异。
例如将query set设置为"test"，评估指标设置为"MAP"，我们在当前文件中得到的结果为["bm25": 0.455, "tf-idf": 0.417, "lmir": 0.471]，但论文中所示结果为["bm25": 0.498, "tf-idf": 0.459, "lmir": 0.512]。请问是什么原因导致了这种不一致呢？
请问你的问题得到解决了吗？
ChenlongDeng
commented
1 year ago 已经得到解决了，非常感谢！
---- 回复的原邮件 ---- 发件人 @.> 发送日期 2023年03月1日 15:38 收件人 @.> 抄送人 @.> , @.> 主题 Re: [myx666/LeCaRD] 关于使用metrics.py得到的测试结果与论文中不一致的问题 (Issue #7)
您好！我使用metrics.py对prediction下的结果文件直接进行评估，发现测试结果与论文中的结果有差异。 例如将query set设置为"test"，评估指标设置为"MAP"，我们在当前文件中得到的结果为["bm25": 0.455, "tf-idf": 0.417, "lmir": 0.471]，但论文中所示结果为["bm25": 0.498, "tf-idf": 0.459, "lmir": 0.512]。请问是什么原因导致了这种不一致呢？ 请问你的问题得到解决了吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
dongtang123
commented
1 year ago 已经得到解决了，非常感谢！ … ---- 回复的原邮件 ---- 发件人 @.> 发送日期 2023年03月1日 15:38 收件人 @.> 抄送人 @.> , @.> 主题 Re: [myx666/LeCaRD] 关于使用metrics.py得到的测试结果与论文中不一致的问题 (Issue #7) 您好！我使用metrics.py对prediction下的结果文件直接进行评估，发现测试结果与论文中的结果有差异。 例如将query set设置为"test"，评估指标设置为"MAP"，我们在当前文件中得到的结果为["bm25": 0.455, "tf-idf": 0.417, "lmir": 0.471]，但论文中所示结果为["bm25": 0.498, "tf-idf": 0.459, "lmir": 0.512]。请问是什么原因导致了这种不一致呢？ 请问你的问题得到解决了吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
其实我是想问一下您，这个问题是怎么解决的，麻烦了
zuochao912
commented
1 year ago 我也想知道一下怎么解决的呀，麻烦指点一下，使用文中所述lexical-based方法的默认参数跑出来的结果，和predition是一致的，但是评价指标也有点异常
ChenlongDeng
commented
1 year ago 已经得到解决了，非常感谢！ … ---- 回复的原邮件 ---- 发件人 @.**> 发送日期 2023年03月1日 15:38 收件人 @.**> 抄送人 @.**> , @.**> 主题 Re: [myx666/LeCaRD] 关于使用metrics.py得到的测试结果与论文中不一致的问题 (Issue #7) 您好！我使用metrics.py对prediction下的结果文件直接进行评估，发现测试结果与论文中的结果有差异。 例如将query set设置为"test"，评估指标设置为"MAP"，我们在当前文件中得到的结果为["bm25": 0.455, "tf-idf": 0.417, "lmir": 0.471]，但论文中所示结果为["bm25": 0.498, "tf-idf": 0.459, "lmir": 0.512]。请问是什么原因导致了这种不一致呢？ 请问你的问题得到解决了吗？ — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
其实我是想问一下您，这个问题是怎么解决的，麻烦了 测试时选择前100个query就能够得到一致的结果了
您好！我使用metrics.py对prediction下的结果文件直接进行评估，发现测试结果与论文中的结果有差异。
例如将query set设置为"test"，评估指标设置为"MAP"，我们在当前文件中得到的结果为["bm25": 0.455, "tf-idf": 0.417, "lmir": 0.471]，但论文中所示结果为["bm25": 0.498, "tf-idf": 0.459, "lmir": 0.512]。请问是什么原因导致了这种不一致呢？