JasonForJoy / IMN

CIKM 2019: Interactive Matching Network for Multi-Turn Response Selection in Retrieval-Based Chatbots
86 stars 12 forks source link

关于评价指标的计算 #18

Closed bringtree closed 4 years ago

bringtree commented 4 years ago

如 Douban corpus 的一些情况 情况:10个候选中没有一个是正类的。 在你的代码中 recall 10@1是不加入去统计的,是这样子吗?

JasonForJoy commented 4 years ago

@bringtree 是的,如果没有正样例,则Recall的满值即为0(可参考recall的定义),加入统计没有意义。 计算Precision@1时会加入统计,这也就是为什么Douban需要引入Precision@1这个指标的原因。