search

alibaba / euler

A distributed graph deep learning framework.
Apache License 2.0
2.89k stars 559 forks source link

请问无监督时mrr(Mean Reciprocal Rank)指标是怎么得到的？这个rank是指什么排序 #249

Open chriskeke95 opened 4 years ago

chriskeke95 commented 4 years ago

不太理解这里的排序是指什么 image

alinamimi commented 4 years ago

MRR（Mean reciprocal rank）是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和 无监督学习的目标就是正例要尽可能排在负例的前面，所以mrr是一个很好的选择

chriskeke95 commented 4 years ago

MRR（Mean reciprocal rank）是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和 无监督学习的目标就是正例要尽可能排在负例的前面，所以mrr是一个很好的选择

嗯嗯 想请问一下这里的正例和负例排序怎么排的。正例是指有边连接的节点，负例是无边的节点，是直接计算节点embedding之间的相似度来排序的吗？

alinamimi commented 4 years ago

正例是一般选有边连接的节点，负例全局采样。可以用相似度或者其他的算法，mrr是对结果进行排序后算的值

teamaster1 commented 4 years ago

正例是一般选有边连接的节点，负例全局采样。可以用相似度或者其他的算法，mrr是对结果进行排序后算的值

请问算mrr的时候是否考虑了edge的权重

alinamimi commented 4 years ago

没有

wsnooker commented 4 years ago

MRR（Mean reciprocal rank）是一个国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个匹配分数为0.5，第n个匹配分数为1/n，如果没有匹配的句子分数为0。最终的分数为所有得分之和 无监督学习的目标就是正例要尽可能排在负例的前面，所以mrr是一个很好的选择

这里换成auc是不是类似？