效果咨询

[shiwanghua]

您好，请问 PUCK 十亿数据集上的召回率怎么样？求的是 top 几？

[shiwanghua]

recall@10 是什么意思？是召回 10 个然后去命中 top10 的比例吗？

ap 又是什么意思呢？

[jy02414216]

您好，请问 PUCK 十亿数据集上的召回率怎么样？求的是 top 几？ 请参考benchmark https://github.com/baidu/puck/blob/main/ann-benchmarks/README.md#%E5%8D%81%E4%BA%BF%E7%BA%A7%E5%88%AB%E6%95%B0%E6%8D%AE%E9%9B%86

数据集介绍：https://big-ann-benchmarks.com/neurips21.html

[jy02414216]

recall@10 是什么意思？是召回 10 个然后去命中 top10 的比例吗？

ap 又是什么意思呢？

recall@10 代表算法召回的top10 占暴力搜索top10的比例

[shiwanghua]

recall@10 是什么意思？是召回 10 个然后去命中 top10 的比例吗？ ap 又是什么意思呢？

recall@10 代表算法召回的top10 占暴力搜索top10的比例

https://github.com/baidu/puck/blob/main/ann-benchmarks/README.md#%E5%8D%81%E4%BA%BF%E7%BA%A7%E5%88%AB%E6%95%B0%E6%8D%AE%E9%9B%86

这个表里的数值是 recall 除以 AP，AP 是什么呢？

[heaoxiang]

recall@10 是什么意思？是召回 10 个然后去命中 top10 的比例吗？ ap 又是什么意思呢？

recall@10 代表算法召回的top10 占暴力搜索top10的比例

https://github.com/baidu/puck/blob/main/ann-benchmarks/README.md#%E5%8D%81%E4%BA%BF%E7%BA%A7%E5%88%AB%E6%95%B0%E6%8D%AE%E9%9B%86

这个表里的数值是 recall 除以 AP，AP 是什么呢？

average precision的意思，可以去google一下搜索场景中ap指标的例子

[shiwanghua]

recall@10 是什么意思？是召回 10 个然后去命中 top10 的比例吗？ ap 又是什么意思呢？

recall@10 代表算法召回的top10 占暴力搜索top10的比例

https://github.com/baidu/puck/blob/main/ann-benchmarks/README.md#%E5%8D%81%E4%BA%BF%E7%BA%A7%E5%88%AB%E6%95%B0%E6%8D%AE%E9%9B%86 这个表里的数值是 recall 除以 AP，AP 是什么呢？

average precision的意思，可以去google一下搜索场景中ap指标的例子

好的，感谢