search

WesleyZhang1991 / Google_Landmark_Retrieval_2021_2nd_Place_Solution

MIT License
235 stars 29 forks source link

landmark retireval 的问题【Questions from email】 #2

Closed WesleyZhang1991 closed 2 years ago

WesleyZhang1991 commented 2 years ago

您好, 我在github 上阅读了您的论文关于GLD-v2数据集的图像检索。有个问题想请教一下关于评估。我所下载的数据集GLD-v2中大部分类别都是小于10张的。所以请问map@100这个评估方法你们是在所有的训练数据集中使用的吗？还是只是对于图像超过100张的类别计算的?

很期待您的回复 Tianyi Hu

WesleyZhang1991 commented 2 years ago

map@100是用在测试集的，与训练集无关，只要某个Query（查询图片）有至少1张GT都能算。

例如某Query其GT为M和P，Query在Index（底库，假设有N张图片）中搜索，会获得所有N张Index图片与Query图片的相似度，按相似度从大到小排序即Q: ABCDM...（省略95个，这中间没有P）qaP（这个P排103位）

则map@all = 0.5 * (1/5 + 2/103)

map@100 = 0.5 * (1/5)

在图片检索领域，一些人把map@100错误地算成map@100 = (1/5)，认为P不在前100可以不记做分母，参考谷歌的论文和delg代码，谷歌是按正确方法计算的。评价方式更多讨论，可以见https://stackoverflow.com/questions/54966320/mapk-computation