Evaluation metric for image retrieval task + Recall@k

안녕하세요! 평가 관련 추가적인 질문이 있습니다. Inference 결과가 어떻게 나와야 happy인지 궁금합니다.

1. Query Image

5-class로 이루어진 데이터에 query images가 총 세 장 있다고 가정해 보겠습니다.

1번 query image's label : class 4 2번 query image's label : class 1 3번 query image's label : class 4

2. Reference image

Reference images 이미지 중

Ref Images 1, 3, 5, 6, 8 는 class 4에 속하고, Ref Images 2, 7는 class 1에 속합니다.

3. Inference with my model

1번 query image : 1, 3, 5, 6, 8 (nicely done. Happy 😄 ) 2번 query image : 2, 7 (nicely done. Happy 😄) 3번 query image : 1, 3, 5, 6, 7 (in this case, the 8 is not selected although it should be)

이런 식으로 inference 결과가 나왔다면 계산을 어떻게 하나요? 3번 query image의 7은 false positive인 경우이고 3번 query image의 8은 false negative인 경우입니다.

PS

그리고 image retrieval task에서 사용하는 Recall@k에 대한 질문이 있습니다. 아래 내용에서

For the retrieval task, we use the Recall@K metric. Each test image (query) first retrieves K nearest >neighbors from the test set and receives score 1 if an image of the same class is retrieved among the K >nearest neighbors and 0 otherwise. Recall@K averages this score over all the images.

query image 마다 k가 다른지 궁금합니다.

Naver-AI-Hackathon / AI-Vision

Evaluation metric for image retrieval task + Recall@k #82

1. Query Image

2. Reference image

3. Inference with my model

PS