chullhwan-song
commented
5 years ago Abstract
- 2019 Google Landmark Retrieval Challenge 에서 1위한 paper, 이를 정리한 paper임..
- https://github.com/chullhwan-song/Reading-Paper/issues/137 에 했기때문에 리마인드 차원의 리뷰
Dataset
- Google-Landmarks-v2 - 2019
- 5M images of more than 200k different landmarks
- 3개의 형태로 : train, test, index
- retrieval task에서 test를 쿼리로 하여 index set으로부터 instance(landmark)를 찾는것. mission!!
- The v1 dataset was released after an automated data cleaning step, while the v2 dataset
is the raw data.
- 실제적으로 대부분 v1/v2모두 noise한 데이터..
- Automated Data Cleaning
- train set을 위해...(보통은)
- KNN 후보를 내고 최종적으로 delf+RANSAC(spatial verification)를 걷쳐 cleaning
- 개인적으로 cleaning했는데도 불구하고 많이 나옴..v2에서 많이 나오는듯으로 예상.
- 2018년 1위 팀에서 v1의 경우 650개 카테고리 25,000 개 cleaning 데이터를 획득..라고 언급..*
Modeling
- 2018년 1위 팀에서 v1의 경우 650개 카테고리 25,000 개 cleaning 데이터를 획득..라고 언급..*
- backbone : FishNet-150, ResNet-101 & SE-ResNeXt-101
- loss
- cosine-softmax based losses
- ArcFace & CosFace [21] > margin of 0.3.
- generalized mean-pooling (GeM)
- p=3, 1이면 global mean pooling과 동일.
- pytorch 소스가 공개되어서 그런지..이번 대회에서 많은 곳이 사용.. 성능이 뛰어나다고 밝힘.
학습
- Tesla-V100 GPUs
- 2개의 aug 전략
- 5 epoch : “soft” data augmentation > random cropping & scaling.
- 7 epoch : “hard” data augmentation. > random brightness shift, random sheer translation, random cropping, scaling.
- min-batch 구성할 때의 이미지 사이즈
- 기존에는 GPU Batch 효율성으로 같은 사이즈로 resize해서 구성 이점은 좀 문제라고 봄 > 왜곡?
- 그래서, 비슷한 aspect ratio를 끼리 구성해서 batch 구성
- [352, 384, 448, 512] depending on their aspect ratio. > final epoch에선 [544, 608, 704, 800]
- concatenated descriptor becomes a dimension of 3072
- inference : multi-scale > scale factors of [0.75, 1.0, 1.25]
Retrieval Track
- Discriminative Re-ranking
- outdoor & indoor image 분류
- recognition track에서 사용한 방법에 대해 test/index에 실행.> filtering
- train set에서의 label id를 이용하여 학습.
- re-ranking
- nn 결과에서, positive sample을 left로
- 그후, nn 안에 없는 postie sampling adding
- 이럴 바엔 test과 동일한 클래스를 다 올린다고 표현하는게 맞는듯.ㅎ > 아무튼 1등이니..
- 평가
https://arxiv.org/abs/1906.04087