REMAP: Multi-layer entropy-guided pooling of dense CNN features for image retrieval

Abstract

2018년 google landmark kaggle 대회에서 1등한 팀 - 여기서 REMAP이란 descriptor 적용
DIR의 구조와 거의 유사.
여기서는, KL divergence를 이용하여 descriptor를 representation 했서 SOTA 성능을 냈다는게 contribution
- propose to measure the information gain of each region and layer using KL-divergence
이 리뷰에서는 DIR과 거의 동일해서 간단 리뷰정도. > 따라서 이논문을 먼저 읽기를 권함.

REMAP REPRESENTATION

DIR은 multi-region 기반이지만, 여기다가 multi-layer기반을 추가.
- 사실, end to end 는 아니지만, MAC feature를 multi-layer 기반으로 확장한 논문이 존재 : MS-RMAC
  - 즉, 새로운 idea는 아님. > 다른 곳에서 FPN이라든가..U-Net이라든가..이런 개념은 그동안 존재.
DIR와 마찬가지로, triplet loss
위의 그림 참조
여기서 새로운것은 abstract에서 언급했듯이.."Relative Entropy Weighting"이란 단어를 가진 layer 부분임
- KL-divergence 기반의 feature 구성.
  - KL-divergence는 상대적인 엔트로피(Relative Entropy)라고 불리기도함.
  - KL-divergence는 보통 두 분산에 대한 차이(?) 측정하는데 많이 쓰임.
- 상대적으로 더 중요한 region을 weighting 주겠다는건데
  - The region entropy is defined as the relative entropy between the distributions of distances for matching and non-matching image descriptor pairs, measured using the KL-divergence function.
KL-divergence Weighting (KLW) : 정확한 수식과 How가 없는것으로 보이지만, 여러 힌트 sentence를 보면
- CNN 형태 - 1D Convolution layer
- 이때의 wieght를 init할때, KL-divergence values를 이용.
  - Practically, the KL-divergence Weighting (KLW) block in the REMAP architecture is implemented using a convolutional layer with weights initialized by the KL-divergence values
그래서, 위의 그림 Relative Entropy Weighting 를 Input으로 Sum-Pooling
- 알파값을 ROI영역에 따른 weight값
- 즉, 각 sub 영역마다 주요영역이 있는데..이를 weighted 하기 위한 역할이 Relative Entropy Weighting 임.
  - 그래서 DIR의 알파값은 모든 ROI 영역에서 1이되고, RMAP은 이를 각 영역별로 주요도에 따른 알파값을 학습을 통해.. 위에 보면 CNN?를 통해..구하겠다는듯
Multi-layer에서의 추출
- Fig1의 a에서, layer1, 2에서 생성한다.
- 왜 이렇게 하는지는 아래 Fig.3에서..
  - 그림에서, ResNeXt101의 마지막, 마지막에서 두번째 feature map의 포커스된 영역을 보니 서로 다르더라...란 의미..
  - 그래서, multi-layer에서 추출함.
others
- DIR 논문과 거의 유사하다. 이 논문보다 어떻게든 SOTA성능을...내기위해..
- triplet loss
- Multi-Scale REMAP (MS-REMAP) : 이미 위에서.
실험
- Multi-layer
- IMPACT OF KLW
- R-MAC vs R-MEP
- 성능
결론
- R-MAP이 R-MAC보다 좋다.
- 하지만, KLW의 정체가 그닦~ 잘 나와있지 않다. > 왠진 감추려는 느낌.....하도 간단해서..^^;; > 소스가 나오면...ㅎ
  - 개인적인 생각인데.., Spatial Attention Map과 관련있지 않을까.. 조심스럽게 ... 유추해본다.

chullhwan-song / Reading-Paper

REMAP: Multi-layer entropy-guided pooling of dense CNN features for image retrieval #145

Abstract

REMAP REPRESENTATION