Saliency Weighted Convolutional Features for Instance Search

[chullhwan-song]

https://arxiv.org/abs/1711.10795

[chullhwan-song]

Abstract

• 간단리뷰
• Bags of Local Convolutional Features for Scalable Instance Search 이 연구에 Saliency 정보를 추가한 연구라 볼수 있음.
  • Saliency 정보는 Spatial Attention 와 거의 같다고 볼수 있을듯~
• Saliency map를 이용한 weighted 된 image feature를 만들어서 instance 검색하려는 연구
  • Saliency 이외의 다양한 weighted 방법과의 비교

전체 과정

• Bags of Local Convolutional Features for Scalable Instance Search , where it was found that the features from this network outperform those from ResNet50 using the CAM approach.

• deep feature extraction : 빨간색으로 표시된 것은 이미 Bags of Local Convolutional Features for Scalable Instance Search 연구에서 논의

• saliency weighted map

  • CAM(Learning Deep Features for Discriminative Localization) 의 연구 기반인듯
    • 하지만, 뒤에서는 이와는 달리 지네들이 만든 gan 기반 saliency 연구 기반으로 "SalGAN: Visual Saliency Prediction with Generative Adversarial Networks"에서 언급..
  • spatial weight 이는 CNN기반 attention과 동일하다고 생각
    • 0~1 value

      feature extraction

• 

  • visual word k
  • 

• 처음에는 결합하는것(위의 그림 자주색 사각형 의미)은 assignment map는 +1로 counting하는데 saliency map을 이용하여 1 의 디폴트 값을 0~1사이의 값으로 weight를 주겠다는 의미인듯 그래서 최종 global descriptor를 구성

• 이는 attention weight를 주는것과 다름이 없음

실험