Class-Weighted Convolutional Features for Image Retrieval

abstract

이미지의 공간적 정보에서의 discriminative 한 영역에 대해 "Class Activation Maps (CAMs)"을 이용한 Feature 구성
- 개인적으로는 spatial information 즉, attention 개념과 일치한다고 본다.
delf, dir등과 같은 fine-tuning 방법이 아니고, 단지 ImageNet로 학습된 모델을 이용하는것으로 보임 .

Class-Weighted Convolutional Features

먼저 오리지널 논문은 아니지만 이 개념을 https://github.com/chullhwan-song/Reading-Paper/issues/11 리뷰..
softmax의 결과(forword)에서, 각 클래스에 따른 activate 한 영역은 결국 다르니..그 점을 이용.
CAM은
- 마지막 fc layer의 a Global Average Pooling (GAP) layer를 대신, 즉, 이 layer전에 부착 = CAM layer부착한다는 의미
- 마지막 cnn layer에서의 feautre map의 선형결합을 통해 계산, 이때, 학습된 class weight를 고려(weighted)한다.
  - 그래서 다음과은 수식으로 표현함.
- GT와 이를 이용한 ROI의 비교
- 아래 Fig.1에서 어느부분에서 적용되고 있는지..볼수 있음.

Image Encoding Pipeline

feature 추출 전체 과정
Pipeline
- Features and CAMs Extraction
- Feature Weighting and Pooling
  - CAM은 featue map과 같은 크기(channel 제외, CAM=1이지않을까?ㅎ)
  - CAM x CNN_feature_map > element-wise
    - 이때 CAM은 각각 class에 따른 공간적 Weighted 정보
  - 밑의 channel weight이 이부분에 존재
  - SUM Pooling을 통해 K(channel) dimension의 feature 구성
    - 각 클래스마다
    - SUM Pooling은 HxW단위, HxW --> 1로 줄임
    - 이후, l2 normalization
  - reduction > PCA + l2 normalization
  - Crow에서 제한된 Feature Weighting
    - 뜬금없이 나와서 당황스러운데, 순서상 바로 위의 "CAM x CNN_feature_map" 다음 단계에 나와야한다..사실..!!
    - 일단..논리상!~!!!
      - cam에 의한 spatial weighting 적용후에 이를 적용해야할것같다. > 밑의 수식(4) 참조~~~~
        
        수식(4)의 CW부분
      - 이때의 입력은 cam에 의한 spatial weighting의 입력값과 동일하므로, convolution layer의 feature map이다.
    - 공식과 소스는 다음과 같다.
```
def compute_crow_channel_weight(X):
"""
Given a tensor of features, compute channel weights as the
log of inverse channel sparsity.
:param ndarray X:
3d tensor of activations with dimensions (channels, height, width)
:returns ndarray:
a channel weight vector
"""
K, w, h = X.shape
area = float(w * h)
nonzeros = np.zeros(K, dtype=np.float32)
for i, x in enumerate(X):
nonzeros[i] = np.count_nonzero(x) / area
```
nzsum = nonzeros.sum() for i, d in enumerate(nonzeros): nonzeros[i] = np.log(nzsum / d) if d > 0. else 0.

return nonzeros
```
* Descriptor Aggregation
   * class수만큼의 K dimension(max=k, pca적용했다면 <=K) feature들이 존재하고 각각의 sum 
        * 사실 모든 class를 고려해야하는건 좀 무리인것같다.. class 선택하는 방법에 대해 논문에서는 2가지 방법을 고려
             * Online Aggregation (OnA) vs Offline Aggregation (OfA)
![image](https://user-images.githubusercontent.com/40360823/67549795-04ae2500-f740-11e9-9822-8a2ffa28ec6a.png)
![image](https://user-images.githubusercontent.com/40360823/67549739-e9dbb080-f73f-11e9-8eee-599d149624c9.png)
   * 이후, l2 normalization+PCA  + l2 normalization     
```

Experiments

Re-Ranking and Query Expansion

이때까지, 학습방법이 아닌것에 대한 가장좋은것같다. 오래(?)전논문이라~
- kaist에서 낸 논문이 이보다..

chullhwan-song / Reading-Paper

Class-Weighted Convolutional Features for Image Retrieval #231

abstract

Class-Weighted Convolutional Features

Image Encoding Pipeline

Experiments

Re-Ranking and Query Expansion