Learning visual similarity for product design with convolutional neural networks

[chullhwan-song]

https://www.cs.cornell.edu/~kb/publications/SIG15ProductNet.pdf

[chullhwan-song]

what ?

• 기본적으로 Deep feature를 특정방법으로 embedding하여 최대해 유사 product를 찾는것이 주 목적
• product iconic 성(배경이 white) vs 실제 환경에 놓여져 있는 같은 product를 찾는 문제

background

• Siamese networks
  • 참고) triplet loss는 2 Siamese 를 묶어놓은 개념이다.
  • metric learning
    • Learn Similarity
    • Verification vs Classification : 이 말이 더 정답일듯한데, 데이터셋의 특성에 따라, 다를듯도 생각되어 짐.다만, similarity는 classification(deep feature)에서 어느정도 학습되므로, verification에 더 근접하지 않을까?
      • 6.3장의 고민과 비슷할수 있음, "Style similarity vs. image similiarity."
        • style similarity and visual similarity are not the same.
  • 입력 이미지 I는 function f에 의해 x로 embedding된다고 가정, 그러면 다음식이 유도
  • parameter 를 찾아야 embedding이 가능(학습시켜 최적의 파라메터를 찾야아한다는 의미) , 즉 이 parameter는 weights와 bias를 의미
  • 이를 위해, pair 데이터를 이용, 즉, positive pair, negative pair를 입력으로 받는 2개의 같은 net를 적용한다 이를 siamese network라 부름. - 보통 metric learning이라고 부름(이 논문이 나올시기에는 이런 학습이 많이 쓰이지 않았지만, 이후, triplet loss 방법으로 진화(?)하면서 많이 적용되기 시작함)
  • 다음과 같은 loss function를 유도하여 최적의 parameter를 찾는다.
  • loss function 에 대하여 최소하하는 방향으로 를 찾는다.
    • stochastic gradient descent 방법을 적용
      • 
      • learning rate
      • Momentum & Nesterov momentum ref : link

Our approach

• hundred thousand examples of matching in-situ products and their iconic images.
  • in-situ products : 본래 환경의 > natural image 이미지(인테리어 사진안의 의자/책상..등)
    • In-situ search는 localization 기반되지 않는다. : We use the bounding boxes we already collected from crowdsourcing as the database to search over
  • iconic image : 누끼성 이미지
• Task > figure 1에서 보면,
  • iconic image가 query가 되어, in-situ product 이미지 안에 존재하는 유사 이미지를 찾는 task
  • in-situ product 이미지의 특정 object(roi)가 query가 되어, 유사한 iconic image 찾는 task

Learning a distance metric

성능

• googlenet(pool5/7x7 s1), alexnet(fc7)등을 적용
• 256, 1024, 4096 크기의 embedding feature 적용 -> 거의 비슷한 성능 -> 256사용