Conditional Similarity Networks

[chullhwan-song]

https://arxiv.org/abs/1603.07810 https://tech.ebayinc.com/research/interactive-visual-search/

[chullhwan-song]

서론

• 이 논문은 영어가 어려움.ㅠ(참고)
• 정말 무엇이 similar한 이미지들인가?란 고민에서부터 출발
• 즉, 내가 운동화 shoes(query)라면, 이때 같은 카테고리(shoes)의 하이힐을 찾으란건가? 아님 같은 color의 shirt, 아님 운동화 shoes와 어울리는(많이 같이 입는) shirt를 찾으란건가?
  • 다시, 보통 single space에서는 DB에 빨간 하이힐, 파란 운동화, 빨간 셔츠가 있고, 쿼리가 빨간 운동화라면, 파란 운동화가 나오는게 similar image search에 기본인듯으로 찾는다.
    • 이유는 보통 deep feature란게 image classification기반 으로 학습된 모델을 이용하기 때문..
• 그래서 이러한 모순이 존재하는데, 이러한 problem을 풀수 있도록 이 연구에서는 Conditional Similarity Networks (CSNs) 를 제안함.
• 즉, 한번의 학습으로 conditional한걸 주어졌을때, 각각의 다른 개념(notation이란 말을 씀)의 space로 엉킴이없도록(disentangled) 학습 가능하도록 만들어주는 알고리즘 > 한마디로 multiple embedding network를 의미하는 개념인듯~
  • feature는 각각의 (분리된) sub-space에서의 다른 similarity를 가짐.
  • mask는 특별한(조건에 의한) notation으로 encode가능하도록 relevant한 차원으로 re-weight & select하도록 만들어줌.

    전체 모델 구조

    

  • 이 부분의 논문의 내용이 서론과 유사.
  • cnn feature는 Disentangled Embedding 속성 --> disentangled Embedding 으로 바꿔주는게 핵심.
  • CSNs를 고용
  • mask는 이 sub-space(Conditional Similarity Subspaces)로 embedding하는것을 도와줌.

Conditional Similarity Networks

• 우리의 목표는 nonlinear feature embedding 함수 f(x)를 학습하는 것
  • x는 이미지
• 그래서 이미지 x1, x2 pair에 대비한, f(x1) & f(x2)에 대한 Euclidean distance를 측정하여, 이들에 대한 의미적인 비유사성을 반영하는것이다.
  • 당연히, 유사한 이미지들끼리는 작은값이고, 유사하지 않다면, 큰값일것이다.
• 이를 위해 embedding function : 이를 다시, 다음과 같이,
  • g(.)는 arbitrarily nonlinear function
  • W 는 linear projection
  • 
    • d : image feature dimension > input dimension
    • b : embedding feature -> output dimension

Conditional Similarity Triplets

• unknown conditional similarity function :
• condition c 에 따른 x1, x2, x3에 대해 비교해보자.
  • A condition is defined as a certain notion of similarity according to which images can be compared. 특정 조건에서 유사한 개념을 측정할수 있는..See Figure 1
• x1, x2, x3에대한 triplet - {reference image, more distant image, closer image}
  • 
• 최종적으로, We define the set of all triplets related to condition C

Learning From Triplets

• 일반적인 triplet loss는

  • 앞에서 언급한 내용. > Euclidean distance between the representations of images xi and xj .

• 이전부터 언급했듯이, 이러한 구조는 multiple notation에 대한 similarity를 구할수 없음.

• 따라서, mask m을 소개 :

  • 바로 이 부분 > 학습하는 network
  • 
    • 는 the number of possible notions of similarities.
      • 카테고리의 유사성
      • 컬러의 유사성
      • item vs item과 어울림 : outfit > sneakers and t-shirts are stylistically closer.
  • : the selection of the c-th mask column of dimension d
    • initial vector(=embedding feature)와 동일한 dimension을 가짐.
  • 이 함수는 embedding feature(cnn deep feature - Disentangled Embedding, Fig.2)와 결합
    • element-wise 연산
  • 그래서, 특정 조건 c 에 의해, selecting the relevant dimensions of the embedding required to attend to a particular concept.
  • 이를 그림으로 설명하면,
  • 보다 정확한 그림은,
  • 이 연구에서 가장 헷갈리는 부분은, mask 의 개수를 어떻게 정의하는 것인가?란
    • 제가 이해?? > 특정 조건에서는, 즉, 다양한 concept을 그 조건에 따라 학습을 시키는건데..
      • enumeration of all unique pairs of item types in the training set.

• 그래서, embedding feature(cnn deep feature - Disentangled Embedding, Fig.2)는 다음과 같이 embedding된다.

  • f : embedding feature
  • m : mask
  • 위에서 설명했듯이, f와 m은 같은 dimension으로 element wise 연산을로 fm > 특정 condition c에 의해 attend된 feature가 생성

• 최종적으로 triplet loss는, triplet 이 면,

• condition c에 의해 embedding 결과

Encouraging Regular Embeddings

• 사실 이 부분의 수식이 잘 와닿지 않는데.. 계속 추가하겠음
• regularization 의미를 설명하려는듯.
• 이부분에 대한 loss를 embedding loss function
• 어떤 조건에 의한 분리된 공간(separate subspaces)을 embedding하는 함수는 그런데 여기서 말하기를 이러한 separate subspaces에 대한 팽창을 막기위한 목적을 위해 (to regulate the masks)
• 이 논문에서 설명하기를 이 term이 없다면, 새로운 데이터가 나타날때, 그 의미적 구조를 가진 공간에서의 적당한 parameter가 학습되는것이 아니라, 계속 새로운 공간을 생성하는 케이스가 발생한다..(이게 과최적화랑...상관있는듯..)

Joint Formulation For Convolutional CSNs

• 그래서 최종적으로, : triplet vs condition, mask m, embedding function
• In the masked learning procedure the masks learn to select specific dimensions in the embedding that are associated with a given notion of similarity. (반복)
• 동시에, f는 learns to encode the visual features such that different dimensions in the embedding encode features associated to specific semantic notions of similarity. (반복)

실험