Image similarity using Deep CNN and Curriculum Learning

[chullhwan-song]

https://arxiv.org/abs/1709.08761

[chullhwan-song]

What ?

• similarity search
• Siamese network의 기반의 학습
• 덧붙혀서, Curriculum Learning개념의 학습를 추가 > 새로운 online pair를 선택하는 방법 제시 : (online pair mining strategy (OPMS) 라 정의
• multi-scale CNN feature를 이용한 embedding

Siamese network

• 보통은, 기존의 일반적으로 불리우는 deep feature 즉, 4096 dimension 을 가진 alexnet or vgg 의 fc 이용
• hinge loss같은것을 이용하여 학습

Online Pair Mining strategy (OPMS)

• 기존의 metric learning 즉, triplet loss를 적용한 facenet, vggfacenet 같은 경우에, triplet selection이란 이름으로 triplet pair를 구하는 방식에서, hard sampling 이란 방식을 도입하여 acc를 높이기 위해(보다 구별이 잘되는 embedding feature)를 학습에 적용했다.
• 하지만, 이런 방식으로, 성공적으로 학습에 이용했으나, cost가 많이 드는 방식이다. argmin and argmax 계산이 많이 든다.
  • 그런데 밑에 보면 공식에서 argmin/max를 구하는게 아닌가????
• hardest negative pairs를 선택하는 방식이 아니라, pos pair는 모두 사용하고 부분적으로 hardest negative 적용한다. 다음식에 의해
• 이에 대한 주장하는 방식이 Curriculum Learning
  • 이 방식은 학습할때 속도를 높임.
  • hardest negative pairs를 선택하는 방식이 아니라,
  • anchor 기준의 pair에 대한 l2 distance기준으로 sorting. > 이를 이용하여, margin과 거리가 먼것은 처음에 제시(presented)하고, 가까운것들은 뒤쪽(at the end)에 제시하여 학습
    • 이 방법은 빠르게 convergence하고 안정적으로 학습하도록 한다.
    • ML models by introducing easier training examples first and gradually increasing the difficulty level of the examples. > 정리하면, 초기엔 쉬운 점점 어려운(hard sampling)을 취하는 방식.

Multi-Scale CNN

• low layer를 적용한다.
• fc 도 적용
• 주의 할점은 normalization을 해야한다. over-fitting을 막기위해.

실험