Sampling Matters in Deep Embedding Learning

[chullhwan-song]

• https://arxiv.org/abs/1706.07567
• https://github.com/suruoxi/DistanceWeightedSampling

[chullhwan-song]

Abstract

• 이 연구에서는 loss 관련 논문

• 기존 loss 연구들은 손실(loss) 역할을 하는 부분에 맞춰있지만, 훈련 셋에서 샘플링하는 방법도 그와동등하게 매우 중요하다.는 것을 보여준다.

• distance weighted sampling & margin based loss

• distance weighted sampling

  • 좁은 지역에서 샘플링대신에 퍼진(spread) 넓은 영역에서 샘플링 : inverse distance >
    • anchor와 negative sampling 사이에서..
    • This gives us examples which are spread out instead of being clustered around a small region.
  • 이러한 특성에 대한 다른 loss와의 비교

• Margin based loss
  

  • 베타는 pos 와 neg사이의 boundary 결정하는 요인
  • 알파는 분리되는 margin을 control

• 실험