SFNet: Learning Object-aware Semantic Correspondence

[idekazuki]

2つの画像間の一致特徴点を探す ほぼweakly supervised , self supervised に近い、segmentation mask で学習する。

学習は同じ画像、テストでは別の画像で

maskはbinary

既存研究 semantic correspondence をバウンディングボックスを似ている画像のペアを作るのに利用している。

基本的にResNet 固定 Kernel soft argmax layerを提案: argmaxは微分ができないので中間方法。 一番似ている場所を探すための関数。

np = ap(q) = c(p,q)をNormalizeしたもの。

Attentonは点だが、Gausian使うことで周りもある程度考慮。