Localizing Common Objects Using Common Component Activation Map

[yiskw713]

INFO

author

Weihao Li, Omid Hosseini Jafari, Carsten Rother

affiliation

HCI/IWR, Heidelberg University, Germany

conference or year

CVPR2019 workshop

link

pdf

概要

あらかじめ定義されていないクラスの物体の位置を特定する Common Component Activation Map(CCAM) を提案している． 本研究では，ResNetのような分類モデルの全結合層の出力をクラスの確率とみなすのではなく，component vector とみなす． 画像の集合の，すべての画像に対して component vector を計算し， その平均をgroup component vector とする．

通常のCAMは，特定のクラスsに対して以下の様に計算される．

集合中の，ある画像中の未知の物体に対するCAMを計算する際には，この group component vector (サイズ(C, )) のうち，値の大きい top k チャンネル分だけを用いる． こうすることで，未知クラスの物体に対しても localization ができるとのこと．

右のΣの部分は通常のCAMと同じで，全結合層の重みと特徴マップを掛け算している． チャネル方向に足し算を行う場合に，すべてのチャネルをつかうのではなく，top k のチャネルを使用している．

検証

CorLoc という評価指標を使用

Comment

• 他のCAMとの比較がなかったので，なんとも言えないけどいい感じに出力されている気はする．
• Grad-CAMとかでも使えるような工夫ができると面白い気がする．

date

Jan. 6th, 2020