Mask Encoding for Single Shot Instance Segmentation, CVPR, (2020)

[idekazuki]

instance segmentationは２段階の手法と1段階の手法の主に２つがあるが、基本的に2段階の手法が良い結果になる。 本手法では、Melnstと呼ばれる、Mask Regressionを追加したFCOSを用いることで２段階に迫る精度、速度を達成。

関連 -2段階手法：BBOXを生成=>その中でピクセルでの分類 計算時間が大きくなる。 Mask R-CNN, PANet, Mask Scoring R-CNN,... -1段階手法(single shot) => オブジェクトの形状をエンコードする手法が提案されている。 しかし、単一の輪郭を持つインスタンスしか描画できない。中の空洞部分もマスクに含んでしまう。ノンパラメトリックなマスク表現手法もあるが計算が複雑。

InstanceCut, TensorMask, VOLACK, BleandMask, PolarMask, SOLO, SOLOv2,... • InstanceCut[16] • インスタンスに依存しないセグメンテーションとインスタンス固有の境界の２つの問題に対処 • TensorMask[7] • 4Dテンソルが導入されて、空間ドメイン上のマスクを表現 •2段階の方法では、同様のパフォーマンスを出せるが学習とテストでのオーバーヘッドが大きくなる • VOLACK[3] • 一連のグローバルプロトタイプと個々の線形係数がマスク用に組み立てられリアルタイムの速度を実現 • BleandMask[4] • 精度と速度の両方でYOLACKを向上 • PolarMask[32] • マスクのパラメトッリク表現を使用して、バウンディングボックスなしてマスクを直接予測 • SOLO[30],SOLOv2[31] • 単純なFCNのようなフレームワークで結果を出している。

[idekazuki]

Method 二次元ジオメトリをよりコンパクトな表現ベクトルにエンコードする。 既存手法にMask Regressionを追加した。

[idekazuki]

grand truth mask, classにとらわれずすべてのカテゴリは2値で符号化。 H,W:画像の幅、高さ N:圧縮したベクトルの次元 v∈R^N: 圧縮したベクトル u∈R^HW: 平坦したマスク T∈R^NHW:project matrix,uをvに圧縮するための投影行列 W∈R^HW*N:reconstruction matrix,uを復元するための行列。

[idekazuki]

maskを固定次元のコンパクトなベクトルで表現し、回帰問題にキャストしている。 MElnstはバラバラなオブジェクトをより良く扱う能力を持っている。 Mask R-CNNに比べると検出対象が小さいと21.3%:16.9%だったが、大きいと性能低下。 ノンパラメトリックなピクセルラベリングが今後必要。