MaskLab: Instance Segmentation by Refining Object Detection with Semantic and Direction Features

[idekazuki]

MaskLabというネットワークを提案 以下の3つを出力する。 " Box detection " Semantic segmentation " Direction prediction

Deformable convolutional networks採用 畳み込みをする位置をずらして精度を上昇させている。同時にオフセットも学習している。

低層のResNetレイヤをConcatする場合conv1,2が一番精度でた。 ・この論文ではインスタンスセグメンテーションを解決するため、box検出、semantic segmentation, direction predictionを出力するMaskLabと呼ばれるネットワークを 提案した。 ・MaskLabはSOTAの検出器の上にできており、前景と背景を区別するためにsemantic segmentationとdirection predictionを利用する。 ・ COCOのインスタンスセグメンテーションでいいベンチマークを示した。

[idekazuki]

インスタンスの中心方向に対する特徴量をROIに対して切り出してくっつけるDirection featuresを導入するのは面白いと思った。しかし、この切り出し方については放射線状になっているが、この切り出し方のパターンについては考察の余地があるのかなと感じた。

[idekazuki]

畳み込みをグリッドの形状だけでなく位置をずらして更にそのオフセットも学習するのは面白い。