Open agatan opened 5 years ago
Instance Segmentation に有効な Semi-convolutional operator を提案した論文。
Semi-convolutional operator
Instance Segmentation 自体は、Mask R-CNN のように矩形検出 → segmentation でやる手(Propose & Verify)と、いきなり Pixel ごとに色を塗っていく手法(Instance Coloring)の 2 種類がある。 前者が最近の主流だが、矩形で表せないような object (線虫とか) に弱いなどの問題がある。 この論文では後者について分析し問題を改善、 Mask R-CNN との統合を実験している。
Instance Segmentation で Pixel ごとの色分けを採用する場合は、どのように Instance の区別をつけるかが問題になる。
一般的な方法としては、各 Pixel ごとにクラスラベルだけでなく一定長のベクトルを出力するようにし、そのベクトルをクラスタリングすることで Instance を区別する。
ここで、畳み込み演算が位置不変であることが問題になる。（座標情報が畳み込みにまったく寄与しない） 同じような画像的特徴を持っている & 遠く離れた object のときに、座標情報を知らないで畳み込むために出力が似通ってしまい、クラスタリングによる分離に失敗する。 そこで座標情報を加えた CNN Operator を提案し、座標を考慮した上で Instance Segmentation を学習するように改善した。 Mask R-CNN と組み合わせて活用できて、精度向上を確認した。
Reference
概要
Instance Segmentation に有効な
Semi-convolutional operatorを提案した論文。Instance Segmentation 自体は、Mask R-CNN のように矩形検出 → segmentation でやる手(Propose & Verify)と、いきなり Pixel ごとに色を塗っていく手法(Instance Coloring)の 2 種類がある。 前者が最近の主流だが、矩形で表せないような object (線虫とか) に弱いなどの問題がある。 この論文では後者について分析し問題を改善、 Mask R-CNN との統合を実験している。
Instance Segmentation で Pixel ごとの色分けを採用する場合は、どのように Instance の区別をつけるかが問題になる。
一般的な方法としては、各 Pixel ごとにクラスラベルだけでなく一定長のベクトルを出力するようにし、そのベクトルをクラスタリングすることで Instance を区別する。
ここで、畳み込み演算が位置不変であることが問題になる。（座標情報が畳み込みにまったく寄与しない） 同じような画像的特徴を持っている & 遠く離れた object のときに、座標情報を知らないで畳み込むために出力が似通ってしまい、クラスタリングによる分離に失敗する。 そこで座標情報を加えた CNN Operator を提案し、座標を考慮した上で Instance Segmentation を学習するように改善した。 Mask R-CNN と組み合わせて活用できて、精度向上を確認した。