Pointly-Supervised Instance Segmentation

[e4exp]

• https://arxiv.org/abs/2104.06404
• 2021

本論文では，インスタンスセグメンテーションのための新しい弱監督法である，ポイントベースのインスタンスレベルアノテーションを提案する． これは、標準的なバウンディングボックスアノテーションと、各バウンディングボックス内で一様にサンプリングされたラベル付きポイントを組み合わせたものである。 我々は、Mask R-CNNのような完全なマスク監視のために開発された既存のインスタンスセグメンテーションモデルが、大きな変更を加えることなく、ポイントベースのアノテーションを用いてシームレスに学習できることを示す。 我々の実験では、COCO、PASCAL VOC、Cityscapes、LVISにおいて、オブジェクトごとに10点のアノテーションのみで学習されたMask R-CNNモデルは、完全な監視下での性能の94%～98%を達成しました。 この新しい点ベースのアノテーションは、オブジェクトマスクに比べて約5倍の速度で収集できるため、新しいデータでも高品質なインスタンスセグメンテーションが可能になります。 この新しいアノテーション形式に触発されて、我々はPointRendインスタンスセグメンテーションモジュールの改良を提案する。 各オブジェクトに対して、Implicit PointRendと呼ばれる新しいアーキテクチャは、最終的なポイントレベルのマスク予測を行う関数のパラメータを生成します。 Implicit PointRendはより分かりやすく、単一のポイントレベルのマスク損失を使用する。 実験の結果、この新しいモジュールは、提案されているポイントベースの監視に適していることがわかりました。

[e4exp]

[e4exp]

5. 結論

我々は、インスタンス・セグメンテーションのための新しいポイント・ベースのスーパーバイザベーションを発表した。 他の多くの弱いアノテーション形式とは異なり、ポイントベースの監督は、既存のインスタンス・セグメンテーション・モデルのアーキテクチャやトレーニング・アルゴリズムを変更することなく、シームレスに適用することができる。 この新しい点ベースのスーパーバイズは、インスタンス・セグメンテーションのための様々なスーパーバイズ形式の中で、アノテーションの時間と精度の間の最良のトレードオフを提供する。 さらに、Implicit PointRendというシンプルかつ効果的なモジュールを提案し、暗黙的なマスク表現を用いたポイントスーパーバイジングのユニークな課題に取り組んでいます。