fulfulggg
commented
1 month ago @yukihiko-fuyuki が以下のラベルを提案し、適用しました：
- new-label: paper-implementation
- new-label: segmentation
- new-label: few-shot-learning
以下の新しいラベルが作成され、適用されました：
- new-label: few-shot-learning
タイトル: Few-Shotインスタンスセグメンテーションのためのシンプルかつ統一的なベースライン：Reference Twice
リンク: https://arxiv.org/abs/2301.01156
概要:
サポートサンプルが限られた状況で、新しいクラスの物体検出とセグメンテーションを行うFew-Shot Instance Segmentation (FSIS)は、領域提案ネットワーク(RPN)ベースの既存手法において、(1)過学習による新規クラス物体検出の抑制、(2)クラスプロトタイプ生成時の空間情報損失を防ぐための複雑な空間相関戦略を必要とする二分岐モデルといった課題を抱えています。本研究では、FSISとその関連タスクにおいて、サポート特徴量とクエリ特徴量の関連性を活用する統合フレームワーク「Reference Twice (RefT)」を提案します。主な貢献は以下の3点です。(1) 過学習を回避する、Transformerベースの新しいベースラインを導入し、FSISに新たな方向性を示す。(2) サポートオブジェクトクエリがベース訓練後に重要な要素をエンコードすることを示し、単純なクロスアテンションを用いて特徴量レベルとクエリレベルの両方でクエリ特徴量を2回強化することで、複雑な空間相関の相互作用を回避する。(3) 入力投影層に起因するDETRのようなモデルが増分設定で苦労する問題に対処するため、クラス強化ベース知識蒸留損失を導入し、増分FSISへの容易な拡張を可能にする。COCOデータセットを用いた3つのFSIS設定における広範な実験評価により、提案手法が、異なるショット数(\eg、10/30ショットで最先端手法を+8.2/+9.4ポイント上回る性能向上)において、既存手法に対して優れた性能を発揮することを示します。ソースコードとモデルはhttps://github.com/hanyue1648/RefT.で公開予定です。