fulfulggg
commented
3 hours ago 論文要約
論文要約: 確率的なプロトタイプ的ピクセルコントラストを用いた、ドメイン適応セマンティックセグメンテーションにおける意味的曖昧性の低減。
背景
- ドメイン適応は、あるデータセット（ソースドメイン）で学習したモデルを、異なるデータセット（ターゲットドメイン）でも精度良く動作させるための技術です。
- 画像認識において、ドメインの違い（スケール、照明、オブジェクトの重なりなど）は意味的曖昧性を引き起こし、モデルの性能を低下させます。
本論文の提案
- 意味的曖昧性を低減するため、確率的プロトタイプピクセルコントラスト（PPPC）という新しいドメイン適応フレームワークを提案。
PPPCの特徴
- 各ピクセルの特徴量を、多変量ガウス分布を用いて確率的に表現。
- これにより、従来の手法では扱いきれなかったピクセルごとの不確実性を考慮可能。
- プロトタイプと呼ばれる代表的な特徴量を、確率分布から推定。
- 決定境界を曖昧な領域から遠ざけ、より正確なセグメンテーションを実現。
- 計算効率の高い類似度計算方法を採用し、従来手法に比べて計算コストを削減。
- 画像全体ではなく、曖昧性の高い領域を動的に選択して学習することで、より効果的にモデルを学習。
実験結果
- 様々なドメイン適応タスク（合成データから実データ、昼から夜など）において、PPPCは従来手法を上回る精度を達成。
- 特に、難易度の高い昼夜適応タスクでは、従来手法と比較して+5.2% mIoUの精度向上を達成。
まとめ
- PPPCは、ピクセルレベルの曖昧性を効果的に低減することで、高精度なドメイン適応を実現する手法。
- 従来手法では困難だったタスクに対しても有効であり、将来的に様々な応用が期待される。
タイトル: 確率的なプロトタイプ的ピクセルコントラストを用いた、ドメイン適応セマンティックセグメンテーションにおける意味的曖昧性の低減。
リンク: https://arxiv.org/abs/2409.18543
概要:
ドメイン適応は、ソースドメインとターゲットドメイン間のドメインシフトによって引き起こされる、ターゲットドメインにおけるモデル性能の低下を軽減することを目的としています。認知学習と自己学習パラダイムを組み合わせることで、有望なパフォーマンスが達成されていますが、決定論的な埋め込みを展開する際に、スケール、照明、またはオーバーラップによって引き起こされる曖昧なシナリオに悩まされます。これらの問題に対処するために、本研究では、各ピクセル埋め込みを多変量ガウス分布を介した確率としてモデル化する、普遍的な適応フレームワークである確率的プロトタイプピクセルコントラスト（PPPC）を提案します。これにより、ピクセル埋め込み内の不確実性を最大限に活用し、最終的にモデルの表現品質を向上させます。さらに、確率推定事後確率推定からプロトタイプを導き出すことで、決定境界を曖昧点から遠ざけることができます。さらに、分布間の類似度を計算するための効率的な方法を採用し、サンプリングや再パラメータ化の必要性をなくすことで、計算オーバーヘッドを大幅に削減します。さらに、画像レベルで曖昧なクロップを動的に選択することで、対比学習に関与する境界点の数を増やし、各カテゴリに対して正確な分布を確立できるようにします。広範な実験により、PPPCはピクセルレベルでのあいまいさの解消に役立ち、識別可能な表現をもたらすだけでなく、合成から現実、昼から夜への適応タスクの両方において大幅な改善を達成することが実証されました。最も困難な昼夜適応シナリオでは、従来の最先端技術（SOTA）を+5.2% mIoU上回り、他の未知のデータセットに対してもより強力な一般化を示しています。コードとモデルはhttps://github.com/DarlingInTheSV/Probabilistic-Prototypical-Pixel-Contrastで入手できます。