2024年BRAVOチャレンジ トラック1 第1位レポート：セマンティックセグメンテーションのためのビジョン基盤モデルのロバスト性評価

[fulfulggg]

タイトル: 2024年BRAVOチャレンジ トラック1 第1位レポート：セマンティックセグメンテーションのためのビジョン基盤モデルのロバスト性評価

リンク: https://arxiv.org/abs/2409.17208

概要:

このレポートでは、2024年BRAVOチャレンジのトラック1に対する我々のソリューションを紹介します。このチャレンジでは、Cityscapesデータセットでモデルをトレーニングし、複数の未知のデータセットに対するロバスト性を評価します。我々のソリューションは、シンプルなセグメンテーションデコーダをDINOv2に接続し、モデル全体をファインチューニングすることで、視覚基盤モデルによって学習された強力な表現を活用します。このアプローチは、より複雑な既存のアプローチよりも優れたパフォーマンスを発揮し、チャレンジで1位を獲得しました。私たちのコードはhttps://github.com/tue-mps/benchmark-vfm-ssで公開されています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• benchmark
• robustness
• segmentation

[fulfulggg]

論文要約

論文要約:

• 目的: 複数の未知のデータセットに対する画像認識モデルの頑健性（ロバスト性）を評価するコンテスト「2024年BRAVOチャレンジ トラック1」で1位を獲得した手法を解説する。
• 課題: Cityscapesデータセットで学習したモデルを用いて、未知のデータセットにおける画像の各ピクセルがどのクラスに属するかを予測する（セマンティックセグメンテーション）。
• 提案手法:
  • 画像認識AI「DINOv2」にシンプルなセグメンテーションデコーダを接続。
  • モデル全体をファインチューニングすることで、DINOv2の持つ強力な画像認識能力を活用。
• 結果:
  • 提案手法は、複雑な既存手法よりも優れたパフォーマンスを発揮し、チャレンジで1位を獲得。
  • シンプルな構造が、未知データセットへの適応力（ロバスト性）の向上に貢献した可能性を示唆。
• 貢献: 本研究は、視覚基盤モデルを用いたセマンティックセグメンテーションにおける、シンプルかつ効果的なアプローチを示した。
• コード公開: https://github.com/tue-mps/benchmark-vfm-ss