ConsistencyTrack: 一貫性モデル生成戦略を用いたロバストなマルチオブジェクトトラッカー

[fulfulggg]

タイトル: ConsistencyTrack: 一貫性モデル生成戦略を用いたロバストなマルチオブジェクトトラッカー

リンク: https://arxiv.org/abs/2408.15548

概要:

マルチオブジェクトトラッキング（MOT）は、ビデオシーケンス内の複数のターゲットを検出し、フレームごとに各ターゲットに一意のIDを割り当てるように設計された、コンピュータービジョンにおける重要な技術です。既存のMOT手法は、さまざまなシナリオにおいてリアルタイムで複数のオブジェクトを正確に追跡することに優れています。しかし、これらの手法は、ノイズ耐性が低く、IDの頻繁な切り替えなど、依然として課題に直面しています。本研究では、検出と関連付けを、摂動境界ボックスに対するノイズ除去拡散プロセスとして定式化する、新規なConsistencyTrack（同時検出および追跡（JDT）フレームワーク）を提案する。この段階的なノイズ除去戦略は、モデルのノイズ耐性を大幅に向上させる。トレーニングフェーズでは、2つの隣接するフレーム内のペアになったオブジェクトボックスを、グラウンドトゥルースボックスからランダム分布に拡散させ、モデルはこのプロセスを反転させることで検出と追跡を学習する。推論では、モデルは最小限のノイズ除去ステップを通じて、ランダムに生成されたボックスを検出および追跡結果に絞り込む。ConsistencyTrackは、ターゲットのオクルージョンに対処するために、革新的なターゲット関連付け戦略も導入している。MOT17およびDanceTrackデータセットを用いた実験では、ConsistencyTrackが他の比較手法よりも優れており、特に推論速度とその他の性能指標においてDiffusionTrackよりも優れていることが示されている。私たちのコードはhttps://github.com/Tankowa/ConsistencyTrackで入手できます。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• object-detection
• video-understanding
• diffusion-models

[fulfulggg]

論文要約

ConsistencyTrack: 一貫性モデル生成戦略を用いたロバストなマルチオブジェクトトラッカー (arXiv:2408.15548) 論文要約

• 問題点: 既存のマルチオブジェクトトラッキング（MOT）手法は、ノイズに弱く、オブジェクトのIDが頻繁に切り替わるなど、まだ改善の余地がある。

• 提案手法: ConsistencyTrackは、ノイズに強い新しい同時検出および追跡（JDT）フレームワーク。

  • 検出と関連付けを拡散プロセスとしてモデル化:

    • オブジェクトの位置を表す境界ボックスに対するノイズ除去拡散プロセスとして検出と関連付けを定式化。
    • この段階的なノイズ除去戦略により、モデルのノイズ耐性を向上させる。

  • 学習:

    • 隣接するフレーム内のオブジェクトボックスを、正解データからランダム分布に拡散させることで学習。
    • モデルはこの拡散プロセスを反転させることで検出と追跡を学習。

  • 推論:

    • ランダムに生成されたボックスから、最小限のノイズ除去ステップで検出と追跡結果を得る。

  • ターゲット関連付け戦略:

    • オブジェクトが一時的に隠れるオクルージョンに対処するため、新しいターゲット関連付け戦略を導入。

• 結果:

  • MOT17およびDanceTrackデータセットを用いた実験で、従来手法より優れた性能。
  • 特に、推論速度とその他の性能指標において、類似手法であるDiffusionTrackを上回る。

• 貢献:

  • ノイズに強い新しいJDTフレームワークを提案。
  • 提案手法は、従来手法より優れた性能を示し、特に推論速度が向上した。

• コード: https://github.com/Tankowa/ConsistencyTrack