高フレームレートにおけるフレームイベント融合ネットワークを用いた任意の点追跡

[fulfulggg]

タイトル: 高フレームレートにおけるフレームイベント融合ネットワークを用いた任意の点追跡

リンク: https://arxiv.org/abs/2409.11953

概要:

画像フレームに基づくポイント追跡はフレームレートに制約されるため、高速シナリオでは不安定になり、実世界のアプリケーションでは汎用性が制限されます。これらの制限を克服するために、画像フレームの文脈情報とイベントの高い時間分解能を組み合わせた画像-イベント融合ポイントトラッカー、FE-TAPを提案します。これにより、さまざまな困難な条件下で高フレームレートかつロバストなポイント追跡を実現します。具体的には、イベントによってガイドされる画像生成プロセスをモデル化する進化融合モジュール（EvoFusion）を設計しました。このモジュールは、異なる周波数で動作する両方のモダリティからの貴重な情報を効果的に統合できます。より滑らかなポイント軌跡を実現するために、ポイントの軌跡と特徴を反復的に更新するTransformerベースの改良戦略を採用しました。広範な実験により、私たちの手法が最先端のアプローチを上回ることを実証しました。特に、EDSデータセットの期待される特徴量年齢を24％向上させました。最後に、カスタム設計の高解像度画像-イベント同期デバイスを使用して、実際の運転シナリオにおけるアルゴリズムの堅牢性を定性的に検証しました。ソースコードはhttps://github.com/ljx1002/FE-TAPで公開されます。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• event-camera
• image-fusion
• object-tracking

以下の新しいラベルが作成され、適用されました：

• object-tracking

[fulfulggg]

論文要約

高フレームレートにおけるフレームイベント融合ネットワークを用いた任意の点追跡: 論文要約

• 問題: 従来の画像ベースの物体追跡技術はフレームレートに制限され、高速な動きだと追跡が不安定になる。

• 提案手法: 画像フレームの情報と高時間分解能なイベントデータを組み合わせた、FE-TAP(Frame Event - Temporal Aggregation Point tracker)と呼ばれる新しい追跡アルゴリズムを提案。

• FE-TAPの仕組み:

  • イベント駆動型画像生成: イベント情報を使って画像を生成し、異なるフレームレートの情報を効果的に統合。
  • Transformerベースの改良戦略: より滑らかな追跡軌跡を実現するために、物体の特徴と軌跡を繰り返し更新。

• 結果:

  • 高精度: 既存手法と比較して、追跡精度が向上。特に、EDSデータセットでは追跡可能な特徴量の持続時間が24%向上。
  • ロバスト性: 高解像度画像-イベント同期デバイスを用いた実世界の運転シナリオでの実験により、アルゴリズムの堅牢性を確認。

• 結論: FE-TAPは、高フレームレートな状況下でもロバストかつ正確な物体追跡を実現する有効な手法。