パノラマ-BEV相互検索ネットワークを用いたクロスビュー画像位置特定

[fulfulggg]

タイトル: パノラマ-BEV相互検索ネットワークを用いたクロスビュー画像位置特定

リンク: https://arxiv.org/abs/2408.05475

概要:

クロスビュー地理位置推定は、地理参照された衛星データベースと照合することで、ストリートビュー画像の地理的位置を特定します。視点間の外観と形状の大きな違いにより、大きな課題が生じます。本稿では、クロスビュー画像地理位置推定のための新しいアプローチ、Panorama-BEV Co-Retrieval Networkを提案します。具体的には、地平面の仮定と幾何学的関係を利用して、ストリートビューのパノラマ画像をBEVビューに変換し、ストリートパノラマと衛星画像のギャップを縮小します。既存のストリートビューパノラマ画像と衛星画像の検索では、共同検索のためにBEVと衛星画像の検索ブランチを導入しています。元のストリートビュー検索ブランチを保持することで、BEV表現の知覚範囲の制限の問題を克服します。私たちのネットワークは、ストリートビューの撮影場所周辺の全体的なレイアウトと局所的な詳細の両方を包括的に認識することを可能にします。さらに、現実世界のシナリオに近いグローバルなクロスビューデータセットであるCVGlobalを導入します。このデータセットは、ストリートビューの方向が衛星画像と一致しない、より現実的な設定を採用しています。CVGlobalには、地域間、時間間、ストリートビューから地図への検索テストも含まれており、アルゴリズムのパフォーマンスを包括的に評価できます。私たちの手法は、CVUSA、CVACT、VIGOR、そして私たちが新たに導入したCVGlobalなどの一般的なクロスビューデータセットに関する複数のテストで優れており、現在の最先端のアプローチを凌駕しています。コードとデータセットは\url{https://github.com/yejy53/EP-BEV}にあります。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• paper-implementation
• benchmark
• dataset

[fulfulggg]

論文要約

パノラマ-BEV相互検索ネットワークを用いたクロスビュー画像位置特定 (arXiv:2408.05475) - 論文要約

課題: ストリートビュー画像と衛星画像間の視点の違いが大きいため、ストリートビュー画像の正確な位置特定が困難。

提案手法: パノラマ-BEV相互検索ネットワーク (Panorama-BEV Co-Retrieval Network)

• ストリートビュー画像をBEV(鳥瞰図)に変換:
  • 地平面の仮定と幾何学的関係を利用。
  • ストリートパノラマと衛星画像間の視点の違いを縮小。
• BEVと衛星画像の相互検索:
  • BEV表現の知覚範囲の制限を克服するため、元のストリートビュー検索ブランチも保持。
  • ストリートビュー画像周辺の全体的なレイアウトと局所的な詳細の両方を認識可能に。

新規データセット: CVGlobal

• ストリートビューの方向が衛星画像と一致しない、より現実的な設定。
• 地域間、時間間、ストリートビューから地図への検索テストを含む。

成果:

• 既存手法と比較して、CVUSA、CVACT、VIGOR、CVGlobal などのクロスビューデータセットにおいて優れた性能を発揮。

貢献:

• ストリートビュー画像の位置特定における視点差の問題に対処する新しいネットワーク構造。
• より現実的なクロスビューデータセットCVGlobalの導入。