fulfulggg
commented
1 week ago 論文要約
この論文では、動きボケのある画像でも高精度に動作するSLAMシステム「MBA-SLAM」を提案しています。
- 問題点: 従来のSLAMは、動きボケのある画像ではカメラの位置推定や地図作成の精度が低下する。
- 解決策: 動きボケを考慮した新しいSLAMシステム(MBA-SLAM)を開発。 動きボケ画像の生成過程をモデル化することで、ボケを補正しながらカメラの位置と3Dシーンを同時に推定する。
- 技術: 動きボケ対応のトラッカーと、ニューラル放射輝度場(NeRF)または3Dガウシアン散乱(3DGS)に基づくマッパーを統合。
- 結果: 動きボケのある画像と無い画像の両方で、従来手法よりも高精度なカメラ位置推定と高品質な地図作成を実現。合成データと実データの両方で有効性を確認。
- 貢献: 動きボケのある状況でもロバストに動作する高密度視覚SLAMを実現。
タイトル: 動きボケを考慮した輝度場表現を用いた高密度視覚SLAM
リンク: https://arxiv.org/abs/2411.08279
概要:
ニューラル放射輝度場(NeRF)や3Dガウシアン散乱(3DGS)といった新たな3Dシーン表現は、高画質の動画を入力とした場合に、フォトリアリスティックなレンダリングのためのSLAM（同時位置推定地図作成）において有効性を示しています。しかし、既存の手法は、低照度や長時間露光といった現実世界の状況でよく見られるモーションブラー（被写体ブレ）を含むフレームへの対応に課題を抱えており、カメラの位置推定精度と地図の再構成品質の両方が大幅に低下することがあります。この課題に対処するため、深刻なモーションブラーを含む入力に対応できる高密度ビジュアルSLAMパイプライン（MBA-SLAM）を提案します。この手法は、効率的なモーションブラー対応トラッカーと、ニューラル放射輝度場またはガウシアン散乱に基づくマッパーを統合したものです。モーションブラー画像の物理的な画像形成プロセスを正確にモデル化することで、3Dシーン表現の学習と露光時間中のカメラの局所軌跡の推定を同時に行い、カメラの動きによるモーションブラーを積極的に補正します。実験では、MBA-SLAMが既存の最先端技術をカメラの位置推定と地図再構成の両方で凌駕し、鮮明な画像を含む合成データセットと実データセット、およびモーションブラーの影響を受けたデータセットにおいて優れた性能を示すことを実証し、その汎用性と堅牢性を明らかにしました。コードはhttps://github.com/WU-CVGL/MBA-SLAMで公開しています。