GSFusion: ガウシアン スプラッティングとTSDF融合によるオンラインRGB-Dマッピング

[fulfulggg]

タイトル: GSFusion: ガウシアン スプラッティングとTSDF融合によるオンラインRGB-Dマッピング

リンク: https://arxiv.org/abs/2408.12677

概要:

従来のボリューメトリックフュージョンアルゴリズムは、コンピュータビジョンやロボティクスにおける多くのタスクに有用な、3Dシーンの空間構造を保持します。しかし、視覚化のリアリティという点ではしばしば欠けています。新たな3Dガウススプラッティングはこのギャップを埋めますが、既存のガウスベースの再構成方法は、アーティファクトや基礎となる3D構造との不整合に悩まされることが多く、リアルタイムの最適化にも苦労し、高品質なフィードバックをユーザーに即座に提供することができません。ボトルネックの1つは、最適化中に更新する必要がある膨大な量のガウスパラメータから生じます。3Dガウスをスタンドアロンのマップ表現として使用する代わりに、これをボリューメトリックマッピングシステムに組み込んで幾何学的情報を活用し、画像上に四分木データ構造を使用してスプラットの初期化数を大幅に削減することを提案します。このようにして、アーティファクトの少ないコンパクトな3Dガウスマップとボリューメトリックマップを同時に生成できます。私たちの方法であるGSFusionは、合成データセットと実データセットの両方で示されているように、レンダリング品質を犠牲にすることなく計算効率を大幅に向上させます。コードはhttps://github.com/goldoak/GSFusionで公開予定です。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• 3D-scene-representation
• paper-implementation
• efficient-ml

[fulfulggg]

論文要約

論文要約: GSFusion: ガウシアン スプラッティングとTSDF融合によるオンラインRGB-Dマッピング

• 従来手法の問題点: 3次元空間を表現する既存手法は、正確だが見た目が悪い、または見た目が綺麗だがリアルタイム処理が難しいという問題点があった。
• 提案手法 (GSFusion): 3Dガウススプラッティングと呼ばれる、見た目が綺麗な表現方法を、TSDFと呼ばれる既存の空間表現手法と組み合わせることで、両方の利点を活かした高速かつ高画質な3次元地図作成を実現した。
  • 具体的な方法:
    • 3Dガウススプラッティングで得られる大量のデータを、TSDFの幾何学的情報を用いて効率的に処理することで高速化を実現。
    • データ構造に四分木を用いることで、処理対象となるデータ量を削減し、更なる高速化を実現。
• 結果: 従来手法と比較して、画質を落とすことなく高速な処理を実現した。
• 応用: ロボットやコンピュータビジョンにおける、リアルタイム3次元地図作成に役立つ。