PMPNet：動的シーンにおける単眼深度推定のためのピクセル移動予測ネットワーク

[fulfulggg]

タイトル: PMPNet：動的シーンにおける単眼深度推定のためのピクセル移動予測ネットワーク

リンク: https://arxiv.org/abs/2411.04227

概要:

本論文では、動的シーンにおける単眼深度推定のための新しい手法を提案します。まず、動的シーンにおけるオブジェクトの移動軌道の任意性について理論的に考察します。この任意性を克服するために、短距離では点が直線に沿って移動すると仮定し、それを2次元ユークリッド空間における三角制約損失としてまとめます。エッジ周辺の深度の不整合問題に対処するため、異なる形状のオブジェクトから特徴を学習する変形可能なサポートウィンドウモジュールを提案し、エッジ領域周辺の深度値の精度を向上させます。提案モデルは、屋外のKITTIおよびMake3Dデータセットと屋内のNYU Depth V2データセットで学習およびテストを行いました。これらのデータセットで報告された定量結果と定性結果から、提案モデルが他の手法と比較して優れた性能を発揮することが示されました。KITTIデータセットでのアブレーションスタディの結果は、提案されたピクセル移動予測モジュールと変形可能なサポートウィンドウモジュールの有効性も検証しています。

[fulfulggg]

@yukihiko-fuyuki が以下のラベルを提案し、適用しました：

• depth-estimation
• single-view-reconstruction
• motion-capture

[fulfulggg]

論文要約

一枚の画像から奥行きを推定する技術において、動いている物体がある場合の精度向上を目指した新しい手法(PMPNet)を提案しています。

• 動き予測で精度向上: 短い時間では物体は直線的に動くと仮定し、その動きを予測することで奥行き推定の精度を上げます。
• エッジの奥行き推定改善: 物体の形に合わせて柔軟に変化するウィンドウを用いることで、エッジ部分の奥行き推定の誤差を減らします。
• 高精度を実証: 屋内外の複数のデータセットで実験を行い、既存の手法よりも高い精度を達成しました。
• 有効性を確認: 実験を通して、提案した動き予測と柔軟なウィンドウの仕組みが効果的であることを確認しました。