Mapillary Planet-Scale Depth Dataset

論文概要

既存のものと比較し桁違いに大規模なDepthデータセット。Mapillaryから世界中の約75万枚の画像を取得しSfMとMVSでDepthを取得。多種多様な気象条件、季節、時間帯、視点やノイズのパターンを持つ。様々なカメラの特性(異なる焦点距離、歪み)を吸収するようにしたことがキモ。

このデータセットを用いて単眼深度推定のタスクに対して徹底的な比較を行って、既存のデータセットと比較して品質が優れていることを示した。更に、データセットと提案するDepth推定を用いてKITTIベンチマーク上でSOTAを達成。

Mapillaryで収集された画像はキャリブレーションされていない数千もの異なる種類のカメラで撮影されているので、セルフキャリブが重要になってくる。ここではSfMでの再構成を反復的に計算しカメラパラメータを更新しキャリブレーションを実施している。

ただしある程度制約条件を入れないと解けないので、ここでは同じメーカー・モデル・解像度・焦点距離のカメラが全て同じ内部パラメータを保持しているという仮定を入れて問題を単純化している。つまり製造バラツキや経年劣化などの要因は無視している。ECCV2020。