Joint 3D Layout and Depth Prediction from a Single Indoor Panorama Image

論文概要

１枚のパノラマ画像からレイアウトとDepthを予測する。レイアウトとDepthには高い相関関係があり、共同学習をすることで両者共性能向上することを提示。粗いDepthとLayout DepthというDepthの中間表現を適切に設けることでオブジェクトやオクルージョンにロバストになる。

Layout Depthを中間表現として利用することでレイアウトの最適化を行う際に余分な制約がいらず、レイアウトを構成する要素の平面性を維持したDepth推定を行うことが可能になる。Stanford 2D-3D,、PanoContextを用いた実験で従来手法からの性能改善を確認。