e4exp
commented
3 years ago 結論
私たちは、Sparse Neural Radiance Gridを事前に計算して保存することで、Neural Radiance Fieldsをリアルタイムにレンダリングする技術を発表しました。 このSNERGは、事前に計算されたシーンジオメトリを保存するために、疎なボクセルグリッド表現を使用していますが、ビューに依存したアピアランスのためのニューラル表現を維持することで、ストレージ要件を合理的に維持しています。 レンダリングは、シーンの可視部分でのみビュー依存のシェーディングネットワークを評価することで高速化され、典型的なNeRFシーンにおいてラップトップGPUで30フレーム/秒以上を達成しました。 コモディティグラフィックスハードウェア上でNeRFのようなニューラルボリューム表現をリアルタイムにレンダリングできるようになったことで、ビジョンやグラフィックスアプリケーションにおけるニューラルシーン表現の採用が進むことを期待しています。
Neural Radiance Fields（NeRF）のようなニューラルボリューム表現は、観察されていない視点からシーンのフォトリアリスティックな画像をレンダリングすることを目的として、画像から3Dシーンの表現を学習するための魅力的な手法として登場した。 しかし、NeRFの計算量は、リアルタイムアプリケーションにとっては非常に大きい。 本研究では、NeRFを学習し、それを事前に計算して、Sparse Neural Radiance Grid (SNeRG)と呼ばれる新しい表現として保存（すなわち「ベイク」）することで、コモディティハードウェアでのリアルタイムレンダリングを可能にする方法を提案する。 これを実現するために、我々は 1）NeRFのアーキテクチャの再定式化、 2）学習された特徴ベクトルを用いた疎なボクセルグリッド表現、を導入した。 結果として得られたシーン表現は、微細な幾何学的ディテールや視点に依存した外観をレンダリングするNeRFの能力を維持しつつ、コンパクトで（1シーンあたりの平均は90MB以下）、リアルタイムにレンダリングすることができます（ラップトップGPUで30フレーム/秒以上）。 実際のスクリーンキャプチャーを動画でご紹介しています。