aifield / CV_News

Computer Vision系勉強会用のリポジトリです。

3 stars 1 forks source link

#10 Point-NeRF: Point-based Neural Radiance Fields #10

Open yosuke-suto-aif opened 2 years ago

yosuke-suto-aif commented 2 years ago

論文情報

タイトル：Point-NeRF: Point-based Neural Radiance Fields
発表年：2022年3月18日
URL：https://arxiv.org/pdf/2201.08845.pdf
github：https://github.com/Xharlie/pointnerf

一言説明

複数視点の画像から３Dモデルを生成する技術の話

従来の手法は，レンダリングする際に通過するレイ上の不必要な点を含む全ての点をサンプリングしていた
ニューラル点群により三次元空間を表現することで，より効率的な空間の表現・レンダリング手法を提案
ニューラル点群を最適化・再構築することでシーン毎のフィッティング時間を大幅に節約することができる

NeRFって？

NeRFとは、ニューラルネットワークを用いてNovel View Synthesis(NVS)というタスクを解く手法になります。NVSは、あるシーンについて多視点から撮影した画像群を教師データとして、別の新しい視点から見た画像を生成するタスクになります

空間における座標(x, y, z)とカメラの向き(θ, φ)を入力とし、色(RGB)と密度(σ)を出力します

実際の入力は画像とカメラの外部データで、ツール内部で変換しているような形でした。また、カメラ情報を作成するライブラリもありました。

技術や手法のキモ（Point-NeRF）

効率的な再構成とレンダリングのために設計された、新しいポイントベースの放射輝度フィールド表現を提示します

実験

読んだ所感

ニューラル点群による３次元空間を表現する発想はシンプルでわかりやすかった。
現状だと利用するにもデータの用意が大変なので、数枚程度の画像だけあれば済むようになれば良いなと思いました。
カメラの外部データがなくても予測できるモデルがあるようなので、もう少し広く調べて見たいと思いました。
Gitのコードを実際に動かして見たかったが、環境構築が大変で時間が足りなかったので、今後余裕がある時にでも継続して取り掛かりたいです。

参考・引用