[5] NeRF : Representing Scenes as Neural Radiance Fields for View Synthesis

[hyoseok1223]

Links

• Paper : https://arxiv.org/abs/2003.08934
• Github : https://github.com/bmild/nerf
• Project Page : https://www.matthewtancik.com/nerf

한 줄 요약

• 하나의 scene에 대한 여러 view의 2d image들을 이용해서 implicit하게 3d 공간을 이해해 해당 scene에 대해서 novel view에 대해서도 view synthesis가 가능하도록 novel view synthesis를 딥러닝으로 한 첫 논문.

선택 이유

• 앞으로의 AI Generation에서 Diffusion과 같이 기본으로 알아두면 좋을 분야의 근간인 논문
• 최근에 공부하고 있는 3d vision 및 graphics쪽의 기본 논문인데, 내용은 알고 있었지만, 논문 자체를 정리한 적이 없어 이번 기회에 정리하고자 함.

[hyoseok1223]

[Review Link] https://hyoseok-personality.tistory.com/entry/Paper-Review-NeRF-Representing-Scens-as-Neural-Radiance-Field-for-View-Synthesis

[Summary]

Novel View Synthesis에서 5d coordinates(x, y, z, θ, φ)를 입력으로 받아 color와 density를 출력하는 MLP Network를 학습해 Sparase 한 view들만을 가지고 3d scene을 이해해 classical volume rendering을 거쳐 새로운 view를 합성할 수 있도록 하는 view synthesis의 새로운 방식인 NeRF를 제시했습니다.

[Contribution]

• NeRF는 매우 높은 Performance를 가지기에 분야가 확장되어 SLAM, Image Synthesis 등 3d aware 한 정보를 이용할 수 있는 다양한 task, domain들에서 무척 적극적으로 활용하는 연구가 이루어지고 있습니다.
• 이러한 NeRF는 등장 이후부터 지금까지 그리고 앞으로도 Vision 및 Graphics에서 엄청난 영향력을 행사할 것이기에 잘 이해해두는 것이 좋을 것 같습니다.

[Comment]

• 아직은 연구 단계에 있지만, 머지 않아 산업화되어 프로그램적으로 될 수 있을 것이라고 생각합니다.
• 정말 많은 인사이트가 담긴 연구이기에 꼼꼼히 살펴본다면 좋을 것 같습니다. ( Volume Rendering, positional encoding 등등)
• 무엇보다 NeRF기반으로 많은 연구가 이루어지고 있기에 매우 중요하다고 생각합니다.