[2022 spring] CVPR 2022 RegNeRF - Regularizing Neural Radiance Fields for View Synthesis from Sparse Inputs (20218177)

[4charwon]

Problem definition에서는 Nerf라는 task의 목표와 작동 원리에 대해 잘 설명해주셨습니다. 그런데 본 논문에서 다루는 문제인 ‘입력이 sparse할 경우 성능이 급격히 하락’하는 부분에 대해서도 problem definition에서 다뤄주시면 더 좋을 것 같다는 생각이 듭니다.

Related works과 idea에서는 다른 논문들이 어떤 기법을 이용했는지 다루고, 저자들이 이용한 geometry, appearance, space annealing의 장점에 대해 잘 제시해주셨습니다.

Method 부분에서 appearance regularization에 대해서는 다뤄주시지 않았는데 특별한 이유가 있는지 궁금합니다. Experiment를 보면 appearance regularization도 비교적 작긴 하지만 유의미한 차이를 만드는 것으로 보입니다. 설명이 추가되면 더 좋을 것 같습니다.

Evaluation metric에 대해서도 간단히 설명해주시면 좋을 것 같습니다.

[hoknshin]

기존 NeRF에서 가장 큰 문제인 많은 viewpoint에서의 입력이 필요하다는 문제 정의가 잘 설명되어 있습니다. 이 글을 통해 현실적으로 sparse한 입력에 대해 어떻게 잘 학습시킬 것인가에 대한 방법으로 RegNeRF는 regularization 방법을 더해 좀 더 generalization이 잘 되도록 학습하는 방법을 제안하는 논문으로 이해했습니다.

다만 Idea부분에서 아래와 같이 3가지 방법에 대해 언급되었는데, "geometry와 appearance에 대한 regularization과, 학습 초기의 divergent behavior를 대처하기 위한 space annealing strategy"

Method 부분에는 depth smoothing 에 대한 geometry 관련 regularization와 space annealing 부분만 소개되어 있습니다. appearance regularization에 관한 내용과 space annealing 컨셉에 대한 추가 설명이 보강되면 좋을 것 같습니다.

[jayheo]

좋은 리뷰 감사합니다. 리뷰를 통해 neural radiance fields task에 관해 접할 수 있게되어서 의미가 있었고 전반적으로 동기, 방법론에 관해 상세하게 설명해주셔서 이해하기가 수월하였습니다. Sparse한 입력 데이터가 주어진 환경에서 novel한 view synthesis를 하는 것을 목적으로 방법론이 제안되었고 이를 regularization 기법을 활용하여 효율적으로 학습을 할 수 있음을 알게되었습니다.

수식적인 부분과 적절한 이미지 활용으로 이해가 수월하였고 전반적인 실험 환경과 분석된 결과도 이해를 잘 할 수 있었습니다. 특히 리뷰 후의 message 중 문제 해결은 명확한 원인 분석부터 시작되어야된다는 부분은 많은 공감을 할 수 있었습니다. 좋은 리뷰 감사합니다.