Novel View Synthesis is a long-standing problem for computer vision and Robotics applications. Neural Radiance Fields (NeRF) recently introduced a method that can synthesize novel views by optimizing volumetric scene function with given images. However, NeRF degenerates when optimized with few input views because the scene function tends to be overfitted to a few images regardless of geometric constraints. Moreover, it takes a long time to build a volumetric function to render proper novel view radiance. To handle these issues, we propose fast few-shot NeRF on recently advanced voxel grids to synthesize novel views with geometric cues. We utilize two strong geometric cues which can be captured from monocular RGB by using recent advances in deep dense priors estimation, the depth map, and surface normal. In addition, we utilized multi-view consistency to solve the up-to-scale problem of monocular depth prediction. The naive approach to optimize jointly surface normal with neural implicit representation is a differentiable Signed Distance Function (SDF) with eikonal loss. However, we found that eikonal loss does not help to optimize with few views in complex geometry, so we adapt SDF loss which can make geometry smooth. This simple approach allows plausible performance with more than 30 times faster optimization time than state-of-the-art few-shot novel view synthesis methods.
가상 시점 영상 생성은 컴퓨터 비전과 로봇에서 오랜 시간동안 연구되어온 학문이다. 최근 주어진 이미지들을 이용하여 용적 장면 함수(Volumetric scene function)을 최적화함으로써 가상 시점 영상 생성을 할 수 있는 방사 신경망(NeRF)가 소개되었다. 하지만, NeRF는 적은 수의 이미지들을 이용하여 최적화 시 장면 함수가 기하학적인 제약에 상관없이 해당 이미지들로 과적합되어 그 성능이 저하한다. 더욱이, 적절한 가상 시점 영상 생성을 위한 용적 장면 함수를 완성하는 것엔 오랜 시간이 걸린다. 이러한 문제들을 다루기 위해, 최근 많은 진보를 이룬 복셀 기반의 기하학적인 제약들을 이용하여 적은 수의 이미지들로도 신속한 학습이 가능한 가상 시점 영상 생성 방법론에 대해 다룬다. 제안된 방법론은 많은 발전이 있어온 심층 밀집 신경망을 사용하여 단안 RGB로부터 예측가능한 깊이 영상과 표면 법선 영상 두 개의 기하학적인 단서를 이용한다. 단안 깊이 추정의 up-to-scale 문제를 해결하기 위해 다중 시점 일관성을 이용한다. 암시된 신경망과 표면 법선을 최적화 하는 일반적인 접근 방법은 eikonal 손실 함수를 적용하여 미분가능한 거리 장 함수(Signed distance function)를 이용하는 것이다. 하지만 eikonal 손실 함수가 적은 이미지들을 이용하여 최적화하는 접근 방식이 복잡한 기하학 구조에서는 큰 도움이 되지 않는 것을 발견하여, 복잡한 기하학적인 구조를 간단하게 만들어줄 수 있는 SDF 손실 함수를 적용한다. 이러한 접근 방법을 통해 제안된 방법론은 적은 이미지들을 이용한 최신식의 가상 시점 영상 기법들과 비교하여 경쟁력 있는 성능에도 30배 이상 빠른 학습속도를 보여준다.
