Neural radiance field (NeRF) attracts attention as a promising approach to reconstructing the 3D scene. As NeRF emerges, subsequent studies have been conducted to model dynamic scenes, which include motions or topological changes. However, most of them use an additional deformation network, slowing down the training and rendering speed. Tensorial radiance field (TensoRF) recently shows its potential for fast, high-quality reconstruction of static scenes with compact model size. In this paper, we present D-TensoRF, a tensorial radiance field for dynamic scenes, enabling novel view synthesis at a specific time. We consider the radiance field of a dynamic scene as a 5D tensor. The 5D tensor represents a 4D grid in which each axis corresponds to X, Y, Z, and time and has 1D multi-channel features per element. Similar to TensoRF, we decompose the grid either into rank-one vector components (CP decomposition) or low-rank matrix components (newly proposed MM decomposition). We also use smoothing regularization to reflect the relationship between features at different times (temporal dependency). We conduct extensive evaluations to analyze our models. We show that D-TensoRF with CP decomposition and MM decomposition both have short training times and significantly low memory footprints with quantitatively and qualitatively competitive rendering results in comparison to the state-of-the-art methods in 3D dynamic scene modeling.
뉴럴 라디언스 필드가 유망한 3차원 복원기술로 주목을 받으면서, 이를 이용하여 동적 장면을 모델링하는 방법들이 연구가 되었다. 하지만 기존 방법들은 움직임을 예측하기 위해 추가적인 네트워크를 사용했기 때문에 모델의 훈련 및 렌더링 속도가 느렸다. 텐서 라디언스 필드는 명시적 데이터 구조와 텐서 분해를 통해 정적 장면을 빠르고 적은 메모리로 모델링하는 잠재력을 보여주었다. 이 논문에서는 동적 장면을 모델링하기 위한 텐서 라디안스 필드를 제시한다. 4차원 그리드와 1차원 특징들로 이루어진 5차원 텐서를 활용해 동적 장면을 표현하고 이를 CP 분해와 새롭게 제안한 MM 분해를 통해 이를 분해한다. 또한, 시간의 흐름에 따라 변화하는 장면 사이의 연관성을 반영하기 위한 평활 정규화도 제안한다. 실험을 통해 제안된 방안을 분석하고, 이것이 적은 메모리와 짧은 훈련 시간으로 동적인 장면을 모델링하고 고품질의 이미지를 합성해내는 것을 보였다.
