We propose a fusion method that simultaneously captures spatially-varying BRDF and geometry of an object in motion using a single RGBD camera. State-of-the-art fusion methods capture geometry and often diffuse albedo, but no specular reflectance. Traditional SVBRDF acquisition methods capture many input images to obtain dense samples of viewing and lighting angles using a single camera or a multiview setup, followed by an offline process of inverse rendering which often takes several hours. In this thesis, we introduce a novel fusion method that can capture SVBRDF, geometry, and motion of dynamic objects in an interactive manner. Based on observation under both environment illumination and infrared light of an RGBD camera, we introduce a novel online optimization method that jointly estimates both diffuse and specular appearance parameters in addition to geometry and motion per frame, by accumulating photometric observations in a half-angle buffer in a voxel grid. We progressively refine dynamic geometry and spatially-varying appearance in clusters, enabling interactive online feedback at an averaged speed of 880\,msec.~per frame. Our experimental results of various dynamic objects that include the mixture of diffuse and specular reflection validate our fusion method's robust performance in estimating both SVBRDF and geometry in motion using a single RGBD camera.
본 학위논문에서는 하나의 RGBD 카메라를 이용하여 동적 물체의 기하 정보 및 표면 반사 성질을 동시에 추출하는 기술을 제안하고자 한다. 기존의 동적 물체에 관한 연구들은 물체의 기하 정보와 난반사 성질만 복원이 가능하였다. 물체의 표면 반사 성질을 추출하는 연구들은 그 성질을 예측하기 위하여 많은 시간을 필요로 하였으며, 특별화 된 장비를 요구하였다. 본 학위논문에서는 하나의 RGBD 카메라를 이용하여 매 프레임마다 동적 물체의 움직임, 기하 정보 및 표면 반사 성질을 GPU 기반 동시 최적화 알고리즘을 이용하여 효율적으로 예측한다. 변형 그래프와 RGBD 카메라에 내장된 적외선 카메라를 이용하여 물체의 표면 반사 성질을 효율적으로 예측한다. 이후, 예측된 표면 반사 성질을 이용하여 기존 연구들보다 더욱 안정적이며, 추가적으로 동적 물체의 반사 성질과 기하 정보를 동시에 예측할 수 있도록 하였다.
