We present an optimization-based framework to estimate both natural lighting conditions and high quality shape information using a single RGB-D image of diffuse objects. To estimate accurate natural lighting conditions, we present a general lighting model consisting of global and local models. The global lighting model is robustly estimated from the RGB-D input with a low-dimensional characteristic of the diffuse lighting model. The local lighting model can represent spatially varying illumination due to attached shadows, inter-reflections, and near lightings. With both the global and local lighting model, we can model complex lighting variations that previous methods cannot account for. For high quality shape capture, a shape from shading approach is applied with the estimated lighting model. Use of a geometric normal constraint greatly reduces local ambiguity in determining local surface orientation. Since both lighting conditions and shape estimations are done with a single RGB-D image, our method can capture the high quality shape of dynamic objects under uncalibrated varying illumination conditions. Experimental results using RGB-D images of a variety of diffuse objects in natural lighting conditions demonstrate the feasibility and effectiveness of the method to dramatically improve the limited low depth resolution of depth cameras, such as Kinect.
고품질 3차원 모델링은 가상현실, 게임, 애니메이션 등 컴퓨터 그래픽스에서 많이 사용되고 있다. 현실의 물체들을 손쉽게 가상의 세계로 가져 올 수 있기 때문에 3차원 영상 콘텐츠 제작뿐만 아니라 문화재 복원 등 다양한 분야에서도 활용 가능하다. 이러한 고품질 3차원 모델링을 위한 컴퓨터 비전연구들은 활발하게 진행되고 있다. 최근 실시간으로 3차원 깊이 정보를 주는 Time-of-Flight(ToF)와 Kinect등 같은 깊이 센서들이 활발하게 보급되었고, 이를 활용하여 보다 많은 비전 문제들이 효과적으로 단순화 되었다. 하지만 이러한 깊이 센서들은 잡음을 포함된 저해상도의 깊이 정보를 주기 때문에 3차원 모델로 바로 사용하기에는 무리가 있다.
본 논문에서는 제한된 RGB-D 센서의 깊이 정보를 향상시키기 위하여 광도 정보(photometric data)을 활용하여 고품질의 3차원 모델을 획득하는 것을 목표로 한다. 이를 위해 임의의 조명 환경에서 Lambertian 물체의 단일 RGB-D 영상으로부터 조명을 추정하고 고품질의 3차원 형상 획득 방법을 제안한다. 기존의 전역 조명 모델만을 사용하는 방법들과 다르게, 제안된 방법은 전역 조명과 지역 조명으로 이루어진 일반화된 조명 모델을 사용하여 실제 환경의 복잡한 조명 환경을 추정한다. 전역 조명은 Lambertian 물체의 저 차원적인 특성에 의해서 단일 RGB-D 영상으로부터 강인하게 추정된다. 하지만 실제 환경에서는 전역 조명만으로는 표현 할 수 없는 공간적으로 변하는 지역 조명이 필연적으로 존재하게 된다. 이러한 지역 조명을 고려하지 않은 채로 물체의 표면 법선(surface normal)을 추정하면 전체적으로 왜곡된 결과가 얻어진다. 공간적으로 변하는 지역 조명을 추정하기 위해서, 전역 조명과 주어진 깊이 정보 그리고 광도 정보로부터 비선형 최적화 방법을 수행한다. shape from shading 방법을 사용하여 추정된 조명과 주어진 깊이 정보로부터 대상 물체의 고품질 3차원 모델을 복원한다. 제안한 방법은 단일 RGB-D 영상으로부터 임의의 복잡한 조명 환경 추정과 고품질 3차원 형상 획득이 가능하기 때문에 동적인 물체에 대해서도 적용이 가능하다. 이러한 제안된 방법의 우수성을 임의의 다양한 조명 조건들과 다양한 물체들에 대한 실험을 통해 검증하였다. 또한 정확한 Lambertian이 아닌 물체들에 대한 실험을 통해 실용 가능성을 보여주었다.
