This thesis presents a practical 3D reconstruction method to obtain a high-quality dense depth map from narrow-baseline image sequences captured by commercial digital cameras, such as DSLRs or mobile phones. Depth estimation from small motion has gained interest as a means of various photographic editing, but important limitations present themselves in the form of depth uncertainty due to a narrow baseline and rolling shutter. To address these problems, we introduce a novel 3D reconstruction method from narrow-baseline image sequences that e ffectively handles the effects of a rolling shutter that occur from most of commercial digital cameras. Additionally, we present a depth propagation method to fill in the holes associated with the unknown pixels based on our novel geometric guidance model. Both qualitative and quantitative experimental results show that our new algorithm consistently generates better 3D depth maps than those by the state-of-the-art method.
최근 Apple, Intel 및 HTC과 같은 글로벌 기업에서 휴대폰에 두 대 이상의 카메라를 장착하여 깊이 정보를 추정할 수 있는 mobile device를 만들고자 한다. 하지만 휴대폰의 제조비용 중 약 10\%를 차지하는 카메라를 두 대 이상을 장착하게 되면 제조비용이 올라가게 된다. 대체 방안으로 Google에서는 휴대폰에 장착된 한 대의 카메라를 움직이면서 촬영한 영상으로 깊이 정보를 구하는 어플리케이션을 출시하였다. 하지만 어플리케이션에서 지시를 내리는 방향으로 움직여야하면서 피사체를 추적할 수 없다는 오류 메시지를 자주 보게 된다. 따라서, 우리는 한 대의 카메라로 손 떨림과 같이 매우 작은 움직임에도 깊이 정보를 추정할 수 있는 방법을 개발하였다. 움직임 기반의 깊이 정보 획득 방법은 기존에 활발히 연구 되었지만, 영상들 사이의 거리가 작은 경우에는 깊이 정보 불확실성이 높아 정확한 깊이 정보를 획득하는데 어려움이 있다. 우리는 이 어려움을 극복하고 휴대폰에 주로 쓰이는 롤링셔터방식의 카메라가 발생시키는 결함까지 극복하는 방법을 제안하였다. 롤링셔터방식이랑 카메라로 사진을 찍을 때 모든 픽셀 값을 한 번에 저장하는 것이 아닌 각 줄별로 저장을 하여 움직임이 있는 경우 각 줄별로 다른 위치에서 찍은 사진이 저장된다. 이는 깊이정보를 추정하는데 큰 결함이 되는 사항이고, 이를 극복해야 정확한 깊이정보를 추정할 수 있다. 또한 움직임을 이용하여 구조를 복원한 이 후 모든 픽셀에 대한 깊이정보를 추정하기 위해 조밀한 구조 복원 방법을 함께 제안하였다. 최종적으로는 본 학위논문에서 제안하는 방법으로 모든 픽셀에 대한 깊이정보를 추정할 수 있으며, 이를 이용하여 refocusing이나 stylization과 같은 어플리케이션에도 이용할 수 있다.
