This thesis examines the generalized scene recovery problem: photo-consistent 3D modeling of arbitrarily-shaped opaque real-world scene from a set of photographs taken at arbitrarily-distributed multiple camera viewpoints.
When we observe a real-world scene at various camera viewpoints, each photograph taken at a specific camera viewpoint provides a view-dependent appearance of scene to us. Human being can infer the overall geometry and photometry information of scene from those view-dependent appearances. Most of previous approaches have tried to find the correspondence of basic scene representation primitives by measuring the color similarity between visible local appearances. However, this kind of approach based on local measure cannot guarantee the photo-consistency of recovered 3Dmodel.
In our case, we first interpret each appearance image itself as single evidence, and then use all given appearances taken at various camera viewpoints as a global measure for the scene recovery. Then, we have introduced a novel methodology "appearance-cloning" in which we have controlled our candidate 3D model so that the recovered appearances rendered from candidate 3D model resemble the given appearances. Through this intuitive approach, we have shown that both geometry and photometry information of real-world scene can be successfully recovered without any kind of ad hoc factors only if sufficient appearances are given to us. Finally, we have demonstrated the viability of our proposed methodology through (1)quantitative and qualitative analyses, and (2)various indoor, outdoor, and dynamic scene recoveries.
Through this thesis, we have proposed a novel and convincing guideline for the photo-consistent 3D modeling from multi-view images; if we want to guarantee the global photo-consistency of 3D model recovered from multi-view images, we have to approach to this generalized scene recovery problem with the global appearance measure.
본 논문은 임의의 카메라 시점들에서 얻어진 다중영상으로부터 실사기반 삼차원 모델을 복원하는 문제를 다룬다.
인간은 카메라의 시점을 변화시켜 가며 시점에 종속적인 삼차원 개체의 외관(appearance)정보를 영상에 담아낼 수 있고, 이렇게 얻어진 영상들을 통해 실제 삼차원 개체의 형상(shape)정보를 추론해 낼 수 있다. 본 논문에서는 이러한 인간의 추론능력을 컴퓨터에서 모사할 수 있는 복원 방법론을 제안한다.
기존의 접근방법들은 다양한 카메라 시점들에서 얻어진 외관정보를 픽셀 칼라들의 조합으로 보고, 삼차원 모델을 구성하는 각 단위개체(primitive)들에 대응하는 국부적인 외관정보인 픽셀칼라들간의 유사도를 판별함으로써 개체의 형상정보를 복원해 내고 있다. 하지만 이러한 국소접근방법(local approach)들은 다중영상으로부터 실사기반 삼차원 모델을 복원하는 문제에 있어서 근본적인 한계점을 가지고 있다.
본 논문에서는 다양한 카메라 시점들에서 얻어진 전체 외관정보에 대한 국부적 해석이 아닌, 그 자체를 개체 표현을 위한 하나의 통합된 정보로 해석을 한다. 본 논문은 이러한 새로운 해석으로부터 “어피어런스 클로닝 (appearance-cloning)”이라는 새로운 전역접근방법(global approach)을 제안한다. 제안된 방법은 먼저 가상의 디지털 공간에서 생성된 후보모델(candidate 3D model)을 주어진 카메라정보들을 이용해 렌더링(rendering)함으로써 주어진 전체 외관정보에 일대일 대응하는 후보모델의 외관정보를 생성해 낸다. 그리고 이렇게 생성된 후보모델의 외관정보가 주어진 실제 삼차원 개체의 외관정보를 닮아가도록 후보모델을 제어하는 직관적인 방법을 이용하여 주어진 다중영상으로부터 실사기반 삼차원 모델을 복원한다.
본 논문에서는 복원하고자 하는 개체의 충분한 외관정보만 주어진다면, 기존의 방법들에서 일반적으로 사용되는 형상에 대한 다양한 가정들이나 제약조건들에 의존하지 않고서도 삼차원 개체의 형상정보와 고유한 칼라정보를 동시에 복원해 낼 수 있음을 제안된 방법을 통해 보였다. 또한 본 논문은 복원 결과에 대한 정량적, 정성적 분석과 다양한 실내, 실외, 그리고 동적 개체 등에 대한 삼차원 복원실험들을 통해 제안된 방법의 타당성을 검증하였다.
