3D reconstruction is a computer vision technique to restore 3D structures of scenes from digital images. The three factors that determine the quality of reconstruction are camera model, camera pose, and correspondence. For high-quality 3D reconstruction, it is paramount important to know these factors accurately. We categorize various techniques in 3D reconstruction according to which factors are mainly handled and notice that the techniques in different categories can be combined to achieve complete 3D reconstruction in three different ways.
In this dissertation, we explore the three ways of 3D reconstruction and introduce new solutions to their critical applications including 3D scanning, see-through car, and depth from small motion. Furthermore, we develop a new method for camera calibration that uses a display device to unleash the camera calibration technique from the restraint of using blurred images by camera defocus.
Firstly, we present our camera calibration method, which is one of the most significant contributions of this thesis. Unlike traditional approaches for camera calibration that necessarily require well-focused images, our method can perform accurate calibration with heavily defocused images. With a set of binary patterns that we propose, we define a feature point as an intersection of a vertical edge and a horizontal edge. We then formulate the feature extraction as a deconvolution problem with a sub-pixel level feature location and a Gaussian blur kernel. Furthermore, we compensate for camera parameter error due to refraction of the glass panel of a display device. We evaluate the performance of the proposed method on both synthetic data and real data.
Secondly, we present two approaches that are based on structured light: a single-shot based 3D scanning, and an accurate multi-view matching for highly accurate 3D scanning, respectively. In the single-shot method, we recover not only the 3D structures but also the intrinsic properties of a scene via an efficient parameterization of the image model, based on a color-coded phase-shifting pattern. In the multi-view method, we try to estimate the correspondence between multi-camera images as accurate as possible so to achieve very precise 3D reconstruction. Our method estimates the optimal depth for each pixel of each camera which makes the difference between the decoded pattern values at its projections across multiple views be minimized. We build a multi-camera 3D scanning system to demonstrate the superior performance of the proposed method.
Thirdly, we present the first real-time system to see through a car seamlessly. When two vehicles are equipped with an appropriate wireless communication system, the stereo vision system mounted on the front car allows creating a sparse 3D map of the environment where the rear car can be localized. Based on the pose between the cars, an augmented-reality image is synthesized and transferred to the rear car, which can replace the occluded field of rear car view and create a seamless see-through effect to help the rear car driver to prevent a potential hazard and overtake the front car safely.
Finally, we present our methods to recover a depth map from a small motion video clip. We first study interesting characteristics of small motion assumption in the case of a calibrated camera, and then present a method for high-quality depth estimation for uncalibrated cameras, like our daily mobile phones. As opposed to prior methods that only recover scene geometry and camera motions, we introduce a self-calibrating bundle adjustment tailored for small motion. For dense matching, our variance-based cost function has been utilized to leverage the benefit of having negligible intensity changes within the scene due to the minuscule variation in viewpoint. The depth maps obtained by the proposed framework show extremely fine structures that are unmatched by previous literature under the same small motion configuration.
3차원 복원은 디지털 이미지로부터 해당 장면의 3차원 구조를 재구성하는 컴퓨터 비전 기술이다. 복원 품질을 결정하는 3 가지 요소에는 카메라 모델, 카메라 포즈 및 대응점이 있으며, 고품질의 3차원 복원을 위해서는 이러한 요인을 정확하게 파악하는 것이 중요하다. 우리는 이 중 어떤 요소가 주로 다루어지는지에 따라 3차원 복원과 관련된 다양한 기술들을 분류하고, 서로 다른 범주의 기술이 세 가지의 다른 방식으로 결합되어 각각 3차원 복원을 달성할 수 있음에 주목한다.
본 논문에서는 이 세 가지 복원 방식을 탐구하고, 이들의 중요한 활용 분야인 3차원 스캐닝, 시스루 자동차 및 작은 움직임으로부터의 깊이 추정에 대해 새로운 방법론을 제시한다. 뿐만 아니라, 디스플레이 장치 기반의 새로운 카메라 캘리브레이션 기법을 개발함으로써, 기존의 제약이었던 카메라 디포커스 효과에 의해 흐려진 영상도 활용할 수 있게 하였다.
첫 번째로, 이 논문의 가장 중요한 공헌 중 하나인 카메라 보정 방법을 소개한다. 필수적으로 초점이 잘 맞는 이미지를 필요로 하는 기존의 카메라 보정 방법과 달리, 제안한 방법은 초점이 심하게 맞지 않는 카메라를 이용하는 경우에도 정확한 캘리브레이션을 수행 할 수 있다. 일련의 이진 패턴들을 사용하여 발생하는 수직 모서리와 수평 모서리의 교차점을 특징점으로 정의하였고, 특징점의 세밀한 위치 추정 문제를 특징점의 위치와 가우시안 블러 커널의 크기를 변수로 하는 디콘볼루션 문제로 공식화하여 서브 픽셀 수준의 대응점을 추정할 수 있다. 또한, 디스플레이 장치의 유리 패널의 굴절로 인한 카메라 파라미터 오차를 보상하여 보다 정밀한 카메라 캘리브레이션을 수행할 수 있게 하였다.
두 번째로, 우리는 구조광에 기반한 두 가지의 3차원 스캐닝 기법을 제안한다. 단일 패턴 기반의 3차원 스캐닝과 다중 시점을 활용한 보다 정밀한 3차원 스캐닝이 그것이다. 단일 패턴 방법에서 우리는 컬러 코딩 된 위상 이동 패턴을 기반으로, 이미지 모델의 효율적인 매개 변수화를 통해 촬영된 장면의 3차원 구조뿐만 아니라 고유한 특성을 복구한다. 그리고 다중 시점 방법에서 우리는 가능한 한 고품질의 3차원 복원을 달성하기 위하여 멀티 카메라 이미지 간의 대응점을 매우 정확하게 추정하였다. 고안된 방법은 각 카메라의 각 픽셀에 대한 최적의 깊이를 추정하는데, 이 때 대응되는 3차원 점이 여러 시점으로 투영되었을 때 각 위치에 해당하는 디코딩 된 패턴 값들의 차이가 최소가 되도록 설계하였다. 테스트를 위하여 실제 다중 카메라 기반의 3차원 스캐닝 시스템을 구축하고, 고품질의 3차원 복원 성능을 실험을 통해 입증하였다.
세 번째로, 우리는 전방의 차량을 완벽하게 투시할 수 있는 최초의 실시간 시스템을 제시한다. 먼저 전방 차량에서 스테레오 카메라를 이용하는 동시적 위치주정 및 지도작성 기법을 제안하며, 후방 차량에서는 전방 차량으로부터 전송 받은 주변 지형에 대한 희소 3차원 지도로부터 자신의 위치를 추정하는 위치 재추정 기법을 제안한다. 얻어진 자동차 사이의 자세는 매 순간 전방 차량으로 전송되며, 다시 후방 차량의 시점을 고려한 증강 현실 이미지를 생성하여 완벽한 시스루 효과를 실시간으로 달성하였으며, 이를 통해 후방 차량 운전자가 잠재적 사고를 미연에 방지할 수 있게 하고 안전하게 전방 차량을 추월할 수 있도록 보조할 수 있다.
마지막으로, 작은 움직임을 갖는 비디오 클립에서 깊이 맵을 복구하는 방법을 제시한다. 우리는 먼저 미리 캘리브레이션 된 카메라의 경우에 대해 작은 동작 가정의 흥미로운 특성을 연구하고, 다음으로 일상적인 휴대폰과 같이 캘리브레이션 되지 않은 카메라를 이용하여 고품질 깊이를 추정 방법을 제시한다. 캘리브레이션에 기반하여 3차원 구조와 카메라 움직임 파라미터만 복구하는 이전 방법과는 달리, 우리는 셀프 캘리브레이션이 가능한 번들 조정 기법을 제안한다. 그리고 추정된 카메라 파라미터들에 기반하여 조밀한 매칭을 수행함으로써 고품질의 깊이 맵을 복구하였다. 이 때 매칭에 사용된 비용 함수는, 작은 움직임 시나리오에서 대응점의 밝기는 거의 일정하다는 이점을 활용하기 위하여 분산에 기반한다. 제안된 방법으로 얻은 깊이 맵은 동일 조건에서 이전 문헌과 비교될 수 없는 뛰어난 성능을 보였다.
