This thesis presents a novel approach to reconstruct large-scale 3D structures using sensor fusion systems of cameras and 2D laser sensors. 3D reconstruction is one of the fundamental issues in computer vision community. Recently, many research groups concentrate on reconstructing large-scale scenes, and they provide impressive results such as reconstruction of buildings, heritages and cities. Cameras and laser sensors are widely used for this purpose. We also use 2D laser sensors as the main sensor. They provide accurate depth of the scanning plane which cannot be obtained by triangulation using cameras. The reconstruction is done by sweeping the target scene with the scanning plane and accumulating the range data based on the motion of the sensor. We estimate the motion of the laser sensor using cameras. Cameras and laser sensors have different characteristics. The weaknesses of the sensors can be complemented each other to obtain better results.
We present two designs of the sensor fusion system. The first system consists of two laser sensors and four cameras, and it is designed to be carried by human operator to capture the environments in which huge devices such as ground vehicles cannot enter. The second system consists of one laser sensor and six cameras, and it is designed to be mounted on a ground vehicle to capture the environments with roads.
We present several methods for the entire process of 3D reconstruction using the proposed sensor system. First we propose a new calibration method for the system, especially for the calibration between a camera and a 2D laser sensor. For extrinsic calibration, a geometric constraint which can be applied to the ‘invisible’ laser points is needed. We propose a point-line constraint which is stronger than the conventional point-plane constraint. We also present a method to extract points which correspond to lines with high accuracy. In the motion estimation process, we propose a new scheme of utilizing laser points in structure-from-motion (SFM) process. We project laser points onto images and find their correspondences in the images of next frame to generate 3D-2D correspondences which are very useful for motion estimation. In order to avoid the degenerate case which happens frequently, we propose a new algorithm to estimate the initial relative pose between two consecutive frames. The result shows that the closed-loop error is very small, thanks to the depth accuracy of the laser points and wide FOV of the cameras. Like other SFM methods, the proposed method also suffers from the error accumulation problem because it accumulates frame-by-frame results. We present a method of reducing accumulated error using closed loops. We present an efficient solution which satisfies the closed loops while preserving the accuracy of the local estimation. And we propose new methods to register two laser-accumulated structures without any initial relative pose and time-consuming iterative process for the loop closing. Accurate local motion estimation and global error reduction makes massive-scale reconstruction possible, such as villages or heritages with many buildings. The experimental results show that the proposed system and methods are very useful to reconstruct large-scale 3D structures.
본 학위논문에서는 카메라와 레이저를 융합한 새로운 광역 3차원 복원 방법을 제안한다. 3차원 복원은 컴퓨터 비전 분야의 중요한 주제 중 하나이다. 최근에는 많은 연구자들이 넓은 영역에 대한 3차원 복원을 시도하고 있으며 건물, 유적 및 도시 환경에서의 훌륭한 복원 결과를 보여주고 있다. 3차원 복원에 주로 사용되는 센서는 카메라와 레이저 센서이며, 본 논문 또한 2차원 레이저 센서를 주 센서로 사용한다. 레이저 센서는 카메라로는 얻기 힘든 정확한 거리 정보를 제공한다. 2차원 거리 센서를 사용하는 연구에서는 대상 환경을 스캔 평면으로 쓸고 지나가면서 데이터를 획득한 후, 센서의 움직임을 추정하고 이를 기반으로 거리 정보를 누적함으로써 3차원 구조를 복원한다. 본 학위논문에서는 카메라를 이용하여 레이저 센서의 움직임을 추정한다. 카메라와 레이저는 서로 다른 특성을 가지고 있으며, 서로의 단점을 보완하여 더 좋은 결과를 얻을 수 있다.
본 학위논문에서는 제안한 융합 시스템을 이용하여 3차원 복원을 수행하기 위한 몇 가지 방법을 제안한다. 첫째로, 카메라와 레이저 사이의 상대적인 위치 관계를 알아내는 새로운 보정 방법을 제안한다. 레이저로 스캔한 점은 보이지 않기 때문에 특별한 기하학적 방법이 필요하다. 본 학위논문에서는 기존의 점-평면 관계보다 강력한 점-선 관계를 이용하는 방법을 제안하고, 이 방법에서 사용하는 특징점의 정확도를 높이기 위한 방법 또한 제안한다. 움직임을 추정하는 단계에서는 레이저가 스캔한 점을 기존의 SFM에 이용하는 새로운 방법을 사용한다. 레이저 점을 영상에 투영하고 다른 영상에서의 대응점을 알아냄으로써 시스템의 움직임을 알아내는 데 유용한 대응관계를 얻을 수 있다. 2차원 레이저를 사용할 경우 기존의 방법으로 움직임 추정이 불가능한 상황이 발생할 수 있는데, 이를 피하기 위한 새로운 알고리즘을 제안한다. 레이저 점의 정확한 거리 정보와 여러 대의 카메라가 제공하는 넓은 시야를 통하여 오차가 작은 정확한 결과를 얻을 수 있다. 제안한 움직임 추정 방법 또한 다른 SFM 방법들과 마찬가지로 오차가 누적되는 문제가 발생하는데, 본 학위논문에서는 같은 장소를 두 번 이상 방문하였을 때 만족해야 하는 상대적인 위치 관계를 계산하고 이를 이용하여 오차를 줄인다. 두 번 방문했을 경우 각각의 3차원 복원 결과를 정합하는 방식으로 상대적인 위치 관계를 계산하는데, 위치 관계의 초기값 및 반복 수렴 과정이 필요없는 새로운 방법을 제안한다. 또한 이 결과를 만족하면서 기존에 추정한 움직임의 변형을 최소화하는 효율적인 방법도 제안한다. 정확한 움직임 추정 결과 및 이로부터 누적 오차를 제거하는 과정을 통하여 유적, 도시 등의 광역 3차원 환경을 복원하는 것이 가능하다.
본 학위논문에서는 두 가지의 카메라-레이저 융합 시스템을 제안한다. 두 시스템 모두 여러 대의 카메라를 사용하여 넓은 시야를 확보하고 따라서 이후 과정의 정확도를 높인다. 첫 번째 시스템은 2대의 레이저 센서와 4대의 카메라로 구성되어 있으며, 사람이 손으로 들고 다니면서 데이터를 획득하여 차량이 출입하지 못하는 좁은 환경을 복원한다. 두 번째 시스템은 1대의 레이저 센서와 6대의 카메라로 구성되어 있으며, 차량에 설치하고 달리면서 데이터를 획득하여 매우 넓은 환경을 복원한다. 실험 결과를 통하여 제안한 시스템 및 방법이 광역 3차원 복원에 매우 효과적이라는 사실을 알 수 있다.