This thesis proposes the method for generating three-dimensional (3D) spatial information (3D point cloud) with high accuracy in a complex urban environment. The 3D spatial information can be utilized to estimate accurate positions of autonomous vehicles and indoor navigation robots, and it also has the advantage of intuitively conveying information about space.
The first part of this thesis proposes a sensor system for reconstructing 3D spatial information using multiple sensor data and SLAM algorithms in complex urban environments. This system stably saves data from multiple sensors, and it builds the accurate 3D spatial information using saved data and graph-based Simultaneous Localization and Mapping (SLAM) algorithm. The data obtained using the system are provided through data set homepage for research of SLAM, and estimated vehicle pose and reconstructed 3D point cloud are also provided with the raw sensor data. The second part of this thesis introduces calibration, which is the most important part of sensor fusion systems. The sensor system includes Light Detection and Ranging (LiDAR) sensors to measure distance for surrounding environment, cameras to obtain RGB image data, navigation sensors (Inertial Measurement Unit (IMU), Fiber Optic Gyro (FOG), Encoder, Global Positioning System (GPS)) to estimate vehicle pose. As data of each sensor has its coordinate system, a transformation between each sensor coordinate should be defined to
fuse them. The calibration is the process to estimate transformation between each coordinate system, and it is not possible to reconstruct 3D spatial information accurately without the calibration process. This thesis proposes an extrinsic calibration method between camera and LiDAR without overlap between each data, and also introduces calibration of sensor data (intensity calibration of LiDAR). The sensor system can produce locally accurate 3D maps with cumulative error correction using the SLAM algorithm, but the global accuracy of the 3D map depends mainly on GPS data. The reliability of the GPS data is usually decreased in complex urban environments because of multi-path problems by high-rise buildings. The GPS data affects the accuracy of 3D maps; therefore the highly complex environment can be a constraint to generate globally accurate 3D maps. The third and fourth part of this thesis propose the method to reduce the error of global pose estimation by utilizing road features extracted from the image. The third part introduces algorithms to generate loop closure when the vehicle returns to the same place using local sub-map, which is defined using road features from monocular camera images. The fourth part proposes a global localization algorithm, which estimates the global position of the vehicle by matching road features from the stereo image with High Definition (HD) map data. The HD map used in the thesis has high accuracy because it was extracted from true-ortho aerial images. The localization algorithm using HD maps can be exploited for autonomous vehicles to estimate global position in complex urban scenarios, and it also can be utilized for our system to achieve high global accuracy of the 3D map.
이 학위논문은 복잡한 도시에서 높은 정확도를 갖는 3차원 공간정보 (3D point cloud) 를 얻기 위한 방법을 제안한다. 3차원 공간정보는 자율주행 자동차 뿐만 아니라 다양한 실내 자율주행 로봇에게 정확한 위치를 추정하기 위한 데이터로서 활용될 수 있으며, 일반 사용자에게도 공간에 대한 정보를 직관적으로
전달할 수 있는 장점을 갖고 있다.
이 학위논문의 첫번째 파트는 복잡한 도심에서 여러 센서 데이터와 Simultaneous Localization and Mapping (SLAM) 알고리즘을 통해 3차원 공간정보를 얻기 위한 센서 시스템을 제안한다. 시스템은 여러 센서로부터 얻어지는 데이터를 안정적으로 저장하며, 저장된 데이터와 graph 기반의 SLAM 알고리즘을
통해 정밀한 3차원 공간정보를 생성한다. 이 시스템을 통해 얻어진 데이터는 다양한 SLAM 연구를 위해 데이터셋 홈페이지를 통해 제공되며, SLAM 알고리즘을 통해 보정된 차량의 위치와, 이를 이용하여 생성한 3차원 point cloud 를 함께 제공한다. 학위논문의 두번째 파트는 센서 시스템의 데이터를 융합하기 위해
가장 중요한 부분인 calibration 과정들을 설명한다. 센서 시스템에는 주변환경에 대한 정확한 거리값을 측정하기 위한 Light Detection and Ranging (LiDAR) 센서, 이미지 데이터를 얻기 위한 camera, 차량의 위치를 추정하기 위한 navigation 센서 (Inertial Measurement Unit (IMU), Fiber Optic Gyro (FOG),
Encoder, Global Positioning System (GPS) 등)가 포함된다. 이러한 다양한 센서들의 데이터는 각 센서들 의 좌표계를 기준으로 데이터를 제공하기 때문에, 이러한 다양한 좌표계에서의 데이터를 융합하기 위해서는 좌표계 사이의 관계를 정의해야 한다. 각 센서의 좌표계 사이의 관계를 계산하는 것을 calibration 이라고 하며, 이러한 calibration이 정확하지 않으면 정확한 3차원 공간정보를 생성할 수 없다. 본 논문에서는 여러 calibration 과정과 함께 카메라와 LiDAR 데이터 간에 중첩이 존재하지 않을때의 calibration 방법, 그리고 LiDAR의 intensity calibration 방법을 제안한다. 이 센서 시스템은 SLAM을 통해 누적 오차가 보정된 3차원 공간정보를 얻을 수 있지만, 전역적인 정확도는 GPS 센서에 의존하게 된다. 하지만 복잡한 도시에서는 높은 건물에 의한 multi-path 문제에 의해 GPS 데이터의 신뢰도가 떨어지게 된다. GPS의 정확도는 생성되는 3차원 공간정보의 정확도에 영향을 미치기 때문에 높은 건물이 많은 복잡한 환경은 정확한 3차원 맵을 생성하는데 제약이 된다. 이러한 문제를 해결하기 위해 세번째, 네번째 파트에서는 카메라를 이용해서 추출한 도로 정보를 활용하여 이러한 위치 오차를 해결하는 방법을 제안한다. 먼저 세번째 파트에서는 이미지로 부터 얻을 수 있는 도로 정보들만을 이용하여 지역적인 맵을 생성하고, 동일 위치로 돌아왔을 때 생성된 맵을 이용하여 loop를 생성하는 SLAM 알고리즘을 제안한다. 마지막 네번째 파트에서는 이미지로 부터 추정된 도로의 정보를 High Definition (HD) map과의 매칭을 통해 전역적인 위치를 추정하는 알고리즘을 제안한다. 본 학위논문에서 활용된 HD map 은 true-ortho 항공 이미지로부터 얻은 HD map이므로 높은 전역 정확도를 갖는다. HD map 기반의 위치 추정알고리즘은 자율주행자동차가 복잡한 도시에서 주행을 하기 위한 데이터로 활용될 수 있을 뿐만 아니라, 높은 정확도의 3차원 공간정보를 생성하는데 활용될 수 있다.
