Visual localization is a problem to estimate a 6 DoF camera pose given a single image. It is a key component to implement autonomous robots, AR, or MR that needs to interact with environments based on the current position. A GPS is widely used to find the global position of a car navigation system in outdoor environments. However, it is limited in its position robustness, especially within the city areas where many high-rise buildings exist or indoor environments. To overcome this limitation, visual localization has been getting attention from academia and Industries.
Recently, visual localization has been studied actively and shown limitations on accuracy in low-textured environments where only small numbers of feature points are extracted or the feature points are not well-distributed on images due to simple-structured places. This thesis proposes to utilize line features that can provide additional constraints to optimize a camera pose from a 3-dimensional map. To achieve the goal, a robust line descriptor has to be developed that can work in large viewpoint changes. The hand-crafted line descriptor such as LBD only works well in a narrow baseline, and other recent CNN-based line descriptors also have innate limitations in their architecture to deal with the variable length of line segments as their inputs. Therefore, this thesis proposes a robust line descriptor inspired NLP that can treat various lengths of textual sentences. Also, the proposed network enhanced line descriptor by sharing line's geometric attributes with neighbor line segments vai GNN.
To build accurate 3D point-line feature maps with their descriptors, we utilize a LiDAR sensor. LiDAR can measure the accurate depth, but the laser density is sparse when projected onto the image. Therefore, there is sometimes ambiguity in finding the depth value of point and line features on the image. Therefore in the second chapter of the thesis, we present a point-line feature mapping with depth completion. Then as a reference study, we introduce a two-stage depth completion method to utilize LiDAR in the algorithm. The proposed method separates a depth completion problem into two components: a depth prediction module using an image and a non-deep learning-based depth regression module to fuse LiDAR and a depth image from a camera. It has advantageous to be more robust when sparsity and bias of LiDAR inputs are changed, compared to the recent deep-learning-based methods.
In the third chapter of the thesis, we present an outlier detection method of line correspondences using the known vertical direction of IMU, which ensures the robustness of visual localization. In the end, we validate Line-Loc in indoor and outdoor environments. Moreover, we present PL-Loc with two strategies using feature points and lines together and we show that complementary roles of points and lines can enhance the localizing performance.
자율 주행 로봇의 네비게이션과 증강현실(AR/MR)의 기술은 3차원 환경 내의 현재 위치를 정확히 인식하여 그 위치에 맞는 주변 환경과의 상호작용하는 기능을 필요로 한다. 실외 환경에서 현재 위치를 인식하기 위해서 Global Positioning system (GPS)를 이용하는 것이 보편적이지만 그 위치 에러는 수 미터가 되고 고층 빌딩이 많은 도심환경에서는 신호가 불안정한 경우가 있어서 정확도와 강건성에 한계가 있다. 또한 신호가 도달하지 못하는 실내 환경에서는 GPS의 사용성 한계가 명확하다. 이러한 위치 정확성의 한계를 극복하기 위하여 카메라를 활용한 3차원 공간 내의 정확한 자기 위치 인식 (Visual Localization) 기술이 학계와 산업계의 주목을 받고 있다.
최근 visual localization의 많은 연구가 특징점 (feature point)기반으로 이루어지고 있으나, 특징점이 적게 추출되거나 이미지내 편향되어 위치되기 쉬운 단순한 구조의 환경에서 카메라 포즈의 정확도가 낮아지는 한계가 있다. 본 학위 논문은 카메라 이미지의 특징점 이외의 선분 정보를 활용하여 추가 제약을 카메라 포즈를 추정하는데 함께 활용 하는 '점-선분 기반의 카메라 위치 추정 방법'을 제안한다.
이를 구현하기 위해 학위 논문의 첫번째 파트에서 딥러닝을 이용한 강인한 선분 설명자 (line descriptor)를 제안한다. 기존의 선분 설명자는 시야변화가 적은 연속된 이미지에서만 유효하게 동작하거나 CNN 기반으로 연구되어 있어서, 다양한 길이를 가지고 있는 선분을 정확히 구분하고 매칭하는데 불리하다. 이에 본 논문에서는 자연어 처리의 가변 길이의 문장을 다루는 방법을 활용하여 효과적으로 선분을 표현할 수 있는 강건한 선분 설명자를 제안한다.
본 논문은 특징점/선분으로 이루어진 3차원 특징지도를 만드는 방법으로서 LiDAR 센서를 카메라와 함께 사용한다. 이는 기존 SfM이 성공하지 못하는 환경에서의 특징 지도를 만드는데 유용한 방법이다. 특히 본 논문에서는 깊이 정보 완성법(depth completion)을 함께 활용할 것을 제안한다. 좀 더 먼거리의 거리를 측정할 수 있는 LiDAR를 활용한 경우 레이저 밀도가 이미지 대비 조밀하지 못하여 이미지로부터 생성된 점-선분과 정확히 매칭되는 깊이 값을 찾는데 모호하다는 문제가 있다. 깊이 정보 완성법은 이러한 문제를 완화할 수 있으며 이를 연구한 내용을 함께 소개한다. 본 논문에서 제안하는 깊이 정보 완성법은 이미지를 이용한 깊이 추정 모듈과 LiDAR 데이터의 깊이 회기 모델을 두 단계로 분리하여 LiDAR의 입력이 편심되거나 밀도가 낮아질 때 기존 딥러닝을 이용한 방법보다 안정적인 성능을 발휘하는 것을 특징으로 한다.
본 논문의 세번째 파트에서는 IMU의 vertical direction 각도를 이용하여 2D-3D 선분 매칭의 이상치 (outlier)를 효과적으로 판별할 수 있는 방법을 제안한다. 이미지의 선분과 3차원의 선분과 매칭 과정에서 이미지의 조도, 계절, 시점, 선분 설명자의 강건성의 정도에 따라 잘못된 매칭이 발생하게 되고 이는 카메라 포즈의 에러로 이어지게 된다. 본 논문에서 제안한 방법은 이미지에서의 매칭관계를 외부 센서(IMU)를 이용해 이상치 판별을 할 수 있다는 특징이 있다.
마지막으로 앞서 제시한 방법들을 이용하여 선분을 이용한 위치 인식 방법 (Line-Loc)을 평가하고, 더 나아가 카메라 위치 최적화에 선분과 특징점을 함께 이용한 PL-Loc을 제안한다. 특징점을 기반으로 연구되고 있는 기존 visual localization 연구 흐름에서 나아가 이미지 내 선분을 함께 이용하여 강건한 위치인식을 연구하는데에 본 학위 논문의 의의가 있다.
