Recently, with the development of mobile robots, research on indoor localization systems has been conducted to replace GPS which cannot be used indoors. Of the many sensors for localization, cameras are inexpensive and easy to access on mobile platforms. With this advantage, the visual-inertial odometry which uses the camera and IMU to recognize the pose has been studied. Visual inertial odometry mainly uses point features to use cameras, but they are not robust in environments with low texture or changing illuminance . In addition, it is difficult to grasp the structure of the surrounding environment only by the 3D representation of the point features. In this paper, we applied the line features to the existing visual-inertial odometry to overcome the above limitations. In the process of using the line features, an optical flow based line tracking was performed to supplement the line tracking based on the existing Line Segment Detector (LSD) and Line Band Descriptor (LBD). Also, in order to apply the line features to the visual-inertial odometry, 3D line is defined through Pl$\ddot{u}$cker coordinate and orthonormal representation. By defining the cost function through triangulation and reprojection of 3D lines, we construct a visual-inertial odometry algorithm based on the tightly-coupled optimization. The validity of the algorithm was verified by comparing and analyzing the localization results between the proposed algorithm and the conventional algorithm. Finally, the structure of the surrounding environment was reconstructed through 3D lines.
최근, 이동 로봇이 개발됨에 따라 실내에서 사용할 수 없는 GPS를 대체하기 위해 실내 위치 인식 시스템에 관한 연구가 진행되었다. 위치 인식을 위한 여러 센서 중 카메라는 저렴하고 모바일 플랫폼에도 있을만큼 접근하기 쉽다는 장점이 있다. 이와 같은 장점으로, 카메라와 관성 측정 장비를 사용하여 위치를 인식하는 영상 관성 오도메트리가 연구되었다. 영상 관성 오도메트리는 카메라를 사용하기 위하여 주로 특징점을 사용하는데, 특징점이 적거나 조도가 변하는 환경에서 강인하지 못하다. 또한, 특징점의 3차원 표현만으로는 주변 환경의 구조를 파악하기 어렵다. 본 논문은 앞에서 언급한 한계를 극복하기 위해 기존의 영상 관성 오도메트리에 특징선을 적용하는 연구를 진행했다. 특징선을 사용하는 과정에서, 기존 Line Segment Detector(LSD)와 Line Band Descriptor(LBD)를 기반으로 하는 특징선 추적을 보완하기 위하여 광학 흐름 기반 특징선 추적을 수행했다. 또한, 특징선을 영상 관성 오도메트리에 적용하기 위하여 Pl$\ddot{u}$cker coordinate와 orthonormal representation을 통해 3차원 선을 정의했다. 3차원 선들을 삼각 측량과 재투영을 통해 비용 함수를 정의하여, 강결합 최적화 기반 영상 관성 오도메트리 알고리즘을 구성하였다. 제안한 알고리즘과 기존 알고리즘과의 위치 추정 결과 비교 및 분석을 통해 알고리즘의 타당성을 입증했고, 최종적으로, 3차원 선을 통해 주변 환경의 구조를 재구성했다.
