For autonomous navigation of vehicles and robots, three elements are essential: sensing, mapping and driving policy. These factors are eventually distinguished by robot action and perception technology, and simultaneous localization and mapping (SLAM) should be preceded by recognition technology for autonomous robot navigation. Various sensors are used for SLAM, while cameras and range sensors such as LiDAR are mainly utilized. However, the monocular vision-based methodologies hardly estimate the scale of the real environment accurately, and LiDAR-based methods have limitations in that they can only operate in environments with evident geometric characteristics. Besides, these sensors are significantly less capable of sensing in adverse weather conditions such as snow and rain or dense fog environments such as fire scenes.
In this thesis, we propose a visual SLAM using the multimodal sensor. The proposed methodology tightly combines LiDAR with an imaging sensor that provides visual observation of the scene, thus solving not only the scale ambiguity problem of monocular vision but also the geometric ambiguity problem. For an all-day visual SLAM that is invariant to light conditions, the methodology is extended to thermal-infrared cameras. Also, we propose a SLAM method that combines a thermal imaging camera and radar to overcome the dense fog environment in which LiDAR cannot operate.
First, we propose a multimodal sensor-based visual slam methodology using a single camera and a 3D LiDAR. Conventional visual SLAM methodologies using monocular cameras add environmental characteristics as constraints to solving the scale problem because the scale of the actual environment is underdetermined. However, these constraints need to be modified whenever the platform and environ- ment change. Also, 3D LiDAR-based methodologies are challenging to operate in environments with poor geometric characteristics, such as long corridors or wide roads. Furthermore, finding correspondences is not straight forward for sparse range measurements of LiDAR. In this study, we proposed a technique to perform visual SLAM by tracking the range measurements provided by LiDAR on the image plane.
Secondly, we extended the visual SLAM methodology using cameras and 3D LiDAR to thermal- infrared cameras and proposed a robust visual SLAM methodology to change the light conditions. Gen- erally, the visible camera fails to provide rich information at night due to an insufficient amount of light. Since thermal-infrared cameras detect infrared wavelengths, they can be used regardless of day or night. Still, distortions and noise are generated by diffraction, and image bias is caused by temporal difference. This study suggests a visual SLAM methodology that is robust against light conditioning changes regardless of day or night, utilizing the advantages of the thermal-infrared camera.
Finally, the SLAM methodology using the radar and the thermal-infrared camera is presented to overcome the indoor dense fog environment with low LiDAR permeability. The radar is utilized to extract ego-motion for robot navigation. Thermal-infrared cameras also detect structural lines consisting of groups of orthogonal line segments in an indoor environment with low texture. The absolute orientation determined by the structural lines is then used for SLAM. This study utilized the measurements provided by thermal-infrared camera and radar as a factor of graph SLAM.
자동차와 로봇의 자율 주행을 위해서 센싱(Sensing), 맵핑(Mapping), 주행 정책(Driving Policy)이 라는 3요소가 필수적이다. 이러한 3요소는 결국 로봇의 행동(Action)를 위한 기술과 환경에 대한 인지 (Perception)로 구별되어지며, 로봇의 자율 주행을 위한 인지 기술로서 동시적 위치 추정과 지도작성 기술 (simultaneous localization and mapping)이 선행되어야 한다. 동시적 위치 추정과 지도작성을 위해서 다 양한 센서들이 활용 되어지며 단일 센서들 중에서는 주로 카메라를 이용하는 단안 비전 기반의 방법론과 LiDAR의 거리 센서를 활용하는 방법론이 주목받고 있다. 하지만 단안 비전기반의 방법론들은 실제 환경의 스케일 정보를 정확히 알 수 없으며 3차원 정보를 얻기위한 초기화 과정이 반드시 필요하다는 제한사항을 가진다. LiDAR 기반의 방법론들은 기하적 특성이 명확한 환경에서만 동작할 수 있다는 한계를 가진다. 또한, 이러한 센서들은 눈, 비와 같은 악천후 상황이나 화재 현장과 같은 농연 환경에서 센싱능력이 현저히 떨어지게 된다.
본 학위 논문에서는 장면에 대한 시각적 관측을 제공하는 이미징 센서와 기하적 정보를 제공하는 LiDAR 를 결합하여 단안 비전기반의 스케일 모호성 문제를 해결하고 기하적 특성이 모호한 경우에도 동작 할 수 있는 이종센서 기반의 비주얼 슬램(Visual SLAM)을 제안하고 이를 열화상 카메라로 확장하여 일광 조건 에 강건한 비주얼 슬램 방법론을 제시한다. 또한, LiDAR가 동작할 수 없는 농연 환경을 극복하기 위하여 열화상 카메라와 radar를 결합한 SLAM 방법론을 제안한다.
첫째로, 한개의 카메라와 3D LiDAR를 사용한 이종 센서 기반의 비주얼 슬램 방법론을 제안한다. 단 안 카메라를 사용한 일반적인 비주얼 슬램 방법론들은 실제 환경의 스케일을 알 수 없기 때문에 환경이나 플랫폼의 특성을 제약조건으로하여 이러한 문제를 해결한다. 그러나 이러한 조건은 플랫폼과 환경이 바뀔 때마다 변경이 필요하다. 또한 3D LiDAR를 활용한 방법론들은 긴 복도나 넓고 평평한 도로 같이 기하적 특성이 모호한 환경에서 동작하기 어렵다. 대다수의 LiDAR가 희소한 거리정보를 제공하기 때문에 대응 점을 찾기 어려운 문제가 존재한다. 본 연구는 LiDAR에서 제공되는 거리정보를 이미지상에서 추적하는 방식으로 비주얼 슬램을 수행하는 기술을 제안하였다.
둘째로, 카메라와 3D LiDAR를 사용한 비주얼 슬램 방법론을 열화상 카메라로 확장하여 일광 조건에 강건한 비주얼 슬램 방법론을 제안하였다. 일반적인 카메라는 광량 부족으로 인하여 주야간에 풍부한 정보 를 제공하는데 어려움이 있다. 열화상 카메라는 적외선 파장대를 검출하기 때문에 주야간 관계없이 사용할 수 있는 장점이 있지만, 회절에 의한 왜곡과 노이즈가 심하며 시간차이에 따른 영상의 편향이 발생한다. 본 연구는 열화상 카메라의 장점을 활용하여 주야간에 관계없이 일광 조건에 강건한 비주얼 슬램 방법론을 제시하였다.
마지막으로, LiDAR의 투과성이 현저히 떨어지는 실내 농연 환경을 극복하기 위하여 radar와 열화상 카메라를 이용한 SLAM방법론을 제시한다. radar는 로봇의 ego-motion을 추출하는데 활용되어진다. 그리 고 열화상 카메라는 텍스쳐 정보가 거의 없는 실내 환경에서 직교하는 라인들로 이루어진 구조적 선분을 검출하고, 구조적 선분을 통해 결정되는 절대 방향 정보를 SLAM에 활용한다. 본 연구는 열화상 카메라와 radar가 제공하는 측정 값들을 graph SLAM을 통해 융합하여 활용하는 방법을 제시하였다.
