Simultaneous Localization and Mapping (SLAM) is the problem for estimating a robot’s location while the robot moves around and building a map in an unknown environment. It is one of the most essential techniques for autonomous navigation of mobile robots. Intelligent service robots have to adapt to the new surroundings in order to provide proper services.
In SLAM frameworks, measuring the distance and the angle between the robot and its surrounding environment is the most important information. In general, various sensors, such as infrared, ultrasonic, and laser ones, are used to measure the depth information. Also, vision sensors are utilized to get rich information about the environment. Recently, Red Green Blue - Depth (RGB-D) sensors, which can acquire a depth image and a color image simultaneously, are becoming widely used. It can obtain not only the color image for visual information but also the depth image representing the distance of every pixel in the image.
Visual SLAM means the SLAM framework which gets the landmark information from color images. In general, when a mobile robot explores unknown environments, the following processes are iterated continuously for autonomous navigation. First, a robot estimates its position and extracts landmarks to build up a map of the environment. After that, the landmark locations are defined based on the robot’s own pose. Last, the landmark position information refines the robot’s location more accurately.
In this dissertation, we present an RGB-D sensor-based visual SLAM for a mobile robot in indoor environments. We focus on two issues. The feature detection and matching for the visual SLAM is the one and the dynamic landmark management methodology to improve the performance of the proposed framework is the other.
As the first issue, we propose an adaptive threshold approach for the visual SLAM framework which defines landmarks with Speeded Up Robust Features (SURF). In order to utilize the SURF detection and matching algorithm in the SLAM framework more successfully, various threshold values are needed. However, a fixed threshold configuration is presently widely used and it may lead to performance degradation. Therefore, the proposed framework adaptively determines the threshold values according to the location and the size information of the features defined as landmarks. In this way, it can improve the performance of the framework and the accuracy of map representation. In order to validate the proposed method, we implement a visual SLAM framework with an Extended Kalman Filter (EKF) for mobile robots and compared its performance with that of the fixed threshold approach. The experimental results show the effectiveness of our adaptive threshold configuration in the visual SLAM using the SURF.
As the second issue, we present a Dynamic EKF SLAM, which is an expanded version of the EKF-based SLAM, to solve the problem of SLAM in dynamic environments. The landmark location change caus-es errors in robot pose estimation and landmark mapping. The proposed framework decomposes the SLAM problem into a traditional SLAM problem for static landmarks and individual SLAM problems for dynamic landmarks. Therefore, in dynamic environments, it can minimize errors caused by dynamic landmarks and reduce the uncertainty in the robot pose and the landmark locations. In order to verify the usefulness of the proposed approach, we implement an indoor mobile robot platform with an RGB-D sensor and utilize the SURF algorithm to extract appearance-based features. The simulation and experimental results confirm the validity and robustness of the proposed Dynamic EKF SLAM in indoor environments including dynamic landmarks.
Considering the above, it might be said without loss of generality that the proposed Dynamic EKF SLAM with adaptive thresholds would be helpful for indoor mobile robots to navigate more successfully without preliminary information in unknown environments. And as a result, the robot can provide more suitable services with improved navigation ability.
Simultaneous Localization and Mapping (SLAM) 은 미리 알려지지 않은 장소에서 로봇이 이동하면서 스스로 자신의 위치를 찾아가며 주변 환경에 대한 지도를 작성하는 것을 다루는 문제이다. 이것은 이동 로봇의 자율 주행을 위해 꼭 필요한 기술 요소 중 하나이다. 지능형 서비스 로봇들은 로봇의 고유한 서비스를 제공하기 위해 새로운 환경에 적응해야만 하기 때문에 환경 정보를 인식하고 자신의 위치를 찾는 것이 중요하다. 위치 인식과 지도 작성은 서로 다른 문제이지만 밀접한 관계가 있다. 정확한 위치 인식을 위해서는 정확한 지도가 필요하고 정확한 지도를 작성하기 위해서는 정확한 위치를 알고 있어야 하기 때문이다.
SLAM 프레임워크에서 가장 중요한 정보는 로봇과 주변 환경과의 거리와 각도를 측정하는 것이다. 일반적으로 적외선, 초음파, 레이저 센서와 같은 다양한 센서들이 거리 정보를 측정하기 위해 사용된다. 그러나 이러한 센서들은 하나의 점에 대한 측정이 가능하기 때문에 실제 로봇에 적용될 때에는 여러 개의 센서를 배치하여 주변 환경을 인식한다. 또한, 비전 센서들도 환경에 대한 풍부한 정보를 얻기 위해 사용된다. 영상 정보는 주변 환경에 대한 더 정확한 정보들을 얻을 수 있지만 거리를 측정하기 위해서는 추가적인 연산 과정이 필요하다. 최근 Red Green Blue - Depth (RGB-D) 센서라고 하는 거리 정보와 컬러 영상을 동시에 얻을 수 있는 센서가 널리 활용되고 있다. 그것은 영상 정보를 위한 컬러 이미지뿐만 아니라 이미지의 각 픽셀에 대한 거리 정보를 얻을 수 있다. 그러므로 비교적 쉽게 환경에 대한 3D 정보를 구축할 수 있다.
SLAM 프레임워크는 로봇의 위치를 인식하고 지도를 작성하기 위해서 랜드마크를 정의한다. Visual SLAM은 영상 정보에서 특징점을 추출하여 이를 랜드마크로써 활용하는 SLAM 방법론을 의미한다. 이동 로봇은 알려지지 않은 환경에서 움직이면서 자율 주행을 위해 다음의 과정들을 반복적으로 수행한다. 먼저, 로봇 주행 플랫폼에 따라 정의된 모션 모델에 기반하여 로봇은 이동하면서 자신의 위치를 추정하고 주변 환경에 대한 지도를 작성하기 위한 랜드마크들을 찾는다. 그리고 현재 로봇의 위치를 기반으로 하여 측정된 센서 정보를 바탕으로 랜드마크들의 위치를 정의한다. 새로운 센서 정보가 반영된 랜드마크 위치 정보는 로봇의 위치를 더 정확하게 추정하는데 활용된다.
이번 논문에서 우리는 실내 환경에서 이동 로봇을 위한 RGB-D 센서 기반의 visual SLAM 프레임워크를 제안한다. 두 개의 모터로 구동되는 이동 로봇 플랫폼에 마이크로소프트에서 제작된 RGB-D 센서인 키넥트 센서를 활용한다. 제안된 SLAM 프레임워크는 확장칼만필터(Extended Kalman Filter, EKF) 에 기반하여 로봇과 랜드마크들의 위치를 추정한다. 또한 우리는 측정된 영상 정보로부터 랜드마크를 정의하기 위해 특징점 추출 및 매칭 알고리즘인 Speeded Up Robust Features (SURF) 알고리즘을 사용한다. 제안된 프레임워크의 성능 향상을 위하여 우리는 두 가지 이슈에 중점을 둔다. 하나는 visual SLAM을 위한 특징정 추출 및 매칭에 관한 것이고 다른 하나는 동적 랜드마크를 다루는 방법이다.
본 논문에서 다루는 첫 번째 주제는 SURF 를 사용하여 랜드마크를 정의하는 visual SLAM 을 위한 적응 한계치 방법론이다. SURF 추출 및 매칭 방법을 SLAM 프레임워크에 성공적으로 적용시키기 위해서 다양한 파라미터들이 필요하다. 그러나 고정 한계치 설정은 SLAM 프레임워크의 성능 저하 문제를 야기할 수 있다. 그러므로, 제안된 프레임워크는 랜드마크로 정의된 특징점들의 위치와 크기 정보를 활용하여 한계치를 조절한다. 이것은 성능 향상뿐만 아니라 더 정확한 지도 작성이 가능하다. 제안된 방법론을 검증하기 위해 이동로봇을 위한 EKF 기반의 visual SLAM 을 구현하고 기존 고정 한계치 방법과 성능 비교를 하였다. 실험 결과는 SURF 를 사용한 visual SLAM 에서 제안된 방법의 효과를 보여준다.
본 논문에서 다루는 두 번째로써, 우리는 동적 환경에서의 SLAM 문제를 해결하기 위해서 EKF 기반 SLAM의 확장 버전으로서 동적 EKF SLAM 을 제안한다. 랜드마크 위치의 변화는 로봇의 위치 추정과 지도 작성의 오차를 야기한다. 제안된 프레임워크는 SLAM 문제를 정적 랜드마크들을 위한 기존 SLAM 문제와 동적 랜드마크들을 위한 개별적인 SLAM 문제로 나눈다. 그러므로 동적 환경에서 그것은 동적 랜드마크로 인하여 야기되는 오차를 최소화 할 수 있고 로봇과 랜드마크의 위치 불확실성을 줄일 수 있다. 제안된 방법을 검증하기 위해 우리는 RGB-D 센서를 갖춘 이동 로봇을 개발하고 랜드마크 추출을 위해 SURF 알고리즘을 활용한다. 시뮬레이션 및 실험 결과는 동적 랜드마크를 포함하는 실내 환경에서 동적 EKF SLAM 의 유효성과 강인함을 보여준다.
그러므로 제안된 적응적 한계치 방법을 적용한 동적 EKF SLAM 은 이동 로봇이 알려지지 않은 환경에서 사전 정보 없이 더 성공적으로 주행하는 것을 가능하게 한다.
