In the past decade, many studies have considered simultaneous localization and mapping (SLAM). The initial studies focused on two-dimensional (2D) environments and Bayesian filter-based techniques such as extended Kalman filter (EKF)-SLAM. Recently, a variety of graph-based SLAM algorithms has been introduced that optimizes a robot’s full trajectory. Many three-dimensional (3D) SLAM algorithms support six degree-of-freedom (DOF) pose optimization; therefore, the SLAM technique has been employed for various platforms such as quadrotors and underwater robots. However, the SLAM technique is assumed to only be applicable to static environments, and there are many problems that have dynamic environments.
Recently, the robotics and computer vision communities have focused on 3D SLAM techniques using a red-green-blue depth (RGB-D) camera that give a color image and per-pixel depth data. In this study, I propose an RGB-D 3D SLAM system with a processing rate of over 20 Hz using a graphic processing unit (GPU) to accelerate the operation speed of the system. First, image features are extracted from the RGB-D input data. These features are used for 6-DOF visual odometry estimation and as constraints with previous robot poses. A feature manager gathers all of the features from the previous frames. The current and preceding features are compared to match the current frame to a past trajectory of the robot. The full trajectory of the robot is formed by a constraint graph using visual odometry estimation and loop closure detection. After the constraint graph is optimized by the online graph optimization algorithm, the corrected trajectory and 3D map are obtained.
The problem of finding the correspondence between images from different views is an important issue for the RGB-D 3D SLAM system. This study presents a novel feature detection algorithm called depth hybrid speeded-up robust features (DH-SURF), which augments the speeded-up robust features (SURF) algorithm with per-pixel depth information. In conventional algorithms, scale groups can be used to find keypoints in a variety of scale spaces by multiple doubling of the standard deviation of Gaussian kernels. However, DH-SURF simply applies a different deviation to each image pixel according to the per-pixel depth data. The proposed method maintains the scale-invariant property while reducing the computation time.
In dynamic environments, changes cause groups of false loop closing when the same moved objects are observed for a while, which means that conventional SLAM algorithms produce incorrect results. To address this problem, I propose a novel SLAM method that handles dynamic environments. First, to prune the falsely grouped constraints efficiently, nodes of the graph that represent robot poses are grouped according to rules with noise covariances. Next, false constraints of the pose graph are pruned according to an error metric based on the grouped nodes. The pose graph structure is reoptimized after the false information is eliminated, and the corrected localization and mapping results are obtained.
지난 십 수년간 위치 인식과 지도 생성을 동시에 수행하는 SLAM (Simultaneous Localization and Mapping) 알고리즘에 대한 많은 연구가 진행됐다. 초기 SLAM 연구들은 2차원 공간에서의 로봇의 움직임에 집중되었고, EKF (Extended Kalman Filter)-SLAM 등과 같은 베이지안 필터 (Bayesian filter) 기반의 알고리즘이 많이 사용되었다. 최근 SLAM 기술 영역에서는 로봇의 전체 경로 궤적을 최적화시키는 그래프 기반의 SLAM 알고리즘에 대한 연구가 활발히 진행되고 있다. 이와 더불어 3차원 공간에서의 6자유도 움직임을 고려한 연구도 활발히 진행 중이며, 이는 비행 및 수중 로봇 등에 적용되고 있다. 하지만 대부분의 SLAM 연구는 정적인 환경을 가정하였으며, 동적 환경에서의 문제는 여전히 남아 있다.
최근 2D 이미지 및 각 이미지 픽셀에 대한 거리 정보를 제공하는 RGB-D (Red-Green-Blue Depth) 센서를 이용한 3차원 SLAM이 많이 연구되고 있다. 본 연구에서는 GPU (Graphic Processing Unit)를 이용한 병렬연산을 통해 3차원 SLAM 알고리즘을 가속화 하여 초당 20프레임 이상의 처리 속도를 가지는 RGB-D 3차원 SLAM 알고리즘을 제안한다. 먼저, 입력 받은 RGB-D 정보로부터 이미지 특징점을 추출한다. 추출된 특징점들은 비주얼 오도메트리 (visual odometry) 및 과거 로봇이 존재했던 위치와의 관련성을 확인하는 과정에 사용된다. 로봇의 6 자유도 정보는 노드 (node) 형태로 저장되며, 각 노드에서 얻어진 특징점 정보는 특징점 관리자에 의해 멀리 떨어진 노드들 사이의 구속 조건을 형성하는 데 활용된다. 이를 루프 클로저 탐지 (loop closure detection)라 한다. 이러한 과정을 통해 로봇의 위치에 대한 그래프 형태가 만들어지며, 그래프 최적화 알고리즘을 이용, 로봇의 전체 궤적을 보정한다.
RGB-D 3차원 SLAM 알고리즘에서 루프 클로저 탐지를 위해 이미지 특징점을 사용하게 되며, 본 연구에서는 거리 정보와의 융합을 통한 효율적인 이미지 특징점 추출 알고리즘인 DH-SURF (Depth Hybrid Speeded-Up Robust Features) 방식을 제안한다. 영상 특징점 추출에서 크기 변화에 대한 강인성을 위해 기존 알고리즘에서는 다양한 분산 값을 가지는 다수의 가우시안 커널 (Gaussian kernel) 연산이 이용된다. 하지만 DH-SURF 알고리즘에서는 영상의 각 픽셀에 대응되는 거리 정보를 이용하여, 기대되는 특징점의 크기에 따라 적절한 가우시안 분산 값이 적용된다. 제안된 알고리즘은 크기 변화에 강인하면서도 연산의 효율성이 높은 특징을 보여준다.
동적 환경에서는 기존 환경에서 추출된 여러 특징점 정보들의 위치가 바뀌는 상황이 발생하며, 결국 잘못된 위치 추정 및 지도 생성결과를 가져온다. 이를 해결하고자 본 논문에서는 그래프 SLAM 알고리즘 기반에서 동적 상황으로 인해 발생한 잘못된 루프 클로저 정보의 필터링 알고리즘 제안한다. 전방의 물체를 주시하는 센서는 동일 물체를 한동안 바라보게 된다. 이러한 동일 물체를 연속적으로 바라보는 공통된 노드들을 하나로 묶어 그룹을 형성한다. 노드 그룹 간의 오차를 정의한 후, 그룹 사이의 관계를 통해 잘못 형성된 구속 조건을 찾아낸다. 잘못된 구속 정보의 제거를 통해 최종적으로 올바르게 보정된 로봇 궤적 및 지도 정보를 얻을 수 있다.
