This thesis explores various methods to solve the problem of simultaneous localization and mapping(SLAM) in dynamic environments using vision sensors. Most of SLAM algorithms assume that the observed features or landmarks are in a stationary state without movement. However, in the real environment, there are various dynamic objects, such as dynamic objects like people and cars, and temporary static objects which are static during observation but move when they are out of sight, triggering false positive loop closings. In particular, vision sensors typically have a narrow field of view and have inaccurate distance information. Therefore, it is more affected by dynamic objects. In order to deal with dynamic and temporarily static objects, a method that can solve those problems from the perspective of local and global optimization of SLAM is required. Therefore, this thesis is mainly composed of the method for the local optimization method to deal with dynamic objects and the method for the global optimization to deal with static objects. The first part of this thesis deals with the method of dealing with dynamic objects in local optimization. In general, sensor systems usually used in real environments include not only vision sensors but also wheel odometry or inertial sensors. These auxiliary sensors have the characteristic of being stable for short travel distances and are not affected by the change of the feature point by a moving object. In order to reflect the information of those sensors, the sensor data obtained in the local window are grouped first. The first method proposed in this part is a local optimization method using an RGB-D sensor and wheel odometry. Sensor data(nodes) observing the same scene are grouped through feature point tracking. Then, feature matchings are performed within the group. Among these matches, matches derived from a dynamic object are pruned by the Mahalanobis distance with respect to the wheel odometry, and only the matches from a static object are retained and used for local optimization. Through this method, robust and accurate local localization and mapping can be done. Second, a local optimization method using a vision sensor and an inertial sensor is proposed. In the sliding window of the visual-inertial algorithm, weights are given to each feature point. Then, the regularization factor that determines whether the feature point is dynamic and the momentum factor for consistency by reflecting tracking information are added to eliminate the influence of the dynamic features. Finally, the method using Graduated Non-Convexity instead of the two factors is proposed to achieve the real-time performance of the robust visual inertial algorithm. Since local optimization was performed in the previous part, the second part of this thesis deals with the methods that can deal with temporarily static objects during global optimization using locally optimized trajectory and mapping information. As a first method, feature matching between groups, not nodes, is performed to shorten the time by reducing the number of trials of matches. Constraints from the matched results are grouped according to the displacement of the group's reference node, and the groups of these constraints called hypotheses are pruned using the Mahalanobis distance or removed by using a regularization factor during optimization. Finally, this thesis is concluded by analyzing the limitations of the proposed methods and suggesting future research directions to solve them.
본 학위논문은 비전 센서를 활용한 동적 환경에서의 위치 인식 및 지도 작성 (SLAM) 문제를 해결하기 위한 다양한 방법에 대해 탐구한다. 대부분의 SLAM 알고리즘에서는 관측하는 특징점 (feature, landmark)이 움직임이 없는 정적 (static) 상태라고 가정한다. 하지만 실제 환경에는 사람, 자동차 등의 동적 물체(dynamic object)와 관측 당시에는 정적이였으나 재관측시 위치가 바뀐 임시 정적 물체 (temporarily static object) 등 다양한 동적 물체가 존재한다. 특히 비전 센서는 좁은 화각이나, 거리 정보를 명확하게 알지 못한다는 단점이 있어 동적 물체에 더욱 크게 영향을 받기 때문에 배달, 물류 및 자율주행 등 실환경에 활용하기 위해서는 동적 물체에 대응할 수 있는 방안이 필수적이다. 이러한 물체들에 대응하기 위해서는 SLAM의 국소 및 전역 최적화의 관점에서 각각 대응할 수 있는 방법이 필요하다. 따라서 본 학위논문은 크게 국소 최적화에서의 동적 물체 대응 방법과 전역 최적화에서의 임시 정적 물체 대응 방법으로 구성된다. 본 학위논문의 첫 파트에서는 국소 최적화 시의 동적 물체에 대응하는 방법을 다룬다. 일반적으로 실제 환경에 사용되는 센서 시스템들은 비전 센서 뿐만이 아닌 휠 오도메트리나 관성 센서 등을 함께 포함하고 있다. 이러한 보조 센서들은 국소적인 위치인식에 안정적이라는 특징을 가지고 있으며, 움직이는 물체에 의한 특징점 변화에 영향을 받지 않는다. 따라서 그러한 정보를 활용하기 위해 국소 범위에서 얻은 센서 데이터를 그룹화 하여 활용한다.첫 번째로 RGB-D 센서와 휠 오도메트리를 활용한 국소 최적화 방법을 제안하였다. 비전 데이터에서 특징점 추적을 통해 같은 장면을 보는 동안의 센서 데이터 (Node)를 그룹화 하고, 그룹 내부에서 특징점 매칭을 수행하였다. 이러한 매칭 결과들 중 동적 물체에서 유래한 정보를 휠 오도메트리와의 마할라노비스 거리 (Mahalanobis distance)로 가지치기 (Pruning)하고, 정적 물체에서 유래한 매칭 결과만을 국소 최적화에 사용함으로써, 정밀한 국소 위치 인식 및 지도 제작을 가능하게 하였다. 두 번째로는 비전 센서와 관성 센서를 활용한 국소 최적화 방법을 제안하였다. 비전-관성 위치 추정 알고리즘의 슬라이딩 윈도우 내에서 각 특징점들에 가중치를 부여하고, 특징점의 동적 여부를 판별하는 정규화 팩터와 추적 특성을 반영하여 변동성을 줄인 모멘텀 펙터를 추가하여 동적 물체에서 유래한 특징점에 의한 영향을 제거할 수 있도록 하였다. 마지막으로, 팩터들 대신 강건한 커널 형식을 사용하여 두 번째 파트에서 제안한 방법의 속도 등의 단점을 보완하였다. 앞서의 파트에서 국소 최적화를 수행하였으므로, 본 학위논문의 두 번째 파트에서는 국소 최적화 된 위치 및 지도 정보를 활용하여 전역 최적화 시 임시 정적 물체에 대응할 수 있는 방법에 대해 다룬다. 먼저, 앞서 그룹화된 노드를 바탕으로 그룹 간 피쳐 매칭을 수행하여, 기존 방법보다 매칭 횟수를 줄여 시간을 단축하도록 하였다. 매칭 된 결과인 제약조건 (constraint)을 매칭 된 그룹의 기준 노드에 대한 변위의 차이에 따라 묶고, 이러한 제약조건의 그룹 (hypothesis)들을 마할라노비스 거리로 가지치기 하거나, 정규화 팩터를 활용하여 최적화 시 영향을 제거할 수 있도록 하였다. 마지막으로, 제안한 방법들의 한계점, 그리고 이를 해결하기 위한 추후 연구 방안에 대해 분석 및 제안하며 본 학위논문을 마무리한다.
