This thesis addresses the issues of the vision-based simultaneous localization, mapping and moving objects tracking problems under dynamic environments.
SLAM is of prime importance for autonomous robot navigation.
The robot typically starts at an unknown location with no priori knowledge of landmark locations.
From relative observations of landmarks, it simultaneously computes an estimate of robot locations and an estimate of landmark locations.
While continuing in motion, the robot builds a complete map of landmarks and uses these to provide continuous estimates of the robot location.
Visual SLAM uses only cameras to build up a map of the environment and to estimate the robot location.
For over a last decade, many visual SLAM approaches using various types of camera (e.g. monocular camera, stereo camera and omni-directional camera) have been shown remarkable results in both indoor and outdoor environments.
However, since general visual SLAM approaches have assumed that the environment is static, the critical problems of visual SLAM under dynamic environments still remain as follows:
First, motion estimation becomes inaccurate because of measurement errors.
Second, motion estimation becomes also inaccurate in dynamic environment because image features of moving objects yield wrong motion estimation.
And third, data-association (finding correspondences between map landmarks and robot sensor measurements) becomes challenging because there are lots of map landmarks to store in robot`s database.
For the first problem, we propose robust ego-motion estimation by using the data-driven MCMC sampling method.
Visual odometry prior has been widely used for the process model involved in the SLAM formulation and it improves the
SLAM performance. However, modeling the uncertainties of incremental motions estimated by visual odometry is especially difficult under challenging conditions, such as erratic motion.
For the particle-based model representation, it can represent the uncertainty of the camera motion well under erratic motion compared to the constant velocity model or a Gaussian model, but how to represent the proposal distribution and how to sample the particles are extremely important, since we can maintain the limited number of particles in the high-dimensional space.
Therefore we propose an effective sampling approach by exploiting MCMC sampling and the data-driven proposal distribution to propagate the particles.
For the second problem, we present a visual SLAM and tracking approach under dynamic environments.
General vision based SLAM approach works well in the static environments because motion estimation from static landmarks is quite accurate.
However estimates of landmarks in moving objects corrupt the motion estimation, so SLAM does not work.
In our proposed approach, by tracking moving objects and simultaneously estimating motion with features from static landmarks, motion estimation is more accurate and also SLAM performance can be easily improved.
Recursively, this SLAM result improves tracking performance as well.
For the third problem, we present a vision-based metric topological approach.
We modified metric topological SLAM (MT SLAM) for visual sensors by proposing a graphical model that estimates the hybrid robot pose and the map by using Bayesian filtering.
Since Metric SLAM is a problem of simultaneously estimating the robot poses and building up a global map in the metric space while Topological mapping is a problem of estimating the connectivity between nodes of the graph,
MT SLAM is useful in that it can effectively reduce the accumulated errors involved in metric SLAM owing to topological mapping.
Moreover, the proposed on-line image-to-map matching algorithm improves the performance of loop detection and large-scale data-association.
In addition, by using SLAM approach, we propose a robust locking on a ground target and estimating the pose of an unmanned aerial vehicle (UAV) under dynamic environments.
Since lock-on and localization problems are strongly related to each other, the accurate estimation of one can assist to solve another problem.
The proposed framework is composed of a two-stage filtering process, a Kalman filtering (KF) for sensor fusion on the basis of sensor reliability and an unscented Kalman filtering (UKF) for lock-on and SLAM.
지난 20여년간 동시 위치 추정 및 지도 작성(SLAM)을 위한 알고리즘은 수많이 연구되어 왔으며 이론적으로 확립단계에 이르렀다고 해도 과언이 아니다. 더욱이 10여년 전부터 영상만을 이용한 SLAM알고리즘도 많이 제안되었으며 이 문제 역시 풀렸다고 표현할수 있다. 하지만 대부분의 성공적인 영상기반 SLAM기술은 정적인 환경을 가정하였으며 실제 동적인 환경에서 해결해야할 문제는 남아있다. 동적환경하에서 발생할수 있는 여러 문제중에서 본 학위 논문에서는 영상 기반 움직임 추정에 초점을 두고 그 해결방안을 제안한다.
먼저 실제 로봇에서 발생할수 있는 문제는 무작위로 움직이는 카메라의 움직임으로 인해 영상 특징점들의 노이즈가 증가되어 위치 추정이 부정확해지는 것이다. 이를 효과적으로 추정하기 위해 파티클을 이용하여 카메라 움직임을 모델링한후 여기에 MCMC 샘플링 기법을 적용하여
적은 수의 샘플을 가지고도 기존 방법론 보다 좀더 정확히 움직이는 추정하는 기법을 제안하였다. 이 움직임 추정 기법을 기반으로 다음으로는 동적인 환경하에서 입력받은 카메라 영상으로 부터 위치를 추정하고 동적인 물체를 검출함으로써 정적인 환경에 존재하는 특징점을 이용하여 움직임을 추정하고자 하였다. 움직이는 카메라에서 상대적인 움직임값으로 동적인 물체를 검출하는 방법은 상당히 밀접한 관계에 있으며 이를 효과적으로 추정하기 위해 확률기반의 자세 추정과 동적임 물체 검출 방법론을 제안하였다. 더 나아가 좀더 넓은 공간에서 영상 기반 SLAM 문제를 풀기위하여 로봇이 움직이면서 작성되는 지도를 작은 지도(submap)으로 나눈 뒤 작은 지도안에 존재하는 랜드마크의 정보를 이용하여 현재 입력되는 영상과 매칭을 통해 loop(지도로 만들어진 위치에 재방문하는 것을 일컫음.)이 발생하였을 경우 loop closing (loop이 발견된 위치를 처음 지도가 만들어진 위치로 옮기면서 전체 지도를 재작성하는 방법을 일컫음.)을 통하여 누적오차를 줄이는 방법을 제안하였다. 마지막으로 영상기반 SLAM을 응용하여 방해공작이 많은 환경하에서 무인항공기가 강인하게 고정 표적을 지향하는 방법론을 제안하였다. 지상상에 존재하는 고정 표적과 그외에 존재하는 랜드마크를 SLAM 프레임에 넣어 가용한 센서(GPS, 표적 CAD모델) 정보가 들어올때 필터링을 통해 무인항공기의 위치를 추정하고 동시에 표적의 위치를 추정함으로서 상대적인 거리와 방향을 이용하여 표적을 지향하였다. 이를 통해 가려짐같은 방해공작이 존재하여도 강인하게 표적을 지향할수 있게되었다.
