In this thesis, we present novel sequential Bayesian filtering approaches that enable environment modeling, environment perception and object-level recognition for autonomous robots using sequential visual measurements.
For environment modeling, we propose a novel Bayesian filtering approach for key-frame-based visual SLAM with the motion-estimation-based process model. First, to ensure that the process and the measurement noise are independent (they are actually dependent in the case of a single sensor), we explicitly divide observations (i.e., image features) into two categories, common features consistently observed in the consecutive key-frame images and new features newly detected in the current key-frame image. Then two sets of image features are used for process and measurement models, separately. In addition, we formulate a novel Bayesian filtering framework for key-frame-based SLAM in order to solve the scalability problem and to improve the filter consistency. We demonstrate the performance of the proposed method in terms of the consistency of the global map and the accuracy of the estimated path.
For environment perception, we present an efficient scene recognition scheme to localize a robot from the previously constructed map. For global localization, establishing accurate correspondences between current observations and the given map is required. Thus we present an efficient technique for determining feature correspondences from a lot of database images under scale and illumination changes. For this purpose, we introduce a
scale optimization method to enhance the matching performance with the combination of the FAST detector and integral image-based SIFT descriptors that are computationally efficient. Then we present a particle-filter-based localization framework with decoupled visual measurements for process and measurement models.
During robot navigation, the robots are required to automatically classify the moving objects from image sequences. For this purpose, we proposed a new object detection method by using hierarchical graph-based segmentation to improve the detection accuracy. Then we present object tracking algorithm that effectively overcomes the problems related to deformation, illumination changes as well as partial occlusion. For this purpose, we formulate an adaptive Rao-Blackwellized particle filtering method with Gaussian mixture models. By modeling target appearance as Gaussian mixture models, we introduce an efficient method for computing particle weights. Finally, we propose a robust tracking approach by building a new posterior distribution model from multiple independent
estimates of a target state obtained from various trackers and detectors. For each candidate of the target state, we compute a confidence score based on its spatial consistency with other estimates and photometric similarities with target models by using a spectral clustering scheme. Then we demonstrate the tracking performance through
well-known video sequences.
본 논문에서는 순차적인 시각 관측치를 이용하여 자율로봇을 위한 환경 모델링 및 인지, 그리고 물체 인식을 가능하게 하는 베이시안 필터링을 제안한다.
환경 모델링을 위해서, 움직임 추정 기반의 프로세스 모델을 이용한 키프레임 기반의 비쥬얼 슬램 (Visual SLAM)을 위한 새로운 베이시안 필터링을 제안한다. 먼저 프로세스 노이즈와 관측치 노이즈 사이에 독립성을 보장하기 위해서 관측치를 키프레임 영상들 사이에 일관적으로 관측되는 특징점과 현재 키프레임에서 검출된 새로운 특징점, 두 부류로 나눈다. 더불어, 확장성 (Scalability) 문제와 필터의 일관성 (Consistency) 문제를 해결하기 위해서 새로운 베이시안 필터링 프레임웍을 제안한다. 지도의 일관성과 추정된 경로의 정확성으로 부터 제안된 방법의 성능을 검증한다.
환경 인지를 위해서, 우리는 이전에 만들어진 지도로 부터 로봇의 위치를 추정하기 위한 효과적인 장면 인식 기술을 제안한다. 전역 위치 추정을 위해서 주어진 지도와 현재 관측치 사이의 정확한 대응관계를 계산하는 것이 요구된다. 그러므로, 많은 수의 데이터베이스 영상들로 부터 시점 및 조명 변화에서 대응점들을 계산하는 효과적인 방법을 제안한다. 이를 위해서, 계산이 효과적인 FAST 검출기와 적분 영상 기반의 SIFT 서술자를 결합하고, 정합 성능을 향상시키기 위해서 크기 최적화 방법을 제안한다. 그리고, 프로세스 모델과 관측치 모델을 위해 구별된 시각 관측치를 이용한 입자 필터 기반의 위치 추정 프레임웍을 제안한다.
주행하는 동안 로봇은 영상 시퀀스로 부터 움직이는 물체를 자동적으로 구별하는 능력이 요구된다. 이를 위해 계측적 그래프 기반의 분할 방법을 이용하여 새로운 물체 검출 방법을 제안한다. 그리고 기존의 변형, 조명 변화 그리고 부분적인 가려짐 문제를 효과적으로 극복할 수 있는 추적 알고리즘 제안한다. 이를 위해서 가우시안 혼합 모델 (Gaussian Mixture Model) 을 이용한 Rao-Blackwellized 입자 필터를 제안한다. 추적 물체의 외형을 가우시안 혼합 모델로 표현할 경우, 입자들의 가중치를 계산하는 방법을 제안한다. 마지막으로 다양한 추적기와 검출기로 부터 획득한 독립적 추정치들로 부터 새롭게 후부분포 (Posterior Distribution)를 계산하여 강인하게 추적하는 벙법을 제안한다. 각 추정치들의 공간적인 일치성과 외형 모델과의 유사성을 바탕으로 신뢰도를 측정하기 위해서 클러스터링 방법을 이용한다. 그리고 잘 알려진 비디오 시퀀스에 대해서 추적 성능을 검증한다.
