Finding correspondence points is a fundamental problem in robot vision applications such as object recognition, 3D reconstruction, and camera motion estimation. There are many problems to be solved. One of the typical problems is finding correspondence points under scale, rotation, illumination, and viewpoint changes between two images. Many proposed local descriptors such as SIFT and SURF descriptor have showed good performance under rotation, scale, viewpoint, illumination changes conditions.
In sequence image based applications such as camera motion estimation, object tracking, and visual SLAM and etc, a descriptor that is invariant to large scale or rotation changes is not essential. Since, these appli-cations find correspondence points with small scale or rotation changes. In sequence image based vision applications, the most important properties of the descriptor are its distinctiveness for only small rotation and scale changes and low computation complexity.
This dissertation focus on a novel descriptor that is suitable for sequence image based vision applications. We present a novel descriptor that requires low computational complexity and offers high precision. The proposed descriptor achieves a high recognition rate through the use of multi-scale information instead of single-scale, as combing the each scale descriptor leads to improve the representation of characteristics of interest points. The proposed descriptor provides high robustness but slow to compute and match because of its multiple descriptors. In order to reduce computational complxity of multiple descriptors, the proposed descriptor is calculated by employing 4 global integral images and an intensity gradient. We also propose 2-stage cascade matching method to find correspondence points more efficiently. We evaluate the proposed descriptor in comparison with different types of descriptors using benchmark datasets in the chapter 3. The results show that the proposed descriptor provides good performance over previous methods in terms of processing time and recognition rate under small rotation and scale changes.
For the purpose of demonstrating the usefulness of Multi-scale descriptor, we apply the proposed de-scriptor to two different types of visual odometry which are definitely different experiment environments such as stereo visual odometry in the large-scale outdoor (Application I, chapter 4) and RGB-D camera motion estimation in the dynamic indoor (Application II, chapter 5). The proposed descriptor is evaluated with the state-of-art descriptors using benchmark datasets. The results show that the proposed descriptor based motion estimation provides good performance over previous methods in terms of processing time and precision of estimated camera motion. The obtained results indicate that Multi-scale descriptor is suitable for sequence image based applications where accuracy of the motion estimation and computation time is vital
두 영상간에 대응점을 찾는 것은 물체 인식, 3차원 환경 복원, 카메라 모션 추정 등 로봇 비전 분야에서 기본적인 문제이다. 기존에는 두 영상간에 큰 회전, 크기 변화에 강인한 표현자에 대한 연구가 많이 이루어 졌으며, 시프트(SIFT)와 서프(SURF) 표현자는 이런 환경에서 좋은 성능을 나타내었다. 하지만 연속적인 영상간에 대응점을 찾는 카메라 모션 추정, 비주얼 오도메트리 등의 응용 분야에서는 두 영상에 크기, 회전 변화가 크지 않기 때문에 적은 크기, 회전에 강인하며 연산이 효율적인 표현자가 필요하다. 그래서 본 논문에서는 연속적인 영상에 적합한 표현자에 대하여 제안을 한다.
본 논문에서는 연속적인 영상 기반 비전 응용에 적합한 표현자를 위해 기존의 방법에 비하여 높은 대응점 인식률을 가지며 연산이 효율적인 다중 스케일 표현자 (multi-scale de-scriptor)를 제안한다. 높은 대응점 인식률을 위하여 다중 스케일 표현자는 관심 점을 서로 다른 스케일에서 표현을 한다. 다중 스케일로 관심 점을 표현하면 관심 점을 중심으로 스케일이 다른 서브 리즌(sub-region)이 집중적으로 분포를 하여 관심 점을 더 효과적으로 표현이 가능하여 높은 대응점 인식률을 가질 수 있다. 하지만 다중 스케일 표현자는 한 개의 관심 점에 대하여 여러 개의 표현자를 생성하여야 해서 다중 스케일 생성 시간 및 대응점을 찾는 매칭 시간이 많이 걸린다는 문제가 있다.
연산의 효율성을 위하여 다중 스케일 표현자는 글러벌 인테그랄 이미지 (Global integral image)와 인텐시티 그레디언트(intensity gradient)를 이용하여 다중 스케일 표현자를 생성한다. 다중 스케일 표현자는 관심 점을 중심으로 여러 스케일의 서브-리즌(sub-region)이 중첩되어 중복되는 연산이 많다. 본 논문에서는 글러벌 인테그랄 이미지를 사용하여 반복적인 연산 없이 단순 3번의 연산만으로 서브-리즌의 그레디언트 합을 구할 수 있어 효율적으로 다중 스케일 표현자를 생성한다. 그리고 서프(SURF)의 경우에 스케일을 고려한 그레디언트 정보를 얻기 위하여 할 웨이브렛 리스폰스 (Haar Wavelet response)을 사용하였지만 연속적인 영상 기반 비전 응용에서는 대응점간에 크기 변화가 크지 않아서 인텐시티 그레디언트 정보를 이용하여 표현자를 생성하여 다중 스케일 표현자의 연산 효율을 향상 시킨다.
다중 스케일 표현자는 대응점을 찾을 때 서로 다른 스케일의 표현자 3개를 비교하여야 해서 매칭 시간이 많이 걸리는 문제가 있다. 이런 문제를 해결하기 위하여 본 논문에서는 2-스테이지-캐스케이드 매칭 (2-stage cascade matching) 방법을 제안하였다. 첫번째 스테이지에서 한 개의 스케일에 대하여 트리 구조의 매칭을 하여 유사성이 있는 대응점을 빠르게 찾아내고, 이후 스테이지에서 3개의 표현자를 비교하여 대응점의 정밀도를 향상 시켰다.
본 논문에서 제안하는 표현자의 성능을 기존에 널리 이용이 되는 표현자와 비교하기 위하여 표현자 평가에 널리 사용이 되는 데이터셋을 이용하여 제안하는 표현자를 평가하였다. 실험을 통하여 널리 이용이 되는 표현자보다 대응점의 정확도가 높으며 표현자를 생성하여 대응점을 찾는 연산 효율이 기존의 방법보다 향상된 것을 보였다.
다중 스케일 표현자의 유용성을 보이기 위하여 본 논문에서는 2개의 서로 다른 환경에서 카메라 모션 알고리즘을 수행하여 기존의 표현자와 제안하는 표현자간의 정확도를 비교하였다. 첫번째 실험은 큰 야외 환경에서 차량에 부착된 카메라의 모션을 추정하는 비주얼 오도메트리이며 두번째 실험은 카메라가 급격하게 움직이는 실내 환경에서 카메라의 모션을 추정하는 실험이다. 두 가지 실험에서 제안하는 다중 스케일 표현자 기반 카메라 모션 추정 알고리즘은 기존의 방법에 비하여 빠르게 모션을 추정하면서 추정된 카메라의 모션이 더 정확한 것을 보였다.
