Local invariant feature may be the most efficient method for finding correspondences of image patches. Feature detects regions called keypoint in an image, then encode information of a local neighbor of the keypoint into a vector called descriptor. Correspondences of detected keypoints in two or several images could be found by comparing similarities of descriptors. Correspondences of image regions are very basic and core information for various computer vision techniques, such as image retrieval, object recognition, motion estimation, 3D reconstruction, and SLAM (Simultaneous Localization and Mapping). As a basic element technology, local invariant feature needs to have high performance in terms of the precision and the computational efficiency. In this dissertation, we present a fast and robust local invariant feature using intensity rank order.
First, we introduce a fast and robust method to detect blob-like structures. For that, we approximate the determinant of the Hessian matrix, which is known as the blob measure, by a small number of pixels; then compute those on a pyramid scale space built without smoothing. Moreover, we apply CPU-based parallel processing, SIMD (Single Instruction Multiple Data) in order to speed up the keypiont detection without additional requirement of hardware resources.
Second, we present a floating-point descriptor which is based on intensity rank orders. Intensities have enough distinctiveness, however it could not be used as descriptors directly due to the lack of the robustness for brightness changes. We reinforce the robustness of the intensity by a rank-order normalization. The computational requirement for intensity rank orders is reduced by using the histogram equalization instead of sorting algorithms.
Finally, we propose an intensity-rank-order-based binary descriptor. A previous intensity-rank-order-based binary descriptor shows poor recognition rates and high computational complexity. Fixed threshold for intensity rank orders on a rotation-normalized image patch causes poor recognition rates. The proposed binary descriptor resolves the recognition problem by adaptive binning, and has lower computational complexity than intensity-difference-based binary descriptors due to the histogram equalization and the lookup table.
We evaluated the performance of the proposed local invariant features extensively using the publicly available evaluation toolkits and databases. The experiment results of the proposed methods are compared to those of state-of-the-art methods, and show high performance. Real image sequences, which are captured under various image acquisition conditions, and synthetic image sequences, which are generated by finer-level deformations, are used to evaluate the features. Features are compared in terms of the repeatability for detection, and the recall and precision for matching. In order to analyze the computational complexity of each part of the feature, we compared the timings of the detection, the description, and the direction respectively. Moreover, we applied the proposed method to recognition tests to prove the usefulness of the proposed method.
지역 불변 특징량은 영상 내 소영역 간의 정합 관계를 찾는 가장 효율적인 방법이다. 특징량은 영상에서 키포인트라 불리는 소영역을 검출한 후, 기술자라 불리는 벡터로 키포인트 주변 영상 정보를 부호화 한다. 두 장 또는 여러 장에서 검출된 키포인트들의 정합 관계는 기술자 유사도를 비교하여 찾아낼 수 있다. 이렇게 얻을 수 있는 영상 내 소영역 간의 정합 관계는 물체 인식, 영상 검색, 움직임 추정, 3차원 복원, 동시적 위치 추정 및 지도 작성과 같은 다양한 컴퓨터 비전 기술들에 매우 기초적이면서도 핵심적인 정보로 이용된다. 많은 응용들에 활용되는 기본적인 요소 기술로서 지역 불변 특징량은 정확도와 연산 효율성 면에서 높은 고성능이 요구 된다. 본 논문에서 우리는 밝기 순위를 이용한 고속 강인 지역 불변 특징량을 제안한다.
첫번째로 블랍 영역을 안정적이고 고속으로 검출하는 방법을 소개 한다. 이를 위해 블랍 측정치로 알려진 헤시안 행렬의 행렬식을 매우 적은 수의 픽셀을 이용하여 근사화 한다. 그리고 평활화 없이 구성된 피라미드 크기 공간에서 근사화된 측정치를 계산한다. 또한 중앙 처리 장치 기반 병렬 처리를 적용하여 별도의 하드웨어 추가 없이 키포인트 검출 속도를 향상 한다.
두번째로 밝기값 순위에 기반하여 실수형 기술자를 만드는 방법을 제시한다. 밝기값은 높은 구별성을 갖고 있지만 밝기 변화에 대해 강인성이 부족하여 기술자로는 바로 사용할 수 없다. 우리는 순위 기반 정규화를 이용하여 밝기값에 부족한 강인성을 보강할 수 있음을 보인다. 이때 정렬 알고리즘 대신 히스토그램 평활화를 이용하여 밝기값 순위 계산 복잡도를 낮춘다.
마지막으로 밝기값 순위에 기반한 이진 기술자를 제안한다. 기존에 제안된 밝기값 순위에 기반한 이진 기술자는 문턱화를 이용하였는데 인식 성능과 속도 면에서 밝기값 비교에 기반한 방법들에 비해 낮은 성능을 보인다. 낮은 인식 성능은 방향 정규화된 영상 패치에서 얻은 밝기 순위를 고정된 문턱치를 이용하여 이진화 하기 때문이다. 우리는 적응적 구간 분할을 이용한 이진화를 통해 이 문제를 해결한다. 또한 제안된 방법은 히스토그램 평활화와 룩업 테이블을 이용하여 밝기값 비교 기반 방법들 보다 적은 연산량을 갖는다.
제안된 특징량들은 널리 사용되는 공개 평가 툴킷과 데이터베이스를 이용하여 평가하였다. 제안된 방법은 기존의 검증된 기술들과 함께 비교되었고 높은 성능을 갖는 것으로 평가되었다. 실험에는 다양한 기하학적, 광학적 조건에서 획득된 영상 시퀀스와 단계별로 변화 정도를 조절한 합성 영상들이 이용 되었다. 반복성 검증을 통해 검출 성능을 분석하고 재현율과 정확도를 통해 정합 성능을 비교하였다. 특징량 각 부분의 연산량을 분석하기 위해 키포인트의 검출과 기술자의 계산 그리고 고유 방향 계산의 시간을 개별적으로 비교하였다. 또한 물체 인식과 장소 인식에 제안한 기법을 실제로 적용하여 우수한 성능을 보임으로써 제안 기법의 실효성을 보였다.
