Finding correspondences across images is the essence of many computer vision problems such as object tracking and recognition, camera-pose estimation, and 3D scene-structure reconstruction. What makes the correspondence problem difficult is repeated local scene structure and texture, which are the main sources of ambiguity when using local observation. In this thesis, we aim at finding feature correspondences across images under significant geometric and photometric changes, in the presence of such sources of ambiguity.
We propose two kinds of approaches using local and global constraints respectively. In the first approach using local constraints, we formulate feature matching as a global optimization problem. We propose a viewpoint-adaptive objective function based on local pairwise constraints requiring local affine transformations to be well preserved across feature correspondences. We also propose an optimization algorithm that not only maximizes the objective function but also enforces one-to-one correspondence constraints. Through experiments involving various kinds of image pairs, we show that the proposed objective function is effective for reducing ambiguity under geometric and photometric changes between images, in contrast to previous objective functions that aim at preserving across images the distance or orientation between features. We also show that the proposed optimization algorithm better maximizes the objective function than a state-of-the-art algorithm.
In the second approach using global constraints, we represent a global image-to-image transformation with multiple homographies and their associated statistical values, in order to deal with local deformations. We propose an expectation maximization algorithm for learning the global transformation; we detect and create feature correspondences using a learned global transformation. This second approach is combined with the first approach, maximizing correct correspondences and minimizing false correspondences. This combined approach is applied to matching and tracking corner points in stereo image sequences, leading to improved results compared to those of a local-observation based matching method.
Finally, the optimization algorithm of the first approach is generalized and applied to matching across images dense triangular regions connecting three neighboring feature points. The matching result is used not only for verifying feature correspondences but also for recognizing objects in cluttered environments, leading to much improved success rate compared to that of state-of-the-art methods.
영상 간의 대응을 찾는 문제는 물체의 추적 및 인식, 카메라 자세 추정 및 3차원 구조 복원 등의 기본이 되는 중요한 문제이다. 하지만, 영상에 반복적인 구조나 텍스처가 존재하는 경우, 지역적인 형태 및 컬러 비교만으로 대응 쌍을 결정하기에는 모호성이 존재한다. 이 논문에서는 반복된 구조나 텍스처가 존재할 뿐만 아니라 기하학적 변화와 광학적 변화가 있는 영상 쌍에서 특징 (feature) 대응 쌍을 찾는 것을 목적으로 하였다.
우리는 지역 제약조건과 전역 제약조건에 기반한 두 종류의 방법을 제안하였다. 지역 제약 조건에 기반한 첫 번째 방법에서는 특징 정합의 문제를 전역 최적화 문제로 모사하였고, 특징 대응 쌍 간의 지역 어파인 (affine) 변환을 유지시키기 위한 시점 적응적 목적함수를 제안하였다. 또한, 제안된 목적함수를 최대화시킬 뿐만 아니라, 목적함수를 최대화 시키는 대응 쌍들이 일대일 대응을 만족시키도록 제약하는 최적화 알고리즘도 제안하였다. 다양한 종류의 영상 쌍을 이용한 실험을 통해서, 제안된 목적 함수는 기존에 제안된 특정점 사이의 거리 또는 방향을 유지시키기 위한 목적 함수와 다르게, 기하학적 변화와 광학적 변화가 있는 경우에도 효과적임을 보였다. 또한, 제안된 알고리즘은 기존의 최적화 알고리즘보다 제안된 목적함수를 더욱 잘 증가시킴을 보였다.
전역 제약 조건에 기반한 두 번째 방법에서는 전역 영상 변환을 다수의 호모그래피 (homography)와 각각의 호모그래피에 할당된 통계 치로 모사하였다. 제안된 전역 변환을 학습하기 위한 알고리즘을 제안하였고, 학습된 변환에 부합하는 특징 대응 쌍을 검지 또는 생성하는 방법을 제안하였다. 이러한 전역 제약 조건 기반 방법은 제안된 지역 제약 조건 기반 방법과 통합되어 정확한 특징 대응 쌍을 최대화시킴과 동시에 부정확한 특징 대응 쌍을 최소화시킬 수 있었다. 또한, 이 통합 방법은 스테레오 영상 시퀀스의 특징 점 추적 및 양안 정합에 적용되어서 기존의 지역 광학적 유사성에 기반한 방법보다 우수한 성능을 보였다.
마지막으로 지역 제약 조건 기반 방법에서 제안한 최적화 알고리즘을 일반화하여, 세개의 특징 점을 잇는 삼각형을 두 영상 간에 정합하는 문제에 적용하였다. 이러한 정합 결과는 특징 대응 쌍들을 확증하는데 사용되었을 뿐만 아니라, 복잡한 환경에서의 물체 인식에도 사용되었고, 인식 성공률이 기존의 방법에 의한 결과보다 향상됨을 확인할 수 있었다.
