This thesis deals with the robust registration algorithm based on a new similarity measure for aligning multi-sensor images such as charged-couple device (CCD) and infrared (IR) images. Multi-sensor image registration is essential to many applications such as surveillance, remote sensing, and medical imaging. Due to different sensor characteristics and/or different sensor pose in the system, there exist geometrically relative motions such as translation, rotation, scale, and any other transformations between two sensor images. Therefore, the registration can be defined as a process to establish the spatial correspondence between two images. In this thesis, we aim to design a robust similarity measure for registering multi-sensor images to compensate such relative motions which are confined to a global projective model.
As a similarity measure for registration, mutual information (MI) based measures have been widely used for medical imaging. These MI-based methods work properly only if the intensity mapping relationship between the two images is global. However, the intensity mapping relationship is often locally different in many other multi-modal images such as ordinary CCD and IR images which are used for surveillance and remote sensing applications. Therefore, MI-based methods cannot cover such various image modalities and their registration performances are limited. Hence, to improve the registration performance, we propose a new similarity measure based on gradient-based statistical information.
For robust registration, the proposed similarity measure is based on the entropy obtained from a 3-D joint histogram incorporating edginess and generalized gradient vector flow (GGVF) information. In the measure, in order to make a reliable mapping relationship between the edge regions of two images, the concept of edginess which is normalized version of gradient magnitude is adopted so that registration performance may be affected mainly by edge existences rather than their strength. In addition, by adopting the GGVF, we relax a narrow capture range problem of the conventional gradient-based measures.
The proposed algorithm is applied to various multi-sensor image sets, and the registration performance is validated through intensive tests by using randomly generated multiple sets of initial transformation parameters. Experimental results clearly show that the proposed measure provides more robust registration performance than the existing measures.
이 학위논문에서는 가시광, 적외선 영상 등의 다중센서 영상들의 정합 시 새로운 유사성 척도를 통한 강인한 정합 방법을 제시한다. 다중센서 영상 정합은 감시, 원격탐사, 의료영상 등 다양한 연구 분야에서 필요로 하는 핵심 기술 중의 하나이다. 이러한 다중센서 시스템에서는 각 센서들의 시점, 시야 각, 자세 등의 차이로 인해 획득된 영상들은 이동, 회전, 크기 등의 변환 관계를 가지게 되며 상대적인 위치 관계가 어긋나 있게 된다. 따라서 영상 정합은 두 영상간의 기하학적인 위치적 대응관계를 설정하는 과정이라 할 수 있다. 이 논문에서는 영상 변환 관계를 전역적 투영 변환으로 가정하에 두 영상을 강인하게 정합 시킬 수 있는 유사성 척도 설계를 목적으로 하였다.
의료 영상 분야에서는 특성이 다른 영상들 간의 정합 시 상호정보를 기반으로 한 유사성 척도가 널리 사용되어 왔다. 이 방법은 두 영상의 밝기값 대응 관계가 상호 전역적 관계를 가질 때 강인하게 사용될 수 있다. 그러나 감시, 원격탐사 등에 사용되는 일반적인 가시광과 적외선 영상은 두 영상의 밝기값 대응 관계가 전역적이지 않고 지역적으로 다양한 대응 관계를 가진다. 그러므로 상호정보 기반의 정합은 다양한 다중센서 영상에서 강인한 성능을 기대할 수 없다. 따라서 정합의 강인성을 향상시키기 위해 경사 기반의 통계적 정보를 기반으로 한 새로운 유사성 척도를 제시한다.
이 논문에서는 강인한 정합을 위해 먼저 영상에서 경사의 크기를 정규화시키는 edginess 개념을 정의하고 generalized gradient vector flow (GGVF) 개념을 도입하여 삼차원 결합 히스토그램을 기반으로 한 유사성 척도를 제안하였다. 다중센서 영상에서 에지 영역간의 신뢰성 있는 대응관계를 설정하기 위해 경사의 크기를 정규화 시키는 개념을 적용하였다. 이로 인해 영상 정합 시 에지의 크기 정보가 아닌 에지의 존재 유무를 유사성 척도에 반영될 수 있도록 하였다. 또한 GGVF 개념을 도입함으로써 기존 경사 기반 유사성 척도가 가진 문제점인 좁은 수렴 범위를 해소시켜 수렴범위를 증대시키고자 하였다.
다양한 다중센서 영상들에 대한 실험을 통해 제안하는 유사성 척도에 대한 성능을 평가하였다. 정합의 강인성을 확인하기 위해 임으로 생성된 다양한 초기 파라미터 세트를 구성하여 정합 실험을 수행하였다. 실험 결과 제안하는 유사성 척도가 기존의 방법들 보다 강인한 성능을 보임을 확인하였다.
