Image registration is a process to establish the spatial correspondence between images of the same scene, which are acquired at different viewpoints, at different times, or by different sensors. This paper deals with robust registration of the images acquired by two different sensors, namely, the electro-optic (EO) and infrared (IR) ones. The two approaches, feature-based and intensity-based image registration, are general for image registration. In the former approach, the selection of accurate common features is crucial for the performance, but features in an EO image are often different from those in the corresponding IR image. Hence, this approach is not adequate to register a pair of EO/IR images. In the latter approach, normalized mutual information (NMI) has been widely used as a similarity measure due to its high accuracy and robustness. NMI-based image registration methods utilize the statistical correlation between two images on the assumption that the correlation is global. However, it is often found that, in some areas of EO and IR images, statistical correlation is not high enough for robust registration. In this paper, we propose the two preprocessing schemes for improving the performance of the NMI-based registration. Both schemes try to enhance the statistical correlation between EO/IR images for fast and accurate registration. The first scheme, ESCR (extraction of statistically correlated regions), extracts the regions that are highly correlated to their corresponding regions in the other image. This extraction procedure is performed for each image, and the commonly extracted regions are used for NMI. The other scheme, ESCF (enhancement of statistical correlation by filtering), adaptively filters out two images to enhance statistical correlation between them. The proposed schemes are applied to NMI-based registration and the results are prospective for various pairs of EO/IR sensor images in terms of registration accuracy, robustness, and speed.
적외선 영상과 가시광선 영상과 같이 서로 다른 특성의 센서들로부터 얻은 영상은 밝기 값의 특성이 매우 복잡하며 일반적으로 잘 알려져 있지 않다. 따라서 영상 정합에 있어 많은 어려움이 존재하게 된다. 기존의 알고리즘에서는 두 영상에서 공통적인 특징들을 추출한 후 그 특징들을 이용하여 영상정합을 수행하는 특징 기반 영상정합기법과 통계적 특성을 이용한 상호정보, 정규상보정보 등을 유사성 척도로 한 밝기 값 기반의 영상정합기법들이 있다. 그러나 적외선 영상과 가시광선 영상에서는 대응되는 특징점 선택의 신뢰도와 정확성이 떨어지는 경우가 많아 특징 기반의 영상정합기법은 적절치 못한 경우가 많다. 또한 밝기 값 기반의 특징정합기법 중에서 정확하고 신뢰도가 높다고 알려져 있는 정규상호정보 기반의 영상정합기법은 ‘두 영상의 통계적 상관성이 전역적이어야 한다’는 가정을 전제하는데 적외선 영상과 가시광선 영상에서는 이것이 위배되는 경우가 많아 그대로 적용하기 힘든 경우가 존재하게 된다.
따라서 이 논문에서는 영상에서 통계적 상관성이 높은 영역을 자동적으로 추출하는 ESCR 기법과 두 영상에서 통계적 상관성을 향상시키는 ESCF 기법 등의 두 개의 전처리 기법을 제안하였다. 제안하는 ESCR 기법과 ESCF 기법을 적용한 두 단계 영상정합기법은 기존의 정규상호정보 기반 영상정합기법에 비해 더욱 정확한 결과를 보여줌을 확인하였으며, NMI 그래프에서 정합이 될 때 최대가 되며 국부 최대점 (local maximum)도 줄어들어 강인한 정합 기법임을 확인 할 수 있었다. 또한 ESCR 기법을 통해 영상정합에 사용되는 고정 영상의 픽셀 수를 줄이며 ESCF 기법을 통해 one-to-many intensity correspondence를 줄임으로써 optimization 과정에서 불필요한 evaluation을 줄여 수행 속도가 향상되었다.
결론적으로 제안하는 전처리 기법을 포함하는 두 단계 알고리즘은 정확성과 견실성, 그리고 속도의 측면에서 기존의 정규상호정보 기반 영상정합기법에 비해 더욱 우수한 성능을 보여주었다.
제안된 두 단계 영상정합 알고리즘은 적외선 영상과 가시광선 영상의 정합 뿐만 아니라 서로 다른 특성을 가지는 영상들을 정합하는 많은 분야에서 좋은 성능을 가질 것이다.
