Recently, a multi-sensor image fusion system and its applications are widely investigated. In the system, multi-modal image registration is essential, and a robust, accurate, and fast registration algorithm is needed. This paper deals with fast registration of multi-modal image sequences, which are acquired from two different electro-optic (EO) and infrared (IR) sensors. In the registration of multi-modal images, a normalized mutual information (NMI) based registration algorithm is widely used due to its robust and accurate performance. However, it suffers from a high computational complexity in the optimization process. Although the downhill simplex optimization method is popular for NMI based registration because of its fast convergence rate, the reduction of computational complexity is still required for fast or real-time applications. In this paper, we implement a practical multi-sensor image registration system and attempt to minimize the computational complexity in the registration process. We modify the ordinary downhill simplex algorithm and linearize the projective transformation model in the interpolation routine, in order to improve the convergence rate. Simulation results show that the proposed algorithm provides noticeable system performance improvement compared to the conventional NMI based registration algorithm.
최근 다중센서를 이용한 융합 시스템 및 그의 응용에 관한 연구가 활발히 진행되고 있다. 다중센서 융합 시스템에서 특성이 다른 두 영상 간의 정합은 필수 요소이며, 정합의 강인성, 정확성뿐 아니라 고속 알고리즘의 필요성이 크게 부각되고 있다. 이 논문은 EO 와 IR의 특성이 다른 두 센서로부터 입력되는 영상 신호에 대한 고속 정합 시스템에 관해 다룬다. 영상 특성이 다른 영상 간의 정합 시 NMI 기반의 정합 알고리즘이 강인하고 정확한 성능으로 인해 많이 활용되고 있다. 그러나 이 알고리즘은 최적화 기법을 통해 수렴 포인트를 찾는 과정에서 많은 계산 량이 요구된다. 여러 최적화 기법들을 비교했을 때 그 강인성과 빠른 수렴 속도로 인해 downhill simplex 기법이 영상 정합 분야에서 널리 이용되고 있지만 고속 또는 실시간 시스템을 위해서는 수렴 속도를 기존의 방법 보다 더욱 더 향상 시키는 일이 필요하다.
본 논문에서는 실제 다중센서 영상 정합 시스템을 구현하고 정합 과정의 연산량을 최소화 시키는 방안에 대해 다룬다. 수렴 속도를 향상시키기 위해 개선된 downhill simplex 알고리즘을 제안하며 영상의 보간 시 원근적 변환 모델의 선형화를 통해 연산량을 감소시키는 방안에 대해 제안한다. 다양한 실험결과를 통하여 기존 정합 방법에 비해 제안하는 정합 방법의 속도가 향상됨을 확인하였다.
