Multimodality registration is important in many research fields such as remote sensing, medicine, and computer vision for fusing information of different characteristics from multimodal images. This thesis deals with two multimodality registration algorithms, or multi-sensor image registration and model-to-image registration. Multi-sensor image registration aims to geometrically align multimodal images such as visible and infrared images of the same scene acquired by different sensors. Registration is achieved by iteratively minimizing an objective function (or maximizing a similarity measure) through updating transformation parameters. Recently, for registering medical multimodal images, mutual information is widely used as a similarity measure. However, since the mutual information does not include spatial information, the mutual information based registration suffers from local optima or incorrect global optimum problems. This thesis presents a new objective function for multi-sensor image registration by incorporating intensity information and edge orientation information. Experimental results show that the proposed objective function provides more robust registration than the existing ones.
This thesis also deals with model-to-image registration. Accurate registration of a 3-D model and a 2-D camera image is useful in many applications. The accurate model-to-image registration can be achieved by precisely estimating both intrinsic and extrinsic camera parameters. Among them, intrinsic parameters are usually calculated in advance. Hence, this thesis attempts to accurately register the corresponding 2-D projected image of a given 3-D model to an input camera image by finding extrinsic camera parameter values. The proposed algorithm for accurate registration consists of two parts; initial registration and precise registration. In the initial registration, camera orientation parameters are estimated based on a generalized Hough transform by using roughly obtained camera position parameters. Those initial camera parameters are then refined in the precise registration part. For precise registration, we utilize the intensity information rather than geometric features in the camera image by applying pseudo-colors to a 3-D model and introducing a new entropy-based similarity measure. The measure is based on a 3-D joint histogram of the spatial and statistical information from the edge orientations and pixel intensities of a projected image of a pseudo-colored model and a real camera image. The experimental results show that the proposed algorithm provides accurate and robust performance for automatic registration of a site model to 2-D camera images.
영상정합은 원격탐사, 의료영상, 컴퓨터비전 등 다양한 연구 분야에서 중요한 기술 중에 하나이다. 특히 최근에 서로 다른 특징을 갖는 영상의 정보를 융합하기 위하여 전처리 과정으로 이종 영상간 정합이 요구된다. 이 학위논문에서는 다중센서 영상 정합과 모델-영상간 정합 등 이종 영상간 정합 알고리즘을 제안한다.
다중센서 영상 정합은 가시광, 적외선 영상 등 서로 다른 센서로부터 같은 장면을 촬영한 영상을 기하학적으로 정렬하는 것을 목표로 한다. 정합은 두 영상 사이의 변환 파라미터를 업데이트하면서 목적함수를 최소화하거나 유사성척도를 최대화하는 과정으로 수행된다. 최근 이종 의료영상 정합을 위하여 밝기값의 상호정보가 유사성 척도로서 많이 이용되고 있다. 하지만 밝기값의 상호정보는 공간정보를 포함하지 않기 때문에 상호정보기반의 정합알고리즘은 국부 최적값 혹은 부정확한 전역 최적값 문제가 발생하게 된다. 이 학위논문에서는 다중센서 영상 정합을 위하여 밝기값 정보와 에지 방향정보를 결합한 새로운 목적함수를 제안한다. 이를 위해 밝기값과 에지 방향 정보를 동시에 표현하는 삼차원 결합 히스토그램을 생성하고, 확률분포를 예측한다. 두 영상간의 밝기값과 에지 방향정보의 상호 관계를 조건부 엔트로피로 정의하고 이를 최소화하는 엔트로피 기반의 목적함수를 정의한다. 엔트로피 기반 목적함수는 두 영상의 겹치는 영역이 작을 경우에 국부 최적값을 가질 수 있으므로 전역적인 공간정보로 에지의 겹쳐지는 정보를 수치화한 가중함수를 추가적으로 이용한 새로운 목적함수를 제안한다. 다양한 화질, 크기의 영상세트에 대한 실험을 통하여 제안한 목적함수가 복잡한 밝기값 대응관계나 대조비의 역전, 대조비의 차이가 있는 영상에 대하여 기존의 함수들 보다 강인한 성능을 보임을 확인하였다.
이 논문은 또한 모델-영상간 정합 문제를 다룬다. 삼차원 모델과 이차원 카메라 영상의 정확한 정합은 삼차원 도시 모델링, 물체 추적, 로봇 혹은 무인항공기의 제어 등 많은 응용분야에서 유용하다. 정확한 모델-영상간 정합은 카메라의 내부 및 외부 파라미터를 정확하게 예측함으로써 달성 가능하다. 내부 파라미터는 한번 구하면 변하지 않는 값으로 미리 계산하여 정할 수 있다. 따라서 이 논문에서는 외부 카메라 파라미터를 예측하여 삼차원 모델의 투영 영상과 입력 카메라 영상이 정확하게 정합이 되도록 하는 알고리즘을 제안한다. 제안하는 알고리즘은 초기정합과 정밀정합, 두 부분으로 구성된다. 외부 카메라 파라미터 중에 대략의 카메라 위치 정보는 상용 global positioning system (GPS) 로부터 얻을 수 있다고 가정하고, 이에 대응되는 카메라 방향도 계산 가능하다. 초기정합에서는 에지 정보를 이용한 generalized Hough transform 를 도입하여 카메라 방향 오프셋을 예측한다. 이 초기 카메라 파라미터는 정밀정합부분에서 정제된다. 정밀정합을 위하여 최대한 많은 정보를 이용하는 방법으로 코너나 에지 정보 대신 면 정보를 이용한다. 모델의 각 면에 대해 각 면의 평면방정식을 이용하여 임의의 칼라 정보를 추가함으로써 면 정보를 표현한다. 따라서 모델의 밝기값 정보를 기반으로 모델-영상간 정합을 이종 영상간 정합의 문제로 해결한다. 모델-영상간 정합에서도 밝기값과 에지의 방향 정보를 이용한 삼차원 결합 히스토그램을 이용하지만 모델-영상의 특수성을 고려한 새로운 엔트로피 기반의 유사성 척도를 정의한다. 다양한 항공영상에 대한 실험을 통하여 제안한 알고리즘이 정확하고 강인한 결과를 보임을 확인하였다.
