A digital elevation model (DEM) is widely used in many applications such as unmanned aerial vehicle (UAV) and flight simulation. A depth map of the DEM, which can be obtained by using 3D camera parameters from the navigation system, can also be used for safe flight because it provides the topological information on the aerial image. Due to the imprecise navigation system, however, image registration between an aerial image and the depth map of the DEM is necessary. In this paper, we propose an automatic feature-based registration algorithm between an aerial image and a depth map of the DEM. The proposed algorithm consists of three steps. In the first step, we present a skyline matching method to obtain coarse 2D transformation parameters between an aerial image and the depth map, which lead to robustness of corresponding ridge extraction in the next step. In the second step, we extract ridges of the aerial image corresponding to those of depth map. To extract ridges accurately in the aerial image, we define masks by using the ridges of the depth map and the coarse 2D transformation parameters obtained via skyline matching. In the last step, we perform feature-based registration with the extracted ridges. Via segment-based feature matching, we find the corresponding pixel points of ridges between the aerial image and the depth map, to measure pixel distances of each pixel pair. We then derive the partial derivative of an image point with respect to the camera pose parameters and calculate the pose parameters in a RANSAC framework. Experimental results demonstrate that the proposed algorithm contributes to improve the robustness of registration.
Digital elevation model (DEM)은 지형의 위치에 대한 고도 정보를 가지는 3차원 전자지도로서, 항법장치 센서로 얻은 3차원 카메라 파라미터로 획득한 depth map 형태의 DEM을 항공 영상에 대응시키면, 항공영상에서의 지리정보를 추정할 수 있다. 하지만 항법장치 센서의 부정확성으로 인해 3차원 카메라 파라미터의 오차가 발생하고, 이로인해 DEM의 depth map과 항공 영상에서의 지형의 위치가 정확히 대응되지 않을 수 있다. 따라서 본 연구에서는 항공 영상과 3차원 전자지도의 프로젝션 영상인 depth map 간의 정합 알고리즘을 제안하였다. 제안하는 방법은 3단계로 구성되어 있다. 첫 번째 단계는 지평선 추출과 매칭을 수행하는 단계이다. Depth map과 항공 영상에서 추출한 지평선을 매칭하여 영상간의 대략적인 2차원 변환값을 획득하고, 이는 정밀한 정합 수행을 위해 두 영상간 대응하는 능선을 추출하는 다음 단계에서 사용된다. 두 번째 단계는 대응하는 능선을 추출하는 단계이다. 먼저 추출된 depth map의 능선과 앞서 획득한 영상간의 2차원 변환값을 이용하여 항공 영상 내에 능선이 존재 할 수 있는 영역에 ROI를 설정하고, 제한된 영역 내에서 보다 정확하게 대응하는 능선을 추출한다. 마지막 단계는 추출된 능선을 기반으로 하는 정합 과정이다. 이 단계에서는 대응관계를 가지는 능선들간의 매칭을 통해 능선내 픽셀 단위 대응점을 검출하고, 능선의 픽셀 단위 위치 변화를 측정한다. 그리고 depth map 능선의 위치 변화에 대한 카메라 자세 파라미터의 변화 량의 관계식을 카메라 모델링을 통해 유도하고, 이를 기반으로 RANSAC 알고리즘을 이용하여 카메라 파라미터의 변화 량을 보정하여 정확한 카메라 자세 정보를 얻는다. 실제 항공 영상과 이에 대응하는 depth map 형태의 3차원 전자지도 프로젝션을 이용한 실험 결과는 제안하는 특징점 기반 정합 기법이 정합 오차를 감소 시키며 정합의 강인성을 향상시키는데 기여함을 보여준다.
