Infrared (IR) images provide valuable information for many applications such as surveillance and remote sensing. However, compared to a visible image, the quality of an IR image is usually poor and its spatial resolution is limited. The main reason for the quality and resolution degradation of an IR image is blurring effects due to non-ideal optics and finite detector size. Therefore, improving the quality and/or the spatial resolution of IR images is an important issue.
This dissertation deals with a resolution improvement algorithm of an IR image. To improve the quality and resolution of an IR image, conventional restoration-based algorithms model an IR image acquisition process mathematically and solve an inverse problem. Therefore, the quality of the restored image relies on the modeling accuracy of the degradation process that is usually difficult to achieve. In addition, some high-frequency (HF) components cannot be recovered and ringing artifacts near strong edges become noticeable even with the use of a constraint term in the restoration process. Meanwhile, in some applications such as medical and range imaging, to improve an image captured from a sensor, an image obtained from a different sensor is also utilized by examining their statistical relationships between intensity values or the co-occurrence of discontinuities.
This dissertation presents a new IR image resolution improvement framework based on the information of the aligned high-resolution visible image. In the proposed framework, we first estimate HF patches for edge regions in an IR image, which have a strong correlation with the aligned edges in the visible image. The estimation is performed on the basis of local intensity correlations between two images. By utilizing the relationship between the IR patches for correlated edges and their estimated HF patches, we then determine multiple HF patch candidates for uncorrelated edges. Finally, we suggest an optimization procedure to improve remaining texture regions and to reduce outliers included in the estimated HF patches. Experimental results demonstrate that the proposed algorithm improve the spatial resolution of an IR image compared with the exiting up-sampling algorithms.
적외선 영상은 가시광 영상이 제공해 주지 못하는 물체의 표면 온도와 관련된 정보를 제공해 주기 때문에, 감시 및 원격탐사와 같은 다양한 연구 분야에서 사용되고 있다. 하지만, 적외선의 광학적 특성 및 사용하는 검출기의 유한한 크기로 인해 적외선 영상의 화질 및 해상도는 가시광 영상에 비해 현저하게 떨어지는 단점이 있다. 적외선 영상의 화질 및 해상도를 향상시키는 문제는 획득 가능한 정보량의 측면뿐만 아니라 비용 측면에서도 중요한 문제이므로, 본 학위 논문에서는 영상처리 알고리즘을 이용하여 적외선 영상의 해상도를 향상시키는 문제를 다룬다.
적외선 영상의 해상도를 향상시키기 위해 영상 획득 과정을 수학적으로 모델링 한 후, 관측된 영상으로부터 원본 영상을 복원하는 영상 복원 기반의 기법들이 널리 사용되어 왔다. 하지만, 영상 획득 과정을 정확하게 모델링 하기 어렵고, 정확한 모델링을 이용하더라도 특정 고주파 성분을 복원하지 못하는 문제와 강한 에지 근처에서 물결 현상이 관측되는 문제가 발생한다. 한편, 의료 영상 및 range imaging 분야에서는 다른 특성을 갖는 센서로부터 획득한 고해상도 영상 정보를 함께 사용하여 해상도를 향상시키는 기법들이 제안되고 있다. 이러한 기법들에서는 서로 다른 특성을 갖는 두 영상에 대해 밝기 값 사이의 통계적 관계 또는 물체의 경계가 동시에 발생하는 특성을 조사함으로써 다른 센서로부터 획득한 정보를 사용한다.
이러한 다른 특성의 영상 정보를 활용하는 연구에 기반하여, 본 학위 논문에서는 정합된 고해상도 가시광 영상 정보를 이용하여 적외선 영상의 해상도를 향상시키는 기법을 제안하였다. 제안하는 기법은 먼저 가시광 영상과 강한 상관 관계를 갖는 적외선 영상의 에지 영역을 찾고, 이러한 영역에 대해 두 영상 사이의 밝기 값의 상관 관계를 이용하여 적외선 영상의 고주파 성분을 추정한다. 이어서, 강한 상관 관계를 갖는 에지 영역에서의 적외선 영상 정보와 추정된 고주파 성분 정보를 저장한 후, 이를 이용하여 상관 관계가 약하거나 없는 적외선 영상의 에지 영역에 대해 고주파 성분을 추정한다. 마지막으로, 추정된 고주파 성분에 포함된 이상치를 제거하고 남아있는 텍스쳐 영역의 해상도를 향상시키기 위해 최적화 과정을 수행한다.
다양한 특징의 영상들에 대한 실험을 수행하여, 제안하는 방법이 기존 up-sampling 방법들에 비해 적외선 영상의 해상도를 크게 향상시킴을 정량적, 정성적으로 확인하였다.