To increase the image resolution, various approaches have been proposed over past several decades. Super-resolution is one of the very active research area of this purpose and indicates a lot of different approaches to enhance the image resolution from the frequency domain to the spatial domain super-resolution reconstruction algorithms.
In conventional super-resolution algorithms, a reference frame for the super-resolution image reconstruction is selected arbitrarily between given input frames. This thesis deals with the problem of the reference frame creation. The quality of the reconstructed high resolution image depends strongly on the quality of the reference frame of the given input frames. In order to improve the quality of super-resolution image reconstruction, a good reference frame should be selected and this is an open problem because the subjective visual quality is hard to be measured numerically. This thesis shows that the problem of finding the good reference frame can be changed to the problem of creating the good reference frame which is also robust to the outlier frame contamination. The quality of the created reference frame is independent of the quality of each input frame and very robust to the outlier contamination so that it can be recommended for the super-resolution image reconstruction.
In this thesis, the data-adaptive super-resolution algorithm is also considered because the conventional super-resolution algorithms usually use a single scheme for a whole image, regardless of the regional characteristics. Since an image consists of various regions having different characteristics, these algorithms may not provide equally good performance for all regions. The steering kernel regression framework for super-resolution image reconstruction is one of data-adaptive algorithms in order to consider these regional characteristics using variable shapes of kernel functions to the different characteristic regions. For the point of maintaining the local data structures, there is still room for improvement therefore a new design for the kernel function is proposed to further improve the data-adaptivity of the steering kernel regression framework.
Finally a new multiframe image fusion algorithm is proposed as a modifcation of the median shift-and-add algorithm which is popularly used for the robust super resolution applications. The median shift-and-add algorithm is known as the most robust fusion algorithm to the outlier frame contamination but the information usability efficiency is extremely low. The proposed data-adaptive mean-of-successive-medians shift-and-add algorithm is a compromise between the robustness and information usability efficiency of the median shift-and-add algorithm.
Experimental results show that the proposed data-adaptive kernel regression framework with the reference frame creation and the multiframe image fusion algorithm improves the objective quality as well as the subjective visual quality of the reconstructed high resolution images.
영상 획득계의 물리적 제약으로 인해 획득되는 영상은 해상도가 제한된다. 영상의 해상도를 향상시키기 위한 많은 연구가 진행되었는데 저해상도 영상들 사이의 부화소 단위 움직임을 보상하여 고해상도 영상을 복원하는 초해상도 영상 복원 기법 (super-resolution)은 최근 활발히 연구되고 있는 해상도 향상 기법 중 하나이다. 기존의 초해상도 영상 복원 기법은 임의로 선택된 기준 영상을 이용해서 움직임을 추정하고, 영상의 특성을 반영하지 못하는 알고리즘을 반복 적용하여 오차가 누적되는 경향이 있었다. 본 학위논문에서는 영상 간의 부화소 단위 움직임 추정 단계에서 임의의 영상을 기준 영상으로 선택하는 대신에, 입력된 영상들이 포함하고 있는 가장 두드러지는 정보를 나타낼 수 있도록 기준 영상을 생성하는 기법을 제안한다. 또한 영상의 특성을 잘 반영할 수 있도록 설계된 커널 (kernel) 함수를 이용해서 영상의 해상도를 향상시키는 방법을 제안한다. 커널 함수는 화소간 거리에만 의존하는 것이 아니라 화소의 밝기값 차이에도 의존하여 영상의 엣지 (edge) 부근에서는 그 방향으로 휘어지도록 설계되었다. 마지막으로 고해상도 영상을 복원하기 위해 다중 영상 융합 기법 (multiframe image fusion)을 적용할 때 기존의 중앙값 이동 및 가산 기법 (median shift-and-add)을 개선하여 융합뿐만 아니라 공간 도메인의 잡음도 제거할 수 있는 다중 영상 융합 기법을 제안한다. 위의 알고리즘들을 이용하여 초해상도 영상 복원 시스템을 구성하고 가상 실험을 통해 제안한 시스템이 높은 품질의 고해상도 영상을 복원할 수 있음을 확인하였다.
