To increase the image resolution, various approaches have been proposed over past several decades. Among them, super-resolution has recently been actively researched. Super-resolution is a process of combining multiple low-resolution images to produce a higher resolution image.
In conventional super-resolution algorithms, a single scheme is usually used for a whole image, regardless of region characteristics. Since an image consists of various regions having different characteristics, these algorithms may not provide equally good performance for all regions. In order to alleviate this fundamental drawback of the conventional approach, this dissertation presents a region-based super-resolution algorithm. In the algorithm, an image is first analyzed and segmented into smooth, intermediate, and edge regions. According to the region type, a different regularization term and different reconstruction parameters are used. The reconstruction parameters are independently managed and optimized depending on the region type so as to maximize the visual quality of the whole image.
This dissertation also deals with regularization for the region-based super-resolution. Since super resolution is an ill-posed problem, considering regularization as a means for picking a stable solution is very useful. One of the most widely referenced regularization cost functions is the Tikhonov cost function using the Laplacian operator. The operator tends to reduce noise but to blur edges due to its omni-directional characteristic. In order to restore the continuity and sharpness of edges, directional smoothing is more appropriate than omni-directional smoothing. Therefore, we propose an adaptive diffusion regularization scheme which uses isotropic or anisotropic diffusion to efficiently reduce undesired noise and restore edges.
Experimental results show that the proposed region-based super-resolution and the proposed adaptive diffusion regularization improve the objective quality as well as the subjective visual quality of reconstructed high-resolution images.
카메라로 획득할 수 있는 영상의 최대 해상도는 광학장치 및 이미지 센서의 물리적인 제약으로 인하여 제한된다. 영상 해상도의 제한을 극복하기 위해 많은 연구가 진행되어 왔다. 이러한 연구 중에서 여러 장의 영상으로부터 영상 간 부화소 단위 움직임 정보를 보상하여 고해상도 영상을 복원하는 기법을 고해상도 영상복원 (super-resolution)이라 한다. 고해상도 영상복원 기법은 최근 많은 관심을 받으며 수많은 연구가 진행되고 있다. 일반적으로 영상은 서로 다른 특징을 가진 다양한 영역으로 이루어져 있다. 그럼에도 불구하고 기존의 고해상도 영상복원 기법들은 이러한 영상의 특징을 고려하지 않고 전체 영상을 다룬다. 이 학위논문에서는 고해상도 영상복원 기법을 영역별로 적용하는 것이 보다 효율적이라는 것을 보이고, 영역 특징을 살리기 위한 영역기반 고해상도 영상복원 기법을 제안한다. 영역별 수행을 위해서는 영역분할이 선행되어야 하며, 이를 위해 이 논문에서는 eigenvalue를 이용한 화소기반 분할기법을 사용하여 영상을 평탄한 영역 (smooth regions), 중간 영역 (intermediate regions), 그리고 에지 영역 (edge regions) 으로 나눈다. 최적의 성능을 위해, 영역별로 최적화된 고해상도 영상복원 파라미터를 사용한다. 또한 영역 특징에 적합한 regularization을 선택하여 사용한다.
이 논문은 또한 regularization 기법을 다룬다. 고해상도 영상복원은- ill-posed 문제이므로, 이를 해결하기 위한 방법으로 regularization 기법이 적용된다. 가장 흔히 사용되는 regularization 함수로는 Laplacian 기반 Tikhonov 함수가 있다. 그러나 이것은 단지 영상이 모든 방향에 대해서 대역 제한되어 있다고는 등방평활성만을 가정하기 때문에, 일반적으로 다양한 에지로 구성되어 있는 영상의 효율적인 복원에는 한계가 있다. 이를 개선하기 위해, 이 학위논문에서는 적응적 확산 (adaptive diffusion) regularization 기법을 제안한다. 제안된 확산 regularization 기법에서는 영상의 특징에 따라 확산 정도가 적응적으로 정해진다. 평판한 영역에서는 등방향으로 같은 크기의 확산이 발생하여 고주파 성분을 억제하는 방향으로 동작한다. 그리고 에지 영역에서는 에지의 수직방향으로는 확산이 약하게 정해지고 에지 방향으로는 확산이 상대적으로 크게 정해져 에지를 유지하면서 잡음이 효율적으로 제거된다. 제안된 기법들의 성능을 확인하기 위해 제어된 조건에서 만들어진 영상뿐만 아니라 실제 상황에서 획득한 영상에 대해서도 실험을 하였다. 두 가지 실험 모두, 제안된 기법으로 복원된 영상에서 잡음이 더 효율적으로 제거되었으며 에지가 보다 선명해졌음을 확인하였다.
