With the advent of Ultra High Definition (UHD) TVs, super-resolution (SR) methods have drawn more at-tention than before, as they can be used to generate a high-resolution (HR) image from a low-resolution (LR) image, and ultimately UHD from Full High Definition (FHD) contents. The conventional SR methods general-ly consist of two-step phases: (i) a simple interpolation step to generate initial images of target resolutions; and (ii) a quality-enhancement step that incorporate more elaborate methods aiming at enhancing the quali-ties of the interpolated images. Among them, the quality-enhancement steps often require very high compu-tational load, which then prohibits very high quality SR from being feasible for large-resolution images with real-time applications such as FHD-to-UHD up-scaling. Moreover, the simple interpolation step requires extra frame buffers to store intermediate interpolated frames for the next quality-enhancement step, which makes it difficult for SR to be implemented in low-complexity hardware. To overcome these limitations, we present a novel and fast SR method based on edge-orientation-based direction linear mapping from LR to HR images, where the interpolation step and the quality-enhancement step are combined into one unified up-scaling structure. We call our unified SR method as Super-Interpolation (SI) in this thesis. By utilizing edge-orientation-based pre-learned kernels, the proposed SI performs SR directly from the initial resolution of an input image to the target resolution of an up-scaled output image, without requiring any intermediate interpo-lated image and a bicubic interpolation algorithm.
The proposed SI method involves training and up-scaling phases: (i) In the off-line training phase, training LR image patches are clustered based on their edge orientations, and each LR patch is then assigned to one of edge-orientation (EO) class indexes. For each EO class, a class-dependent linear mapping function is learned between training LR patches and their corresponding HR patches. Each pre-learned linear mapping is then able to directly up-scale LR image patches of the corresponding EO class into high-quality HR image patches during the on-line up-scaling phase; (ii) In up-scaling phase, the EO of each LR input image patch is calculated to select the linear mapping function of an EO class. Then, its corresponding HR output image patch is generated by applying the linear mapping function for the LR input image patch. To verify the effec-tiveness of our proposed SI method, we perform a large amount of experiments with common image sets as well as many FHD/UHD images. As shown in the experimental results, the proposed SI method outperforms the state-of-the-art methods in terms of PSNR/SSIM with average 0.28 dB and 0.23 point higher, with its pro-cessing speed 450 times and 32 times faster than a sparse coding based SR (SCSR) method and a multiple linear mapping (MLM) method, respectively. This shows that the proposed SI proves to be an elegant SR al-gorithm for practical implementations.
최근 UHDTV가 시장에 등장하고 있지만, 그를 위한 고해상도 UHD 영상들의 수는 많이 부족하다. 때문에 저해상도 입력 영상으로부터 고해상도 영상을 생성할 수 있는 초해상화 기술들이 각광을 받고 있다. 일반적으로, 초해상화 기법은 두 단계에 거쳐 진행이 된다: (i) 간단한 보간법을 사용하여 목표하는 해상도의 중간 단계 영상을 생성하는 확대 단계; 그리고 (ii) 생성된 영상에 더 복잡한 기법을 적용하여 고품질의 고해상도 영상을 복원하는 품질 향상 단계가 있다. 품질 향상 단계에서는 계산 복잡도가 높은 기법들을 활용하기 때문에 실제로 UHD 같은 고해상도 영상에 실시간으로 적용되기에는 어려운 점이 있다. 또한, 간단한 보간법을 사용하는 확대 단계 때문에 추가적으로 프레임 버퍼 등이 필요하여 하드웨어 구현이 어렵다. 이를 해결하기 위해 본 논문에서는 빠르면서도 획기적인 SI (Super-Interpolation)이란 초해상화 기법을 제안한다. 본 논문의 SI은 방향상을 기반으로 미리 배워둔 선형 매핑들을 활용하여 보간된 중간 영상 없이 저해상도 입력 영상을 바로 고해상도 영상으로 키우는 기법이다.
제안된 SI은 오프라인 학습 단계와 온라인 업스케일링 단계로 이루어져 있다: (i) 오프라인 학습 단계에서는 저해상도 학습 영상 패치들을 방향성을 기반으로 여러 그룹으로 나눈다. 각 그룹마다 저해상도 영상 패치로부터 고해상도 영상 패치를 생성할 수 있는 하나의 선형 매핑을 학습한다; (ii) 온라인 업스케일링 단계에서는 각 저해상도 입력 영상 패치의 방향성을 분석하고 해당하는 선형 매핑을 바로 적용시켜 고해상도 영상 패치를 생성한다. 이를 검증하기 위해 FHD/UHD 이미지들을 포함한 일반적인 실험 이미지들에 제안하는 SI을 적용하여 다른 초해상화 기법들과 비교 실험을 진행하였다. 제안하는 기법은 다른 최신 초해상화 기법보다 평균 0.28dB 높은 PSNR과 0.23 높은 SSIM을 지닌 고해상도 영상을 생성할 수 있었으며, 최대 450배 빠른 성능을 보여주었다.
