State-of-the-art super-resolution (SR) methods commonly assume that low-resolution images are ideally downscaled from corresponding high-resolution images. Therefore, the methods are particularly vulnerable to solving the problem of SR which deals with a real low-resolution (LR) image that does not follow the assumption. In order to solve the problem, blind SR and real-world SR methods are proposed. Blind SR methods assume that only downscaling kernels are unknown while real-world SR methods deal with downscaling kernels, compression artifacts, and noise. In this dissertation, we propose an internal learning-based SR method for blind SR and a degradation learning method for real-world SR. For blind SR, we propose a unified internal learning-based blind SR method that jointly trains two image-specific networks for 1) downscaling together with kernel estimation and 2) SR. More specifically, we train the two networks to minimize a dual back-projection loss; the SR network is trained to reconstruct a given input image from the LR image generated by the downscaling network, and the downscaling network is trained to downscale the high-resolution image generated by the SR network to be as close as possible to the given input image. By extending the idea of blind SR, we propose a degradation learning method for real-world SR. We jointly train networks for 1) downscaling along with degradation and 2) SR. The downscaling network takes clean high-resolution images to generate degraded low-resolution images while the SR network reconstructs the clean high-resolution images. Through the complementary training, the downscaling operation becomes more close to the real-world downscaling, resulting in better SR performance. In the experiment, we show that the proposed method outperforms previous blind SR and real-world SR methods in terms of SR performance.
최근의 초고해상도화 방법들은 대부분 저해상도 영상은 고해상도 영상으로부터 이상적으로 생성되었다고 가정한다. 그렇기 때문에 이 방법들을 이 가정을 따르지 않는 실제 저해상도 영상에 적용할 경우, 제대로 초고해상도화를 수행할 수 없는 문제를 가지고 있다. 이 문제를 해결하기 위해서 무정보 초고해상도화 방법과 실제 적용 가능한 초고해상도화 방법들이 제안되었다. 무정보 초고해상도화 방법들은 다운스케일링 커널만이 다르다고 가정하고, 실제 적용 가능한 초고해상도화 방법들은 이에 더해 압축 에러, 잡음 등을 고려한다. 이 논문에서는 내부 학습 기반의 무정보 초고해상도화 방법과 실제 적용 가능한 초고해상도화를 위한 저품질 영상 생성 방법을 제안한다. 무정보 초고해상도화 방법을 위해서 우리는 다운스케일링을 하는 네트워크와 초고해상도화를 수행하는 네트워크를 내부 학습 방법을 기반으로 통합하여 학습하는 방법을 제안한다. 구체적으로는 두 네트워크를 학습하기 위해 이중 역투영 손실 함수를 제안하였다. 이중 역투영 손실 함수는 초고해상도화 네트워크가 다운스케일링 네트워크로부터 생성된 저해상도 영상을 다시 원 영상으로 복원하는 것을 목표로 하고, 다운스케일링 네트워크는 초고해상도화 네트워크가 생성한 영상을 다시 원 영상으로 만들 수 있도록 하는 것을 목표로 하게 한다. 이 방법을 확장하여, 실제 적용 가능한 초고해상도화를 위한 저품질 영상 생성 방법 또한 제안하였다. 이 방법에서는 저품질 영상을 생성하는 네트워크와 초고해상도화를 수행하는 네트워크를 동시에 학습하며, 저품질 영상 생성 네트워크는 고품질, 고해상도의 영상을 입력으로 받아 저품질, 저해상도 영상을 생성하며, 초고해상도화 네트워크는 저품질, 저해상도 영상을 입력으로 받아 고품질, 고해상도 영상을 복원할 수 있도록 한다. 제안하는 상호보완적인 학습 방법을 통해, 저해상도 영상 생성이 점차 실제와 비슷해지며, 이로 인해 초고해상도화의 성능을 향상시킬 수 있다. 실험으로부터 우리가 제안하는 방법이 기존의 무정보 초고해상도화 방법들과 실제 적용 가능한 초고해상도화 방법들에 비해 더 나은 초고해상도화 성능을 달성했음을 보인다.
