Single image super-resolution (SR) aims at constructing a high-resolution (HR) image from a single low-resolution (LR) image. This process is, however, known as an ill-posed inverse problem. Super-resolution via convolutional neural network (SRCNN) has recently been introduced and turned out to be quite successful in modeling the LR-HR relationship. Since SRCNN does not take account of variant features of input patches, however, it may have some limitation on the SR performance. In this paper, we propose a new SR algorithm based on deep convolutional network (DCN). The proposed algorithm attempts to improve the SR performance by optimizing multiple DCNs, respectively, according to the patch classification. The training stage of the algorithm consists of two steps; multiple regressors learning and classifier training. In the former, patch classifications and the corresponding regressors learning are alternately performed to optimize multiple DCN-based regressors for each patch class. In the latter, a DCN-based classifier is trained so as to provide the probabilities that a LR patch belongs to each regressor. In the test stage of the algorithm, a super-resolved image is obtained using the trained multiple regressors and classifier. The image is reconstructed by summing the multiple regressor output images by weighting them with their probabilities obtained from the classifier. Experimental results show that the proposed algorithm outperforms existing methods at both objective and subjective qualities of super-resolved images.
단일 영상 super-resolution (SR) 은 low-resolution (LR) 영상을 high-resolution (HR) 영상으로 만드는데 그 목적이 있다. SR 은 적은 양의 정보로 많은 양의 정보를 추정해야 하는 ill-posed inverse problem으로 문제를 풀기 위한 많은 알고리즘들이 제안되었다. 최근에는 convolutional neural network를 이용한 SR (SRCNN) 방식이 LR-HR 관계를 비교적 정교하게 모델링 하는 것을 확인 할 수 있었다. 하지만 SRCNN은 입력 패치의 다양성을 고려하지 않아 그 성능에 한계가 존재할 가능성이 있다. 본 논문에서는 DCN기반의 새로운 SR 알고리즘을 제안하고자 한다. 제안하는 알고리즘은 다중 DCN들을 패치 classification에 따라 최적화 함으로써 SR 성능을 향상시키고자 하였다. Train 단은 다중 regressors 학습과 classifier학습의 두 단계로 구성되어 있다. 전단에서는 패치 classification과 해당 regressor의 학습이 번갈아 수행되어 각 패치 class를 위한 다중 DCN 기반의 regressors가 최적화 된다. 후단에서는 DCN기반의 classifier가 LR 패치가 각 regressor에 속할 확률을 주도록 학습되었다. 본 알고리즘의 test 단에서는 학습된 다중 regressors와 classifier를 이용하여 복원된 결과 영상을 얻는다. 영상은 다중 regressor의 출력 영상을 classifier로 부터 얻은 확률로 weight 를 주어 더함으로써 얻는다. 본 논문에서 제시하는 실험결과는 제안하는 알고리즘이 기존의 방법대비 개관적인 측면과 주관적인 평가 측면에서 모두 향상 되었음을 보여준다.
