Recently, deep learning based super-resolution (SR) has been a hot issue for improving low-resolution (LR) images. Existing deep learning based algorithms, however, need high computational complexity, and may distort some information in LR images because they usually use an extended LR image as an input to the algorithm. In addition, most of SR algorithms do not consider the SR of compressed images. In this paper, we design a convolutional neural network with a deconvolution layer to solve the computational problem while improving the SR performance. We also propose a SR algorithm for compressed video frames by modifying the neural network structure according to the characteristics of compressed images and by constructing an efficient SR training dataset for compressed images. Experimental results show that the proposed algorithm provides superior results in terms of SR performance, computation complexity, and artifact reduction of compressed frames.
딥 러닝 기반의 초해상도 영상 복원이 최근 탁월한 성능에 힘입어 많은 연구가 진행되고 있다. 그러나 지금까지 개발된 알고리즘은 연산량이 많다는 단점이 있으며, 확장된 크기의 저해상도 영상을 입력으로 사용하는 알고리즘에서는 저해상도 영상에 존재하는 정보가 훼손될 가능성이 있다. 또한 대부분의 초해상도 알고리즘은 압축 영상에 대한 초해상도 영상복원은 고려하지 않고 있다. 본 논문에서는 디컨볼루션 층을 효율적으로 혼합한 컨볼루션 신경망이 연산량 문제와 저해상도 영상정보 훼손 문제를 해결할 수 있음을 보인다. 아울러 압축의 특성을 고려하여 신경망 구조를 수정하고, 코너 아웃라이어 위주로 압축 영상에 대한 초해상도 학습 세트를 구성함으로써 압축 영상에 대한 초해상도 알고리즘을 제안한다. 실험의 결과는 제안된 알고리즘이 성능이나 연산량, 압축 영상의 아티팩트 감소 측면에서 우수하다는 것을 보여준다.
