Single image super-resolution (SR), which aims to reconstruct a high-resolution image from a low-resolution image, is an essential task in the field of computer vision. Recently, various SR methods based on convolutional neural networks have been proposed, significantly enhancing the reconstruction quality of SR. Among them, GAN-based models are frequently employed due to their ability to generate realistic results. Although high-frequency components are well restored in these approaches, unnecessary structures tend to be excessively generated, causing unpleasant artifacts and lowering the fidelity of SR results.
Inspired by the fact that humans generally focus on salient regions in an image, in this thesis, we propose a Salient-Object-Aware Super-Resolution Generative Adversarial Network (SOASRGAN) model that concentrates on salient objects in the given image. Unlike existing SR methods that restore all regions at the same degree, the proposed model performs SR by applying different attentions and loss functions depending on the saliency of the region.
First, we propose a method for computing the object saliency score by utilizing instance segmentation and saliency detection. Then, we extract the saliency feature map while predicting the scored mask. By providing the extracted saliency feature map to the proposed Salient-Object-Guided Attention (SOGA) module, the network can attend to the salient object area. Also, three loss functions and a relativistic average discriminator are employed to assign weights according to the saliency of objects. Our proposed method allows the SR network to treat each region differently based on salient objects. As a result, images generated by the proposed SOASRGAN demonstrate better visual quality than conventional methods on various datasets, maximizing the image quality of salient object regions and suppressing excessive generation of unnecessary structures that causes artifacts in background areas. To the best of our knowledge, this is the first attempt to induce discriminatory results guided by salient objects in the field of single image SR.
저해상도의 영상으로부터 고해상도의 영상을 복원하는 이미지 초해상화는 컴퓨터 비전 분야의 주요 과제이다. 최근 딥러닝 기술의 발전과 함께 다양한 기법들이 제안되고 있으며, 그 중에서도 적대적 생성 신경망 기반의 기법들이 각광을 받고 있다. 하지만 그러한 방법들은 고주파 성분의 질감과 구조를 복원해내는 동시에 불필요한 구조까지 과도하게 생성하여 아티팩트를 유발하고 원본 영상과의 유사도를 떨어뜨리는다는 문제점이 있다.
일반적으로 사람들이 영상을 볼 때 중요하게 인식하는 부분에 집중한다는 점에서 착안하여, 본 연구에서는 영상 내 유표(有表) 객체에 집중하는 적대적 생성 신경망 기반의 초해상화 모델 (SOASRGAN)을 제안한다. 모든 영역에 대하여 동등하게 복원을 진행하는 기존의 방법들과는 달리, 제안하는 모델은 영역의 유표도에 따라 어텐션과 손실함수를 달리 적용하여 초해상화를 수행한다.
본 연구에서는 사전 이미지 처리로써 객체 분할 데이터셋과 유표 물체 검출을 결합하여 영상 내 객체들의 유표도 점수화 방법을 제안하고, 객체 점수를 예측하는 과정의 유표 객체 특징맵을 추출한다. 추출된 유표 객체 특징맵을 제안하는 어텐션 모듈 (SOGA)에 적용하여 네트워크가 유표 물체들의 영역에 집중할 수 있도록 하였으며, 3개의 손실함수 및 상대적 판별기는 물체들의 유표도에 따라 가중치를 부여한다. 이 방법은 네트워크가 영상 내 객체 및 영역별 유표도를 학습하여 차별적으로 초해상화를 수행하도록 한다. 결과적으로 본 연구에서 제안한 초해상화 모델은 사람들이 주요하게 생각하는 유표 물체 영역의 화질을 극대화하고, 그 외의 배경 영역에서는 아티팩트를 유발하는 불필요한 생성을 억누름으로써 생성된 영상이 시각적으로 더 좋은 화질을 나타내는 효과를 가진다.
