In deep learning based single image super-resolution (SISR), perceptually realistic super-resolution (SR) approaches such as the super-resolution generative adversarial network (SRGAN) tend to produce rather unrealistic human faces while producing realistic natural textures in SR images. Since the human visual system is found to be very sensitive to human faces, their image quality may be critical in perceiving SR images containing faces. In this work, we aim to build a novel training framework for a SISR network to achieve plausible looking faces with high perceptual quality as well as natural textures in an arbitrary image. To address this problem, we adopt two schemes in the training stage: a face training scheme to effectively handle faces of various sizes in images and a new training strategy in the up-scaled image domain. These allow the network to provide more realistic face SR performance regardless of the size of faces in the image while providing realistic SR performance in the texture area. Via quantitative and qualitative performance comparisons with a state-of-the-art method pursuing perceptual realism of textures, it is verified that the proposed methods noticeably improve the perceptual quality in the face region in images, while maintaining similar performance in the remaining regions.
딥 러닝 기반 단일영상 초해상도 기법들 중에서 SRGAN과 같이 인지적으로 사실적인 초해상도 영상을 생성하는 방식의 기존의 결과 영상들에서는 사실적인 자연 텍스쳐를 생성하는 반면 비현실적인 사람 얼굴을 생성하는 경향이 있다. 사람의 시각 시스템은 사람 얼굴에 대해 매우 민감하기 때문에, 얼굴이 포함된 초해상도 영상을 인식하는데 있어 얼굴 부분의 영상 품질이 중요하다. 본 연구에서는 단일영상 초해상도화 신경망을 위한 새로운 학습 프레임워크를 구축하여 초해상도 영상에서 자연스러운 고해상도 텍스쳐와 더불어 높은 지각 품질의 얼굴을 생성하는 것을 목표로 한다. 이 문제를 해결하기 위해, 학습단계에서 두 가지 방법을 채택하였다. 다시 말하면, 영상에서 다양한 크기의 얼굴을 효과적으로 처리하는 얼굴 훈련 방법과 확대 된 영상 영역에서의 새로운 훈련 전략이다. 이를 통해 네트워크는 얼굴 영역에서 그 크기에 관계없이 보다 현실적인 고해상도 영상을 제공하는 동시에 텍스쳐 영역에서도 사실적인 고해상도화 영상을 제공한다. 텍스쳐의 지각적 사실감을 추구하는 기존의 최첨단 방법과의 정량적, 정성적 성능 비교를 통해 제안된 방법이 얼굴 이외의 다른 영역에서는 유사한 성능을 유지하면서 얼굴 영역의 지각 품질을 눈에 띄게 향상시키는 것을 확인하였다.
