Face Super-Resolution (SR) is a subfield of the SR domain that specifically targets the reconstruction of face images. The main challenge of face SR is to restore essential facial features without distortion. We propose a novel face SR method that generates photo-realistic 8$\times$ super-resolved face images with fully retained facial details. To that end, we adopt a progressive training method, which allows stable training by splitting the network into successive steps, each producing output with a progressively higher resolution. We also propose a novel facial attention loss and apply it at each step to focus on restoring facial attributes in greater details by multiplying the pixel difference and heatmap values. Lastly, we propose a compressed version of the state-of-the-art Face Alignment Network (FAN) for landmark heatmap extraction. With the proposed FAN, we can extract the heatmaps suitable for face SR and also reduce the overall training time. Experimental results verify that our method outperforms state-of-the-art methods in both qualitative and quantitative measurements, especially in perceptual quality.
영상 복원의 하위 연구로서, 얼굴 영상 초해상도 복원은 저해상도 얼굴 영상을 고해상도로 복원하는 연구이다. 얼굴 영상 초해상도 복원의 핵심은 얼굴 특징을 왜곡하지 않고 복원하는 것이다. 우리는 사실적인 초해상도 얼굴 영상을 생성하는 새로운 얼굴 초해상도 복원 방법을 제안한다. 이를 위해, 네트워크를 연속적인 단계로 분할하여 안정적인 훈련이 가능한 점진적 학습 방법을 채택하였다. 각 단계는 점차적으로 높은 해상도의 이미지를 생성한다. 또한, 픽셀 차이와 히트 맵 값을 곱하여 얼굴 속성을 자세하게 복원하도록 하는 새로운 얼굴 집중 손실 함수를 제안한다. 마지막으로, 랜드 마크 히트 맵 추출을 위한 최신 얼굴 정렬 네트워크의 압축 버전을 제안한다. 제안된 얼굴 정렬 네트워크는 얼굴 초해상도 복원에 적합한 히트맵을 추출하고, 네트워크 전체 학습시간을 줄일 수 있다. 정성적, 정량적 분석에서 우리의 방법이 기존의 연구의 성능을 능가하고, 특히 지각적 품질 측면에서도 뛰어난 것을 보였다.
