Face super-resolution (SR) is the task restores an input low-resolution (LR) face image to a high-resolution (HR) face image. When the HR image is downsampled into the LR image, the image loses the existing information. For this reason, there are a number of HR images corresponding to the LR image. Although there have been many advances in this area, previous approaches have not eliminated the uncertainty caused by stochastic attributes which only can be probabilistically inferred and therefore their result images were blurry because the network has a duty to reflect all possibilities in the single output image. In this paper, we propose a novel method to remove the uncertainty that has not been eliminated on previous works in the learning process. First of all, we separate the information of LR images into stochastic and deterministic attributes related information using a Residual Encoding Framework. For the extracted stochastic attributes, we select the most likely attributes by sampling and added it to the middle of face SR network process to eliminate the uncertainty that the network faces in the restoration process. Furthermore, we propose a Input Conditional Attribute Predictor and train it separately to be able to predict the stochastic attributes only from LR images. We evaluate the proposed method on UTKFace and CelebA datasets, and as a result confirm that our method can successfully eliminate the uncertainty in learning process and restore the stochastic attributes more clearly.
얼굴 초해상화는 저해상도 얼굴 이미지로부터 고해상도 이미지를 유추하는 문제이다. 고해상도 이미지가 저해상도로 열화되는 과정에서 본래 가지고 있던 정보의 일부를 손실하게 되므로 저해상도 이미지로부터 유추될 수 있는 고해상도 이미지는 다수가 존재한다. 최근 수년간 이 분야에서 많은 발전이 있었지만 기존의 접근 방식들은 확률적으로 유추될 수밖에 없는 특징들로부터 야기되는 불확실성을 제거하지 않았고, 이로인해 단일 이미지에 다수의 가능성을 표현해야 하여 복원된 이미지가 흐릿할 수밖에 없다는 한계를 가지고 있다. 이 논문에서는 기존 초해상화 네트워크의 학습 과정에서 제거되지 않았던 불확실성을 제거하기 위해 새로운 방법을 제안한다. 먼저, 잔여 암호화 구조(Residual Encoding Framework)를 사용하여 정보의 손실로 인해 확률적으로 유추할 수밖에 없는 특성과 결정적으로 알아낼 수 있는 특성을 저해상도 이미지로부터 분리한다. 분리된 확률적 특성에 대해서는 추출(Sampling)과정을 통하여 가장 높은 가능성으로 일어날 법한 특성을 선정하고, 이를 초해상화 과정의 중간부에 첨가함으로써 초해상화 네트워크가 복원과정에서 직면하게 되는 불확실성을 제거하였다. 또한 입력 조건부 특징 예측자(Input Conditional Attribute Predictor)를 별도로 학습하여 추론 단계에서 입력 이미지만으로 확률적 특성을 예측할 수 있도록 했다. 우리는 제안한 방법을 UTKFace와 CelebA 얼굴 데이터셋에 대해서 평가하였고, 그 결과 우리의 방법이 기존 학습 방식에서의 불확실성을 성공적으로 제거하여 확률적 특성들을 보다 선명하게 복원해낼 수 있음을 확인하였다.
