Editing hairstyle is unique and challenging due to the complexity and delicacy of hairstyle. Although recent approaches significantly improved the hair details, this is achieved under the assumption that a target hair and a source image are aligned. HairFIT, a pose-invariant hairstyle transfer model, alleviates this assumption, yet it still shows unsatisfactory quality in preserving delicate hair textures. To solve these limitations, we propose a high-performing pose-invariant hairstyle transfer model equipped with a latent optimization and a newly presented local-style-matching loss. In the StyleGAN2 latent space, we first explore a pose-aligned latent code of a target hair with the detailed textures preserved based on local-style-matching. Then, our model inpaints the occlusions of the source considering the aligned target hair and blends both images to produce a final output. The experimental results demonstrate that our model has strengths in transferring a hairstyle under higher pose differences and preserving local hairstyle textures.
기존 헤어스타일 변환 모델은 목표 헤어스타일의 특징을 성공적으로 반영하지만, 변환할 이미지와 목표 헤어스타일의 포즈가 다를 경우 성능의 한계를 보인다. 최근 다양한 포즈에 강건한 헤어스타일 변환 모델이 제안되었지만, 헤어스타일의 섬세한 특징을 보존하는 데에는 여전히 한계를 지닌다. 이를 해결하고자, 본 연구에서는 고성능의 생성 모델 잠재 공간 최적화를 기반으로 한 헤어스타일 변환 모델을 제안한다. 우선, 잠재 공간 최적화를 통해 목표 헤어스타일의 포즈를 변환할 이미지에 맞게 조정한다. 이때, 헤어스타일의 지역적 특징을 고려한 손실 함수를 통해 헤어스타일의 섬세한 특징을 보존한다. 이어서, 잠재 공간 최적화를 통해 변환할 이미지의 가려진 부분을 채우고, 포즈가 조정된 목표 헤어스타일을 합성한다. 성능 평가를 위해, 다양한 포즈의 이미지 데이터셋을 활용하여 헤어스타일 변환 및 재건 등의 실험을 진행하였고, 본 연구에서 제안하는 모델이 기존 모델들에 비해 더 나은 성능을 보였다.
