In this paper, we propose a novel unsupervised learning method for facial retargeting. The goal of facial animation retargeting is to transfer the animation of a source character to a target character while preserving the semantic meaning of the animation. These techniques are widespread throughout the entertainment industry due to their convenience. While numerous research has been studied for the last few years, traditional methods require manual blendshape data pairs, pairs of vertex points, or reconstruction of a facial mesh. Therefore, we propose a neural network-based method to retarget facial animation from one blendshape model to another blendshape model without a manual pairing process. By formulating the retargeting problem as an unsupervised image-to-image translation, our method translates the rendered image of the source model to the image of the target model. Additionally, the proposed method introduces a blendshape prediction network to extract the blendshape weights from the translated image enabling retargeting of blendshape animation.
본 논문에서는 심층학습 기술을 기반으로 학습된 신경망을 이용하여 얼굴 애니메이션을 리타게팅하는 새로운 방법을 제안한다. 얼굴 애니메이션 리타게팅 기술은 서로 다른 블렌드쉐입 모델 구조를 가지고 있는 두 모델에서 한쪽의 애니메이션을 다른 한쪽으로 전이하는 기술로, 캐릭터 애니메이션을 사용하는 엔터테인먼트 산업 전반에서 활발히 사용되고 있다. 그러나 기존의 방법은 수작업으로 제작한 블렌드쉐입 데이터쌍 혹은 버텍스쌍을 요구하거나, 얼굴 메쉬를 재구축하여 기존의 블렌드쉐입 구조를 유지하지 못한다는 한계를 지니고 있다. 따라서 본 시스템은 수작업으로 대응시킨 데이터셋 없이도 한 블렌드쉐입 모델에서 다른 블렌드쉐입 모델로 얼굴 애니메이션을 리타게팅할 수 있는 방법을 제안한다. 제안된 방법에서는 리타게팅 문제를 비지도 이미지 변환 문제로 공식화함으로써 소스 모델의 이미지를 의미상 같은 표정을 가진 타겟 이미지로 변환시킨다. 이후 블렌드쉐입 추론 네트워크를 이용해 변환된 이미지를 입력으로 블렌드쉐입 가중치를 추론함으로써 수작업으로 제작된 데이터쌍을 요구하지 않으면서도 의미상 일치하는 블렌드쉐입 가중치 리타게팅이 가능하다.
