While facial animation capturing focuses on accurate reconstruction of actor's performance, facial animation retargeting has the goal to transfer the animation to another character so that the semantical meaning of the animation remains. Because of the popularity of blendshape animation, this effectively means to compute suitable weights for the given character.
Current approaches produce reasonable results when facial proportions of actor and target are similar, which is not the case if stylized characters for games or movies should be animated using facial capturing.
Alternatively, methods exists that learn a mapping from examples of matching expressions to guarantee semantic equivalence.
Our approach can reliably retarget facial animations from a real actor to a stylized character without any additional examples.
In detail we present a new algorithm for automatic blendshape adjustment that is based on the insight that facial motion retain a high level of similarity even for characters of different proportions. Given a sequence of facial motion for training and correspondences for the markers our method is capable, drawing inspiration from Graph-based and Manifold Alignment techniques, to adjust the blendshapes of our target character without any further user interaction. In addition, we incorporate a simple, yet elegant facial prior based on discrete differential properties to guarantee smooth mesh deformation.
페이셜 애니메이션 캡처는 배우의 디테일한 표정 연기를 정확하게 재구성하는 데 중점을 두고 있 반면 페이셜 애니메이션 리타겟팅은 애니메이션의 전달하고자 하는 의미론적인 내용이 유지되도록 동작 및 표정을 다른 캐릭터로 전달하는 것을 목표로 한다. 페이셜 애니메이션 생성에는 블렌드쉐입 애니메이션 방법이 널리 활용되기 때문에, 대상이 되는 캐릭터에 적합한 가중치를 계산하는 방법으로 리타겟팅이 이루어 진다.
기존의 방법에서는 배우와 대상 캐릭터가 얼굴 형태의 비율이 비슷할 때 좋은 결과를 산출하나, 그렇지 못한 현실 보다 과장된 게임이나 영화의 캐릭터들의 경우에서는 좋은 결과를 얻기가 힘들다. 그에 따른 대안으로는 의미론적으로 동등함이 보장된 대응 표현 예제들을 통해 학습시키는 데이터 기반 방법이 있다.
본 논문은 추가적인 예제들 없이 실제 배우로부터 현실 보다 과장된 캐릭터들로 페이셜 애니메이션을 안정적으로 리타겟팅 할 수 있는 방법을 제안한다. 우리가 제안하는 자동화된 블레드쉐입 조정을 위한 새로운 방법은 얼굴 표정의 움직임이 다른 비율의 캐릭터들에서도 높은 수준으로 유지된다는 관찰에서 시작된다. 우리의 방법은 그래프 기반 및 매니폴드 정렬 기법에서 영감을 얻어 시작되었으며, 학습을 위해 입력되는 얼굴 표정들에 대한 시퀀스들과 마커에 대한 대응이 주어지는 환경에 적용 가능하다.
우리의 방법은 정렬 기법을 사용하여 더 이상의 추가적인 사용자 상호 작용 없이 대상 캐릭터의 블렌드쉐입을 조정할 수 있다. 또한 이산미분속성들에 기반한 간단하면서도 우아한 얼굴 형태의 통계적인 사전 지식들을 활용하여 결과물의 매끄러운 메쉬 형태의 변형을 보장해준다.
