Increasingly, realistic animations use facial animation retargeting to easily obtain realistic facial motion. Previous retargeting research has mainly focused on developing reliable capture and retargeting methods to achieve plausible recreation of the source motion on the target face. However, in order to create a high quality retargeted facial animation for offline applications, animators` modification after retargeting also needs to be intensively investigated. The modification process takes the largest amount of time in the whole pipeline and decides the final quality of the animation. In this dissertation, novel retargeting and editing methods that are designed to facilitate the animators` modification process are presented.
First, spacetime expression cloning technique is presented. Global optimization that minimizes the difference of movement between the source and the target face generates a consistent retargeting results. Most importantly, spacetime editing which smoothly propagates animator`s modification at a frame across the neighboring frames allows efficient editing. Improved retargeting results in the presence of constraints and spacetime editing were not available in previous per-frame animation retargeting approaches.
Second, weighted pose space editing method is presented. Nonparametric regression technique controls the artist`s additional sculptings that are created on problematic expressions. Weighted pose space approach effectively employs appropriate editings and reduces the required number of editings. The comparison with current production solution shows that the suggested method outperforms the current solution and is intuitive for animators to use.
Finally, artist friendly facial animation retargeting presents a set of retargeting and editing techniques that are developed based on careful observation and analysis of animators` manual editing of retargeted results. Localized sequential retargeting creates a similar set of blendshape weights to those that have been produced by animators. Graph simplification effectively produces editable animation graphs while preserving salient features of the original retargeting. GUI controllers for animators` keyframing are automatically created based on the blendshape information.
The set of proposed techniques offers improved retargeting results and convenient modification methods. Consequently, they greatly reduce time and effort required by artists to achieve high quality facial animation.
본 박사학위 논문은 고품질 얼굴 애니메이션을 위한 얼굴 애니메이션 리타겟팅과 아티스트의 에디팅을 위한 새로운 기술들을 소개한다. 리타겟팅을 수행한 후 거치게 되는 아티스트의 에디팅은 고품질 얼굴 애니메이션을 만들기 위해 거치는 필수적인 과정이지만 과거의 연구들에서 주목 받지 못했던 부분이다. 본 논문은 연속된 두 프로세스에서 발생하는 비효율적인 문제들에 대한 솔루션으로 효과적인 리타겟팅 방법들 (``스페이스타임 얼굴 표정 복제 방법", "순차적 리타겟팅 방법") 및 에디팅 방법들 (``웨이티드 포즈 스페이스 에디팅 방법", "GUI 자동 생성과 그래프 간소화 방법") 을 제시한다. 각각의 기술에 대한 간략한 요약은 다음과 같다.
스페이스타임 얼굴 표정 복제: 실용적인 얼굴 애니메이션 리타겟팅의 목표는 소스의 애니메이션을 타겟 얼굴에 적절히 옮겨주는 것과 동시에 애니메이터의 손쉬운 추가 에디팅을 지원할 수 있어야 한다는 것이다. 기존의 리타겟팅 방법들이 각각의 프레임에 대해서 따로 리타겟팅을 수행했던 것과는 다르게 본 방법은 전후 프레임간의 위치 변화량을 맞추는 방법으로 리타겟팅에 접근한다. 소스와 타겟 얼굴에 지정한 마커들의 속도 차이를 최소화 시키고, 적합한 시작과 끝 경계 조건을 추가함으로써 리타겟팅 문제는 Poisson problem을 푸는 문제로 해석되어 질 수 있다. 추가적으로, 리타겟팅 과정에서 타겟이 되는 블렌드쉐입 기반 얼굴의 특성을 반영하기 위해 타겟 얼굴의 표현 범위를 prior 확률 모델로 만들고 Poisson problem과 함께 풀어 리타겟팅을 수행한다. 이와 같이 전체 애니메이션을 한번에 풀어내는 ``속도 도메인" 기반 리타겟팅 방식의 장점은 다음과 같다. 첫째, 리타겟팅이 완료된 애니메이션의 특정 프레임을 아티스트가 수정했을 때, 그 수정 효과가 주변 프레임으로 부드럽게 전달된다. 이런 방식을 통해 애니메이터들은 지루하고 시간이 많이 걸리는 에디팅 과정의 효율을 높일 수 있다. 둘째, 리타겟팅에 임의의 제약 조건이 주어졌을 때에도 본 방법은 좋은 퀄리티의 리타겟팅 결과를 만들어 낸다. 이 방법을 통해 각각의 프레임들을 따로 리타겟팅 하던 기존 방법들의 한계점들을 극복했다는 것이 본 방법의 핵심적인 장점이다.
웨이티드 포즈 스페이스 에디팅: 얼굴 애니메이션을 위해 가장 많이 사용되는 방법은 아티스트가 직접 모델링한 다양한 블렌드쉐입들의 linear combination을 이용하는 것이다. 하지만 한정된 숫자의 기본적인 블렌드쉐입으로는 애니메이션 과정 중에 필요한 다양한 표정들을 모두 포괄할 수 없고, 필요할 때마다 추가적인 세부 수정을 만들어 넣는 것이 필요하게 된다. 제시된 방법은 위와 같은 상황에서 추가로 제작된 수정사항들이 차후에 다시 필요하게 될 때, 기대하는 수정 효과가 나타나도록 만들어 준다. 기본적인 블렌드쉐입들의 weight들이 non-parametric regression을 이용하여 추가 수정사항들을 작동하게 만들고, local weighting 방법을 적용하여 한 번 만들어진 수정 사항이 다양한 표정입력에 대응할 수 있도록 한다. 현재 프로덕션에서 이용되고 있는 에디팅 방법과 본 방법을 비교하여 제시된 방법이 고품질 얼굴 애니메이션을 만드는데 필요한 아티스트의 시간과 노력을 효과적으로 줄일 수 있다는 것을 보여준다.
아티스트 친화적 얼굴 애니메이션 리타겟팅 방법: 본 연구는 리타겟팅 기반 고품질 얼굴 애니메이션을 제작하는 아티스트들의 작업을 자세히 관찰한 것에 근거하여 작업 효율을 높일 수 있는 세 가지 기술들 (순차적 리타겟팅, 그래프 간소화 방법, GUI 자동 생성 방법)을 제시한다. 순차적 리타겟팅 방법은 아티스트의 수작업 키프레임 애니메이션의 결과와 비슷한 애니메이션 그래프들을 만들어 낼 수 있는 리타겟팅 방법이다. 아티스트의 수작업 결과물과 매우 다른 애니메이션 그래프를 만들었던 기존 방법들과는 달리, 본 방법을 이용함으로써 애니메이터는 리타겟팅 결과에 최소한의 수정을 가해 고품질의 최종 결과를 얻어 낼 수 있다. 리타겟팅 결과로 나온 그래프는 매프레임 키를 가지고 있어 세밀한 에디팅을 위해서는 이를 간소화 시키는 과정이 필요하다. 제시된 그래프 간소화 방법은 중요한 특징들을 보존하며 효과적으로 그래프를 간소화 시켜준다. 아티스트의 수동 키프레임 작업을 위해 GUI 콘트롤러를 자동으로 생성하는 방법도 제시되었고, 제시된 방법들을 이용하여 높은 품질의 얼굴 애니메이션을 효율적으로 얻을 수 있음을 보여준다.
본 논문의 방법들은 얼굴 애니메이션 연구에 새로운 알고리즘을 도입하였고, 애니메이션 기술 개발에 아티스트의 작업 방식을 함께 고려하는 관점을 제시하여 비슷한 연구 흐름을 촉진 시킬 수 있다. 영화와 같은 오프라인 어플리케이션에 필요한 고품질 애니메이션의 경우, 아티스트의 수작업은 최종 퀄리티를 결정하는 필수적인 단계이기 때문에, 아티스트의 과도한 노동력 투입을 절감하는 기술들의 개발은 비주얼 이펙트 산업에 중요한 공헌을 할 수 있다. 본 논문에서 제시하는 방법들과 결과물들은 고품질 얼굴 애니메이션 제작을 목표로 하는 프로덕션의 효율성 향상에 실질적인 도움을 줌을 보인다. 더 많은 정보를 캡쳐하는 새로운 모션 캡쳐 방법들과 복잡도가 높은 CG 얼굴 모델들을 이용한 리타겟팅과 에디팅 기술들의 개발, 아티스트 친화적 기술 개발에 필요한 사용자 테스트 방법의 연구, 최적화 된 얼굴 마커 배치를 판단하는 방법 개발은 본 논문의 연구가 확장되어야 할 방향이다.
