In this thesis, we present a new approach for on-line performance-driven facial animation. Our basic idea is capturing the facial motion from a real performer and adapting it to a virtual character in real-time. For this purpose, we address three issues: facial expression capture, facial example construction and facial animation.
We first propose a comprehensive solution for real-time facial expression capture without any devices such as head-mounted cameras and face-attached markers. Our scheme first captures the 2D facial features and 3D head motion exploiting anthropometrie knowledge and then captures their time-varying 3D positions only due to facial expression. We adopt a Kalman filter to track the 3D features guided by their captured 2D positions while correcting their drift due to 3D head motion as well as removing noises.
For real-time facial animation, we incorporate multiple face models, called "facial examples". Each of these examples reflects both a facial expression of different types and designer's insight to be a good guideline for animation. However, it is difficult to achieve smooth local deformation and non-uniform blending without any tools since a facial example consists of a set of vertices with few handles. In order to facilitate the local control of facial features, we present a method for extracting a set of wire curves[47] and deformation parameters from a facial example. The ex-tracted wire curves are used both for effectively representing a facial example and for deforming a face model.
Provided with those facial examples, we present a novel example-based approach for creating facial expressions of model to mimic those of face performer. The main issue is to find the best blend of facial examples according to the expression of face performer. Our scheme predefines the weight functions for the parameterized target examples based on radial basis functions. At runtime, given an input expression of face performer, we evaluate the blending weights for the tar-get examples by using the weight function. The resulting animation preserves the facial expressions of performer as well as the characteristic features of the target examples.
실제 연기자 얼굴에서 캡쳐한 표정을 가상캐릭터 애니메이션에 이용하는 문제가 컴퓨터 그래픽스 분야에서 연구되어 왔다. 그런데, 기존의 연구들은 연기자와 가상캐릭터의 특성이 상이한 경우를 거의 다루지 않고 있다. 본 연구에서는 가상캐릭터의 특성을 고려하여 연기 기반 표정 애니메이션을 온라인으로 생성하는 새로운 기법을 제안한다. 구체적으로 세 가지 주제, 표정 캡쳐, 표정 대입, 그리고 표정 애니메이션을 처리하기 위한 알고리즘들을 제시한다.
첫째, 연기자 얼굴에 부착하는 특징점이나, 머리에 장착하는 카메라 등의 특수장비를 사용하지 않고 실시간으로 표정을 캡쳐하는 방법을 제안한다. 인체측정학적 정보를 이용하여 눈, 코, 입 등 특징 부분의 외곽선을 추출하고, 표정과 무관한 몇 개의 특징점들을 기반으로 머리 움직임을 추적한 뒤, 칼만필터를 이용하여 머리 움직임으로 인한 오류를 보정하고 잡음을 제거한다.
둘째, 캡쳐한 표정과 유사한 표정 애니메이션을 생성하기 위해서, 연기자 표정을 가상캐릭터에 효과적으로 대입하는 기법이 필요하다. 연기자 표정에서 캡쳐한 특징점들의 변위는 표정 애니메이션에 필요한 템플릿간 혼합 가중치로 변환되어야 한다. 따라서, 특징점들의 변위를 파라메터로서 이용하여 표정 템플릿들을 파라메터 공간에 배치한 후, 이들 간의 혼합 가중치를 계산하기 위하여 분산 데이터 보간법을 도입한다. 제안한 표정 대입 알고리즘은 실시간으로 동작하며 연기자와 가상캐릭터 간의 상이한 특성을 수용할 수 있고 표정의 과장과 완화도 표현할 수 있다.
마지막으로 표정 애니메이션을 실시간으로 생성하기 위하여 희로애락 등의 서로 다른 감정을 반영하는 표정 템플릿들을 도입한다. 이들은 애니메이션 가이드라인을 제시하는 반면, 대부분 제어구조 없이 정점들로 구성되어 있어서 국소적 변형과 비획일적 혼합을 어렵게 하는 단점이 있다. 이러한 점을 극복하기 위하여 표정 템플릿에서 와이어 곡선과 변형 파라메터를 추출하는 방법을 제안한다. 이때, 혼합 가중치 기반으로 와이어 곡선들을 혼합한 후, 무표정의 기본 모델에 적용하여 새로운 표정 모델을 생성한다. 실험을 통해, 제안한 기법이 표정 템플릿에서 와이어 곡선을 정확하게 추출해 내고 표정 애니메이션에 효과적으로 사용될 수 있음을 보였다.
