This thesis addresses a method to interactively manipulate 3D facial expressions by dragging the facial elements of a 2D face model such as eyebrow, eyelid, or lip. Adopting a scattered data interpolation technique, our approach consists of two parts: analysis of face key-models and synthesis of facial expressions. In the analysis part carried out once at the beginning, both 2D and 3D key-models are automatically segmented into three regions, each containing one of three facial features, that is, the left eye, the right eye, and the mouth, which give rise to three sets of 2D control key-shapes and their corresponding sets of 3D subject key-shapes. Using the key-shapes of each 2D face feature, those of the corresponding 3D face feature are parameterized. In the synthesis part, given a sequence of 2D face models reflecting the animator's intension, the three 3D subject output features are obtained separately by blending their own 3D key-shapes. These separately-produced features are combined to synthesize the 3D
output face model at each frame. Our approach enables intuitive manipulation of 3D facial expressions with 2D interface while exhibiting an on-line, real-time performance.
본 논문은 예제 표정 모델이 정의된 3차원 가상 캐릭터가 주어졌을 때, 그와 유사한 특징을 가진 간단한 2차원 얼굴 모델을 이용해서 3차원 가상 캐릭터의 표정을 생성하고 제어하는 방법을 제안한다. 3개의 영역으로 나누어진 3차원 가상 캐릭터의 표정을 효과적으로 제어하기 위해서 그에 상응하는 2차원 얼굴 모델 역시 3개의 영역으로 분할한다. 각 예제 모델을 3개의 영역으로 나누면 각 영역에 대해서 예제 표정 모델로부터 예제 모양을 얻을 수 있다. 사용자로부터 미리 주어진 2차원 기본 예제 모양의 특징점들이 다른 2차원 예제 모양에서 어떤 위치로 사상되는가를 구한 뒤, 각 2차원 예제 모양의 특징점 좌표들을 이용해서 그에 대응되는 3차원 모델의 예제 모양들을 매개변수 공간에 위치시킨다. 사용자가 2차원 모델의 임의의 특징점을 선택해서 이동시키면, 동일 영역에 속하는 다른 특징점들도 그에 따라서 이동한다. 이 변위 벡터와 3차원 예제 모양별로 정의된 가중치 함수를 이용해서 가중치 값을 얻어 3차원 예제 모양들을 섞어서 얼굴 표정을 생성한다. 이 방법은 발음 정보만 주어진 립싱크(lip-sync) 애니메이션의 표정을 실시간에 제어하는 데도 적용시킬 수 있다. 본연구는, 간략하면서도 직관적인 2차원 모델을 이용해서 복잡한 3차원 얼굴 표정을 쉽게 생성 및 제어할 수 있게 함으로써, 얼굴 모델링 및 애니메이션에 필요한 노력과 시간을 단축시키는 데 기여한다.
