As facial animation databases have been becoming rich, synthesis of facial animations by reusing existing animations has naturally attracted much attention in computer graphics. Keeping pace with this trend, we present a novel data-driven approach to facial animation consisting of expression cloning and expression capturing. The input to expression cloning can be either two sets of corresponding key models or two independent example animations for source and target face models. Given the source and target key models, we automatically extract a set of coherently-moving regions containing facial features to transfer the source face expressions into the target face model region by region. We skip the key model preparation in blend shape-based facial expression cloning by solving the following problem: Given an input animation together with two independent example animations for source and target face models, respectively, transfer the facial expressions in the input animation frame by frame from the source face model to the target face model. In order to provide the input example animations to expression cloning, we present a vision-based approach to capturing human face movements while improving time complexity for stereo matching and adopting elasticity theory for skin deformations.
최근 얼굴 애니메이션 데이터베이스의 양과 질이 날로 높아짐에 따라, 기존의 애니메이션 데이터를 재활용하여 원하는 얼굴 애니메이션을 손쉽게 생성하는 방식이 컴퓨터 그래픽스 분야에서 주목받고 있다. 이러한 최신 경향을 따라서, 본 논문에서는 표정 복제와 표정 포착, 두 부분으로 이루어진 새로운 데이터구동 얼굴 애니메이션 방식을 제안한다. 표정 복제의 입력은 소스 키모델과 그에 해당하는 타겟 키모델의 집합이 될 수도 있고, 소스 모델과 타겟 모델 각각에 대한 독립적인 예제 표정 애니메이션이 될 수도 있다. 키모델이 입력으로 주어지면, 응집되게 움직이는 특징적인 얼굴 영역들을 자동으로 추출하고 표정 복제가 각 영역별로 이루어 지도록 한다. 또한 다음 문제를 해결함으로써 혼합에 기반한 얼굴 표정 복제에서 키모델 준비과정을 생략할 수 있음을 보인다: 소스 모델과 타겟 모델, 각각에 해당하는 독립된 예제 애니메이션으로부터 입력 애니메이션의 소스 모델 표정을 타겟 모델로 매 프레임마다 복제한다. 이러한 예제 애니메이션을 생성하기 위하여 실제 사람의 얼굴 움직임을 포착할 수 있는 컴퓨터 비젼 기술을 제안한다. 기존 방식과 비교하여 스테레오 매칭에 걸리는 시간을 줄이고, 사실적인 피부 움직임을 위해 탄성 이론을 도입한다.
