Face motion is composed of rigid motion and non-rigid motion. The rigid motion occurs from movements of the human head and the non-rigid motion derives from human's facial expression. In this dissertation, we present a technique for estimating these rigid/non-rigid motions of the human face simultaneously. First, we test whether the face motion is rigid. If it is rigid motion, we estimate the translation and rotation parameters over image sequences. Otherwise, the non-rigid motion parameters based on the spring-mass-damper (SMD) model are estimated using optical flow. We separate the rigid motion parameters explicitly from the non-rigid parameters for parameters de-coupling, so that we can achieve the face motion estimation more accurately and more efficiently. We will describe the details of our methods and show their efficacy with experiments.
일반적인 환경에서 카메라로부터 들어오는 얼굴 영상은 분석하기에 매우 복잡한 양상을 보이는데, 그 이유는 머리의 움직임과 표정 등이 섞여 있기 때문이다. 본 논문에서는 얼굴 영상에서는 나타나는 다양한 모션을 분석하여 원하는 정보를 추출하는 것을 목표로 한다. 얼굴 모션은 강체 모션과 비강체 모션으로 분류될 수 있다. 강체 모션은 머리의 움직임으로 부터 발생하며, 비강체 모션은 표정 변화로 부터 발생한다. 본 논문에서는 얼굴 모션을 추정하기 위해 강체 모션과 비강체 모션의 모델을 정의했는데, 머리 움직임으로 부터 발생하는 강체 모션에 대해서는 이동, 회전 파라미터를 포함한 모델을 정의하고, 비강체 모션에 대해서는 힘을 파라미터로 하는 SMD (Spring Mass Damper)모델을 제안하였다. 또한 이모델을 이용하여 다양한 시뮬레이션과 추정 실험을 통하여 이 모델의 효용성과 타당성을 보였다.
또한 강체 모션과 비강체 모션이 혼재된 혼합모션에 대해서는 그 모션을 제거하는 알고리즘과, 강체 모션 / 비강체 모션을 테스트하는 알고리즘을 제안함으로써 실제 환경에서 적용가능성을 보였다.
본 논문의 기여점은 기존의 연구에서는 머리의 움직임이나 얼굴의 표정 등 제한된 상황에 대해서만 고려한점에 비해 본 논문에서는 다이나믹한 얼굴 영상에 대해 발생하는 다양한 움직임에 대해서 고려하였다. 또한 제안한 모델은 시뮬레이션과 추정의 경우에 모두 사용가능한 장점이 있어서 많은 응용분야 (가상현실, 증강현실, HCI 등)에 적용이 가능하다.
