This paper proposes a novel framework that manipulates facial expressions of a blendshape 3D face model using human-drawn 2D sketches. When the user submits a drawing of the desired facial expression, the framework samples the corresponding points of each predefined control points from the drawing. The control points are the movable pinning points that indicate the desired deformation of the 3D face model. The framework relocates positions of control points to follow the configuration of the corresponding points. The new location is encouraged to within the range of artist-defined deformable range of the 3D model. By doing so, the final deformation can be performed with the minimization of losing detail of user-intended shapes despite of the impreciseness of the hand-drawn sketch.
본 논문은 손으로 그린 2D 스케치를 통해 블렌드쉐입 3D 얼굴 모델의 표정을 조작하는 새로운 프레임워크를 제안한다. 사용자가 희망하는 얼굴 표정에 대한 그림을 제시하면, 본 프레임워크는 미리 정의된 조정점에 대응하는 점을 그림으로부터 샘플한다. 조정점들은 이동할 수 있는 핀 포인트로써, 3D 얼굴 모델의 희망하는 변형을 지시하는 역할을 한다. 본 프레임워크는 조정점들의 위치를 대응점들의 상대적 배치를 따르도록 재배치한다. 새로운 배치는 아티스트가 정의한 3D 모델의 변형 범위 내에 들어오도록 장려된다. 그렇게 함으로써, 손그림이 부정확하더라도 사용자가 의도한 형태의 세부를 최소한으로 손실하도록 최종 변형을 수행할 수 있게 된다.