Face alignment is an essential preprocessing task for face recognition, facial expression analysis, face tracking and other face-related computer vision methods. Especially, it is very crucial in an unconstrained environment since a result of face alignment provides useful information about size, position, rotation, head pose, expression of a face. Active Shape Model(ASM) is one of representative method for face alignment and Constrained Local Model(CLM) shows promising performance recently. CLM is a 2D extension of ASM which uses a joint statistical model of global shape and local landmark detector. it generally shows reasonable performance but often ends with local optima solution when there is an extreme pose or expression variance. In this thesis, we suggest a method to detect local optima by learning response surfaces around the aligned landmarks. We concentrate specific partial misaligned cases which are frequently observed in practice. By detecting partial misalignment, the result of face alignment can be improved by re-initializing or model changing.
얼굴 정렬은 얼굴 인식, 표정 인식, 얼굴 추적 등의 컴퓨터 비전 관련 분야에서 필수적인 전처리 과정의 하나로서 얼굴의 위치, 크기, 표정, 포즈에 대한 정보를 제공하여 이후의 인식 과정의 성능에 직접적인 영향을 끼친다. 특히 최근에는 제약 조건이 없는 환경 하에서의 얼굴 인식과 같은 수요가 증대됨에 따라 환경의 변화에 견고한 얼굴 정렬에 대한 수요가 증가하고 있다. 얼굴 정렬의 주요 방법으로는 Active Shape Model(ASM)을 기반으로 한 방법들이 사용되고 있으며 최근에는 로컬 랜드마크 검출기와 전역 형태 제약 조건을 사용하는 ASM 기반의 모델인 Constrained Local Model(CLM)이 좋은 성능을 보여주고 있다. 그러나 이러한 ASM 기반 모델들은 큰 표정이나 포즈의 변화가 있을 경우 지역 최적해에 쉽게 수렴하여 얼굴 정렬의 정확도가 떨어지는 경향이 있다. 이 학위 논문에서는 랜드마크 주위에서 반응 표면의 형태를 학습하여 이러한 지역 최적해에 수렴하였을 때 발생하는 부분적인 부정렬을 검출하는 방법을 제안한다. 특히 이 연구에서는 실제 실험에서 가장 자주 나타나는 얼굴의 부분적인 좌, 우 외곽선의 부정렬을 대상으로 이를 검출하고 재정렬하는 것으로 제안된 방법의 타당성을 실험을 통해 검증하였다. 실험 결과는 부정렬을 검출 및 재정렬하는 방법을 통하여 오류를 효율적으로 감소시킬 수 있음을 보여주었다.
