This paper investigates the estimation of 3D head poses and its application to face recognition with a partial ellipsoid model. A human face provides a variety of different communicative functions such as identification, the perception of emotional expression, and lip-reading. For these reasons, many applications in robotics and computer vision fields require tracking and recognizing a human face. Since face space as a subspace of image space is highly nonlinear and non-convex, face recognition evaluation reports and other independent studies indicate that the performance of many state-of-the-art face recognition methods deteriorates with changes in pose, illumination, and other disturbing factors, among which pose variation is the most difficult one to deal with. Therefore, face registration is the key of robust face recognition. If we can register face images with pose variations into frontal views, the recognition task would be much easier. To align a face image into a canonical frontal view, we need to know the 3D pose information of a human head.
In this dissertation, a simple method for modeling a human head as a partial 3D ellipsoid is firstly introduced. A 3D ellipsoid is a reasonable approximation to the shape of the actual head and can be easily initialized by a simple 2D face detector. For face detection and model initialization, a novel approach, which is based on the discriminative MspLBP features selected by a boosting technique called Ada-LDA, is presented.
Generally, 3D model-based tracking with a single camera is not robust to fast and large out-of-plane rotations and especially movement in depth (along camera Z-axis). To cope with large out-of-plane rotations and depth-motion, we extend conventional 3D model-based tracking with a single camera to a stereo-based framework. To achieve robust motion estimation even under time-varying lighting conditions, we incorporate online illumination correction into the aforementioned framework. We approximate the face image variations due to illumination changes as a linear combination of illumination bases. Also, by computing the illumination bases online from the registered face images, after estimating the 3D head poses, user-specific illumination bases can be obtained, and therefore illumination-robust tracking without a prior learning process can be possible. Furthermore, our unified stereo-based tracking is approximated as a linear least-squares problem; a closed-form solution is then provided.
In addition, we present two refinement methods for solving the drift problem inherent in differential motion estimation. These methods are based on 3D-to-3D registration with SIFT features. In Refinement I, by assuming small rotations between the actual head pose and estimated pose, where the latter is computed by unified stereo-based tracking including illumination correction, 3D-to-3D registration is approximated as a linear least-squares problem. A closed-form solution is then provided. In Refinement II, a direct optimization method that does not assume small rotations is introduced by using constrained nonlinear optimization.
After recovering full motion of the head, face images with pose variations can be registered into stabilized view images, which are suitable for pose-robust face recognition. Face images are back-projected to the surface of the 3D ellipsoid under their estimated poses and registered into stabilized view images. By doing so, simple and efficient frontal face recognition can be easily carried out in the stabilized texture map space, which is nearly linear separable, instead of the original input image space that is highly complex and nonlinear.
We performed extensive experiments to verify the feasibility and applicability of our approach. For verifying the feasibility of the partial 3D ellipsoid model, we used 45 image sequences with ground truth from Boston University. Also, to demonstrate the feasibility of our proposed 3D head-tracking framework, we performed extensive experiments with two sets of challenging stereo image sequences. Two experiment sets of stereo image sequences were collected with a stereo vision module, and ground truth data was simultaneously collected via a 3D magnetic sensor. Extensive face recognition experiments were also conducted on the Yale Face Database B and our laboratory face database by using three linear subspace-based classification methods such as PCA, PCA+LAD, and DCV.
본 논문은 부분 타원체 모델을 이용하여 입력 영상에서 얼굴의 삼차원 포즈를 강인하게 추정하고 추정된 삼차원 포즈 정보를 이용한 포즈 변화에 강인한 얼굴 인식 방법을 다룬다.
사람의 얼굴은 인식이나 감정의 표현 등과 같은 유용한 의사소통의 기능을 제공한다. 이러한 이유로 얼굴 추적이나 인식은 로봇 공학과 컴퓨터 비전의 많은 응용 분야에서 그 필요성이 증대되고 있다. 이미지 공간의 부분 공간으로서의 얼굴 공간은 비선형과 복잡성으로 인해서 얼굴 이미지 상에서의 포즈, 조명, 표정, 가려짐 그리고 그 이외의 다른 요인들의 변화에 의해 얼굴 인식의 성능이 상당히 저하되는 것이 여러 다양한 연구들에서 보고되고 있다. 따라서 효율적인 얼굴 인식 시스템은 얼굴 이미지상에서의 포즈, 조명 그리고 표정의 변화에 강인하게 작용해야 한다. 이러한 요인 중에서 특히 삼차원 포즈의 변화가 얼굴 인식을 가장 어렵게 하는 요인으로 보고되고 있다. 따라서 얼굴 정합이 강인할 얼굴 인식의 핵심이 된다. 포즈의 변화를 가지고 있는 얼굴 이미지를 정면 얼굴로 정합할 수 있다면 얼굴 인식은 훨씬 용이해지고 높은 인식률을 제공할 수 있을 것이다. 이처럼 회전을 가지는 얼굴 이미지를 정면 얼굴로 정합하기 위해서는 이미지상의 얼굴의 삼차원 포즈를 알아야 한다.
이를 위해 본 논문에서는 먼저 사람의 머리를 효과적으로 표현하기 위해 부분 삼차원 타원체로 모델링 하는 방법을 제안하고자 한다. 삼차원 타원체는 실제 사람의 머리 모양을 효과적으로 근사화하고 간단한 이차원 얼굴 검출기로 쉽게 초기화 될 수 있다. 그리고 이러한 모델을 자동적으로 초기화하기 위해 MspLBP 특징점과 Ada-LDA 학습 알고리즘에 기반한 정면 얼굴 검출 방법을 제안한다.
일반적으로 한대의 카메라를 이용한 모델 기반의 삼차원 추적 방법은 빠르고 큰 삼차원 회전과 특히 카메라 광축 방향의 움직임에 강인하지 못하다. 따라서 본 논문에서는 이러한 문제를 해결하기 위해서 기존의 단안 카메라 추적 시스템을 스테레오 구조로 확장하고자 한다. 스테레오 이미지를 사용함으로써 다른 시점에서의 이미지 정보를 이용할 수 있고 이로 인해 한대의 카메라를 이용한 시스템에 비해서 큰 삼차원 회전이나 카메라 광축 방향의 움직임에 강인하게 대처할 수 있다. 게다가 조명의 변화가 있는 환경에서도 강인한 포즈 추정을 위해 온라인 조명 모델링 기법을 앞서 말한 스테레오 구조에 통합시킨다. 또한 본 논문에서는 드리프트(Drift) 문제와 오차 누적을 해결하기 위해서 두 가지의 보정 방법을 제안하고자 한다. 온라인 조명 보상을 이용한 통합 스테레오 기반의 추적에 의해서 현재의 머리 포즈가 기준 포즈와 유사하게 추정되었을 때 현재의 포즈를 기준 포즈에 재 정합함으로써 인접 영상간의 포즈 추정에 의한 오차의 누적으로 발생하는 문제를 해결할 수 있다. 추적 오차 누적을 제거하기 위해서 시프트(SIFT) 특징점 기반의 삼차원 정합 방법을 이용한다.
위에서 제안한 방법을 이용해 얼굴의 삼차원 포즈를 정확하게 추정하면 포즈의 변화를 가지는 얼굴 이미지를 정면 얼굴 인식에 적합한 시점의 이미지로 안정화할 수 있다. 이렇게 함으로써 얼굴 인식이 복잡하고 비선형적인 오리지널 입력 영상 공간에서 수행되는 것이 아니라 선형 분리 가능한 텍스처맵 공간에서 쉽게 수행될 수 있고 이로 인해 높은 인식률을 제공할 수 있다.
제안하는 방법의 타당성과 유용성을 확인하기 위해 참값을 가지는 연속 영상들을 이용하여 여러 가지 다양한 실험을 수행하였다. 먼저 제안된 삼차원 머리 모델의 유용성을 확인하기 위해서 보스턴 대학의 연속 영상들에 대해서 삼차원 머리 포즈 추정 실험을 수행하였다. 실험 결과를 통해서 이차원 평면이나 삼차원 원통형 모델에 비해서 제안하는 타원체 모델을 사용했을 때 더 나은 포즈 추정 결과를 보임을 확인하였다. 다음으로 일정한 조명과 시간에 따라 변하는 조명하에서 획득된 연속 영상들을 이용하여 제안한 통합 스테레오 기반의 삼차원 얼굴 추적 실험을 수행하였고 실험을 통해 제안한 방법의 포즈 추정 방법이 기존의 단안 카메라 기반의 추적 방법에 비해서 월등한 성능 향상을 보임을 검증하였다. 그리고 제안한 머리 모델과 삼차원 포즈 추정 방법을 이용한 얼굴 인식 실험을 선형 부분 공간에 기반한 얼굴 인식 알고리즘을 이용하여 여러 가지 테스트 데이터베이스에 대해서 수행하였다. 이 실험을 통해서 제안한 타원체 모델과 삼차원 머리 포즈 추정 방법이 포즈 변화에 강인한 얼굴 인식을 가능하게 함을 확인할 수 있었다.
