Facial landmark localization is important task in various face applications such as face verification, identification, and tracking.
It is a key pre-processing step in achieving high performance in an unconstrained environment, that includes pose variation among others such as occlusion and variation to illumination.
In this thesis, the facial landmark is considered to be a linear combination of pose-inspired landmarks, and facial landmark and pose are jointly estimated using the proposed boosted parallel random ferns in a forward stage-wise manner.
To cope with displacement in pixel indices when projecting a 3D face on a 2D face image, pose-landmark indexed feature is introduced.
The method achieves state-of-the-art performances in both facial landmark localization and pose estimation on the LFW and the MultiPIE datasets.
얼굴에서의 특징 점 추출은 얼굴 인식과 추적 등과 같은 실제 얼굴 관련 어플리케이션에서 중요한 과정이다. 실제 환경에서 얼굴 이미지에 존재하는 포즈, 가림, 빛 변화와 같은 여러 가지 변화에도 높은 성능을 얻기 위해서 정확한 얼굴 특징 점 추출 기술이 필요하다.
본 학위 논문에서는 얼굴 특징 점들을 모델링 하여 몇 개의 매개변수(Parameter)로 나누는 기존의 방법들과 달리, 얼굴 특징 점들을 하나의 벡터로 생각하여 회귀(Regression)을 이용하였다. 기존의 모델링의 통한 얼굴 특징 점 추출 방법들은 추정 시 목적 함수(Object function)을 통해 최적의 매개변수를 찾는 방식이다. 그러나 여기서 찾아진 최적의 매개변수를 통한 얼굴 특징 점 표현은 실제 얼굴 특징 점 에러를 최소화한다는 보장이 없다. 위 방식 달리 얼굴 특징 점을 하나의 벡터로 생각하여 회귀방식을 이용한다면, 실제 얼굴 특징 점 에러를 최소화 시키는 방식으로 학습이 진행된다. 또한 최적화 방법을 통하여 Parameter값을 찾는 것이 아니라 저장되어 있는 값을 더해나가면서 진행되므로 실행속도가 빠르다.
또한, 본 학위 논문에서는 포즈와 얼굴 특징 점들간에 밀접한 연관성에 주목하였다. 포즈와 얼굴 특징 점, 둘 중 하나를 알 수 있다면 나머지 하나를 좀 더 정확하게 추정할 수 있다는 것이다. 기존 포즈를 이용한 얼굴 특징 점 추출은 2단계로 이루어져있으며, 포즈를 먼저 추정하고, 이를 기반으로 얼굴 특징 점을 추정하는 방식이다. 그러나 이 2단계로 나누는 방법은 추정된 포즈가 부정확하다면, 그에 따른 추정된 얼굴 특징 점 역시 부정확할 확률이 높아진다.
본 학위 논문에서는 얼굴 특징 점은 포즈에 특화된 특징 점들의 조합으로 가정하고, 이에 따라 포즈와 얼굴 특징 점을 동시에 추정하는 부스팅 기반의 병렬 랜덤 펀(Boosted Parallel Random Fern)을 제안한다. 또한, 포즈와 얼굴 특징 점들을 모두 고려한 특징 추출을 제안한다.
부스팅 기반의 얼굴 특징 점 추출 방식은 이전 라운드에서 추정된 얼굴 특징 점에 약한 회귀모델(Weak Regressor) 의 출력 값을 더해가면서 업데이트가 진행된다. 포즈를 고려하지 않는 기존의 부스팅 기반의 랜덤 펀을 이용한 얼굴 특징 점 추출 방식과는 달리, 포즈와 얼굴 특징 점과의 관계를 고려하여 매 라운드 마다 포즈에 특화된 랜덤 펀이 병렬로 존재한다.
이 병렬로 존재하는 랜덤 펀의 출력 값의 조합으로 얼굴 특징 점의 업데이트가 진행된다. 이때, 랜덤 펀에서는 특징들의 분할 기능(Spilt Function)을 통해서 훈련 데이터 이미지(Training Data Image)는 몇 개의 잎 노드(Leaf Node)에 할당된다. 랜덤 펀의 잎 노드에 모인 훈련 데이터 이미지의 이전 얼굴 특징 점에 더해졌을 때, 실제 에러 값을 최소화 시키는 값이 저장된다. 각각의 랜덤 펀의 출력 값들을 조합할 때, 각 포즈에 대한 확률의 가중 총합(Weighted Sum)의 형태로 표현된다. 포즈와 얼굴 특징점 모두 동일한 구조인, 랜덤 펀을 통하여 추정되며, 매 라운드 마다 추정된 포즈의 확률을 통하여 얼굴 특징 점을 추정하는 데 이용된다.
또한, 이미지로부터 특징을 추출할 때, 기존의 얼굴 특징점만을 고려하여 사용하는 방식과 달리 포즈 또한 고려하여, 보다 동일한 의미를 가지는 곳을 이용한다.
제안한 부스팅 기반의 병렬 랜덤 펀은 실험실 환경에서 제작된 MultiPIE 와 실제 일상에서 제작된 사진들로 구성된 LFW를 이용하여 학습 실험에 적용하여 보았다. 실험결과로부터 제안한 방법은 다른 얼굴 특징 점 추출 방식에 비해 우수한 성능을 나타냄을 알 수 있었다.
