In this dissertation, we present a robust face recognition system using an extended Gabor-based facial feature extraction method and a Markov network-based score fusion scheme. From the viewpoint of feature extraction, the extended curvature Gabor (ECG) kernels are first proposed by adding a spatial curvature term to the kernel and adjusting the width of the Gaussian at the kernel, which leads to numerous feature candidates being extracted from a single low-resolution image. A single ECG classifier is implemented by applying the linear discriminant analysis (LDA) method to the feature vectors selected according to the ECG kernel parameters. Though the single classifier demonstrates better results than the previous face recognition method, there are performance limitations in large face databases such as the Face Recognition Grand Challenge (FRGC) ver 2.0. To overcome the accuracy limitation of a single classifier, we propose an ECG classifier bunch that combines multiple ECG classifiers with the fusion scheme.
Moreover, a novel unifying framework using a Markov network is proposed to understand the relationship among multiple classifiers. We assume that we have several complementary classifiers, for example, the bunch of proposed ECG classifiers. Under the proposed unified framework, we assign observation nodes to the features of a query image and hidden nodes to the features of gallery images, and we connect each hidden node to its corresponding observation node and to the hidden nodes of other neighboring classifiers on the Markov assumption. For each observation-hidden node pair, we collect the set of gallery candidates that are most similar to the observation instance, and the relationship between the hidden nodes is captured in terms of the similarity matrix between the collected gallery images. Posterior probabilities in the hidden nodes are computed using the belief propagation algorithm, and we use the marginal probability as the new similarity value of a classifier.
We present extensive evaluation results using four publicly available databases: FRGC ver. 2.0, XM2VTS, BANCA, and Multi-PIE. To ensure that the comparison is fair, we create two different test protocols: known variation and unknown variation tests. The first one is designed to evaluate trained facial variations, and the other examines untrained facial variations. For example, we only use the FRGC images as the training face models, which have only frontal face variations under the controlled and uncontrolled variations, and we use the other FRGC images as the test images in the known variation test. But, in the unknown variation test, the FRGC trained face models are evaluated using another database, e.g., Multi-PIE images whose images include pose variations. Through these extensive evaluations, we show that the proposed framework consistently leads to improved recognition rates in various situations.
본 논문에서는 환경 변화에 강인한 얼굴 인식기를 제안하기 위해서 확장된 Gabor 필터 기반의 복수 인식기를 제안하고, 복수 인식기를 효과적으로 융합하는 신규 프레임웍을 제안하고자 한다.
먼저, 본 논문에서는 기존 직선형 Gabor 필터에 곡률 파라미터를 적용하고 Gaussian 파라미터를 확장한 Extended Curvature Gabor(ECG) 필터를 제안하였다. 기존 Gabor 기반 얼굴 인식 방식은 높은 해상도(예, 128x128 픽셀 이상)에서 직선형 Gabor를 이용 특징을 추출하고 있으나, 제안된 방식은 곡선형 Gabor 필터로 확장하여 기존에는 하지 못했던 얼굴의 곡률 특징을 세밀하게 분석할 수 있었다. 또한, Gabor 필터의 Gaussian 파라미터를 조절하여 Coarse한 특징 부터 Fine한 특징 까지 추가로 분석하였다.
이와 같은 방식을 통해 기존 방식 대비 더 많은 파라미터 사용, 다양한 특징을 뽑을 수 있었고, 기존 방식 대비 더 낮은 해상도(예, 60x80 픽셀 이하)에서도 동등 하거나 더 우수한 인식 결과를 얻을 수 있었다. 특히, 기존 Gabor 기반 얼굴 인식의 단점이였던 높은 특징 벡터 차원을 Parallel Boosting 기법으로 중요한 특징만 선별적으로 뽑아서 낮은 차원으로 줄일 수 있었다. 최종 개별 인식기는 이렇게 뽑아진 특징을 LDA에 투영함으로써 만들 수 있었고, 각 Gabor 파라미터 마다 개별 인식기를 복 수로 만들어 인식기 묶음을 만듬으로써, 한 개의 인식기로는 달성할 수 없었던 높은 인식 성능을 달성할 수 있었다.
또한, 앞서 제안된 복수 얼굴 인식기를 융합 하는 새로운 방식으로 Markov Network 기반의 융합 방식을 제안하고자 한다.
기존 방식의 경우 복수 인식기가 독립 사건이라고 가정하고 개별 인식기의 성능을 기반으로 융합 파라미터를 도출하고 있다. 하지만, 실제 복수 인식기는 독립 사건이 아니기 때문에 복수 인식기 서로간의 Dependency를 고려하여서 융합하여야 한다.
이를 위해서 개별 인식기를 Markov Network의 Node로 가정하여 입력 영상을 Observation Node로 개별 인식기간의 Dependency는 Hidden Node로 가정하고, 개별 인식기의 입력 영상에 의한 결과 값을 Observation Node에서 산출 한뒤에, 이웃한 인식기와의 Dependency는 Hidden Node를 통해서 계산되고 있다. 이러한 Dependency는 현 인식기와 이웃한 인식기간의 결과 영상들을 통해서 모델링이 가능한데, 이를 Foward Message Passing과 Backward Message Passing을 통해서 최종 결과 값을 산출하고 있다. 즉, 한 인식기의 결과는 이웃한 인식기의 결과에 영향을 받아서 그 결과가 다시 산출되게 되어, 개별 인식기의 부족한 점이 이웃한 인식기의 결과를 통해서 보안되거나 반대로 정확한 인식 정보가 이웃한 인식기를 전달되게 된다. 이렇게 제안된 융합 방법은 인식기의 특징에 상관없이 좋은 성능을 보일 수 있는데, 본 논문에서는 Gabor 뿐 아니라 최근 각광받고 있는 Deep Learning 얼굴 인식기 중 패치 기반의 CNN 방식에서도 좋은 성능이 나옴을 확인하였다. 최종적으로 이렇게 제안된 방식들은 모두 FRGC ver 2.0 프로토콜에 맞추어서 실험 평가 되었고, 학습된 환경과 다른 경우를 평가하기 위해서 FRGC에서 제안한 학습 DB로 학습 한 뒤에 전혀 학습에 사용되지 않았던 XM2VTS, BANCA, PIE등 신규 DB에서 평가하는 실험 환경을 구축하였다. 또한 이렇게 제안된 실험 프로토콜에서 제안된 방식들이 모두 기존 방식 보다 우수함을 실험적으로 확인하였다.
