Although face recognition is a task that human beings perform effortlessly in their daily lives, it is not a simple job for a machine because the variation in facial pose, illumination, and facial expression cause serious nonlinearity of face manifolds. The high dimensionality of facial patterns and the small number of training samples for machine learning are also annoying problems which should be taken into account. In our research, the face recognition process is analyzed into four steps; face alignment, low-level feature extraction, discriminative feature selection, and classification. In this thesis, advanced methods for each step are proposed to solve the previously mentioned problems. In alignment step, enhanced graph matching method is proposed to elastically match a face to a multimodal face model describing the general human face. Our proposed robust jet and warping robust matching cost function is more effective to minimize nonlinearity in a face pattern than the conventional graph matching method. In low-level feature extraction step, directionally classified Eigen-block method is introduced as an alternative to the widely used Gabor wavelet transformation. The proposed method is superior to the conventional approaches in not only discriminativeness but also compactness of extracted features. In third discriminative feature selection step, to consistently find discriminative feature subspace, traditionally used Fisher’s criterion is modified by the span-based class modeling, which is effective in face recognition with small number of samples. Then to overcome the nonlinearity in face pattern distribution, we develop a kernel-based version of the proposed feature selection method. In last classification step, we consider the nearest subspace classification method as a better solution than the widely used nearest neighbor classification method in small sample size case. Moreover the kernel-based nearest subspace classification method is proposed to properly utilize the advantageous aspect of the nearest subspace classification about nonlinearly distributed patterns. Through the recognition experiments based on well known public face databases, we compared the proposed methods with the state-of-the-art methods and present the analysis results in the result section.
포즈, 조명 상황, 표정 등의 변화 의해 야기되는 비선형적인 얼굴 외양 변화로 인해 자동으로 인간의 얼굴을 분류하는 시스템을 만드는 것은 쉽지 않은 일이다. 더구나, 얼굴 패턴이 고차원 영상 정보 임에 비해 턱없이 부족하게 주어지는 학습용 샘플의 개수는 얼굴 인식을 어렵게 만드는 또 다른 요인이다. 본 논문에서는 얼굴 인식을 크게 4 단계로 구분하고, 각 단계별로 매우 적은 학습 정보만으로도 비선형적인 변화 요인들에 적절히 대응할 수 있는 발전된 방법론들을 제안하였다. 첫째로, 변형에 강인한 탄력적인 그래프 정합 (elastic graph matching) 기법을 통한 얼굴 영상의 정렬 방법을 제안하였는데, 이 방법은 얼굴의 회전이나 크기 변화를 파악함과 동시에 표정 변화나 포즈 변화에 의한 국부적인 찌그러짐도 파악하여 정규화 시키는 새로운 얼굴 정렬 및 정규화 방식이다. 여기서, 제안하는 크기와 회전 변환에 강인한 국부 특징 정보 추출 방법과 정합 함수는 기존의 탄력적인 그래프 매칭 기법을 더 일반적인 상황에도 적용 가능토록 그 성능을 개선 확장 시켜준다. 둘째로, 분별성이 강한 특징 성분 추출 방법으로 분류된 주성분 블록 (Classified Eigen-Blocks; CEBs) 기법을 제안하였다. 제안한 기법은 분별력이 좋은 방향성이 두드러진 영상 패턴들을 압축적으로 표현하기에 적합한 변환기저(transform basis)로서, 기존에 널리 사용되고 있는 게이보-웨이블릿 (Gabor-wavelet) 변환 기법에 비해 압축성과 분별성이 더 우수한 특징 성분을 추출해 낼 수 있는 방법이다. 셋째로, 분별성 특징 정보를 분석하고 추출하기 위해 학습용 샘플의 개수가 매우 적은 경우에도 강인하게 동작하는 선형적인 분별성 사영 특징 분석 (Linear Projection Discriminant Analysis; LPDA) 방법을 제안하였다. 분별성 특징 분석을 통계적 정보에 기반하여 수행하는 기존의 기법들이 공통적으로 클래스와 샘플간의 관계를 각 클래스의 평균 벡터를 기반으로 기술하는 반면, 제안 기법은 주어진 학습용 샘플들이 차지하는 부공간(subspace)로 클래스를 표현하고, 이에 대한 수직 거리 벡터로 클래스와 샘플간의 관계를 표현함으로써 부족한 샘플로 인해 발생하는 일반화 성능의 하락을 막고, 견실하게 분별성 특징 부공간을 추정할 수 있도록 하였다. 또한, 제안 기법을 비선형적으로 확장시킨 커널기반 분별성 사영 특징 분석 (Kernel-based Projection Discriminant Analysis; KPDA) 방법을 제안하여, 비선형적인 분포 특성을 가지는 패턴들에도 대응할 수 있도록 하였다. 마지막으로 얼굴인식의 최종 단계인 분류 단계에서는 비선형성 최근접 부공간 분류 (Kernel-based Nearest Subspace Classification; KNSC) 기법을 제안하여, 비선형적인 얼굴의 변화 요인들에 소수의 학습 샘플들을 이용하여 대응할 수 있도록 한 기법을 연구 제안하였다. 결국, 제안 방법들은 기존의 얼굴 인식 분야에서 알려진 최신 기법들에 비해 포즈나 표정의 변화와 같은 비선형성 변화 요인들에 대해 학습 정보의 부족 하에서 향상된 인식 성능을 제공할 수 있는 방법들로서, 얼굴 인식 분야에서 알고리즘의 검증을 위해 널리 사용되는 AR 및 FERET 얼굴 영상 데이터베이스를 이용한 실험을 통해 기존 기법들과 비교되어 개선된 인식 성능을 제공하는 것으로 확인되었다.
