In this dissertation, as the key components for practical face recognition systems, pose-invariant face localization model and face recognition model, and their unsupervised learning algorithms are proposed.
For pose-invariant face localization, an unsupervised learning algorithm for a facial constellation model is proposed for localization of a face whose pose, rotated angle, scale, and location are various. The constellation model is learned by obtaining the representative features whose perceptual boundaries are adapted in consideration of localization accuracy and generalization power. Face localization is performed through matching features to the representative features, their weighted voting on the hypothesis space of rotation, scale and translation parameters, their fine adjustment based on optimization of locations of feature points, and determination of the pose of a face using the distance from subspace method. Through experiments, it is shown that the obtained constellation model can accurately localize faces whose rotated angle, size, location and pose are random and unknown.
For pose-invariant face recognition, the similarity function of each local feature of frontal faces is learned, and then the local features are selected whose within-class similarity is higher than the unselected local features. The similarity function reflects the risk of misclassification. Using the learned similarity function of each local feature, the average within-class similarity of each local feature is obtained that is useful for face recognition. To learn the non-frontal local features corresponding to the learned frontal local features, the local feature prediction model using generalizable associative memory is proposed. The corresponding non-frontal local features are learned whose predicted frontal features using the generalized associative memory have the smallest average prediction errors. Through the proposed unsupervised learning of local features, the facial local features useful for pose-invariant face recognition are learned without selecting them manually. Moreover, for the accurate face recognition, the recognition error of each predicted local feature is adopted as its confidence for face recognition. Through experiment, it is shown that the learned local features coincide with the common sense about facial features and the proposed face recognition model achieves higher face recognition rate than the holistic feature-based face recognition method using non-linear regression method.
Since the proposed face localization model and face recognition model are learned without any prior knowledge about facial components, they can be adopted for the pose-invariant localization and recognition of other objects.
이 논문에서는 실용 얼굴 인식 시스템의 핵심 모듈인 시점에 무관한 얼굴 위치 추정 모델과 얼굴 인식 모델의 비교사 학습 방법을 제안한다.
얼굴의 포즈, 회전, 축척, 위치가 가변적인 상황에서 포즈 변화에 무관한 얼굴 위치 추정을 위해 얼굴 별자리 모델의 비교사 학습 알고리즘이 제안된다. 별자리 모델은 대표특징의 학습을 통해 얻는다. 각 대표특징은 고유의 인지 영역을 가지며, 이는 얼굴의 위치 추정 정확도와 일반화 정도의 조절을 통해 결정된다. 얼굴 위치 추정은 주어진 영상에서 추출한 특징을 대표 특징과 매칭하고, 매칭된 대표특징으로부터 회전, 축척, 이동 파라메터의 가설 공간에 대해 가중 투표를 수행하여 양자화된 파라메터값을 추정하여 얻으며, 투표에 참여한 특징점들의 위치에 대한 최적화 연산을 통해 보다 정확한 회전, 축척, 이동 파라메터 값을 얻는다. 각 포즈별 위치 추정을 통해 얻은 얼굴 영상은 각 얼굴 포즈의 부공간과의 거리를 계산하여 가장 거리가 작은 포즈의 위치 추정 결과를 최종 위치 추정 결과로 결정한다. 실험을 통해, 학습된 별자리 모델이 임의로 회전, 축척, 이동 변환된 얼굴을 정확하게 위치 추정할 수 있음을 보인다.
또한, 이 논문에서는 시점에 무관한 얼굴 인식을 위한 비교사 학습 기반의 국부특징 학습 방법을 제안한다. 제안된 모델은 국부특징별 유사도 함수를 학습하고, 학습된 유사도 함수에 기반하여 클래스내 유사도가 높은 특징을 찾음으로써 정면의 얼굴 특징을 학습한다. 유사도 함수는 다른 클래스의 특징간 거리의 분포에 대한 관찰된 특징간 거리의 분포상 위치를 유사도 값을 나타내며, 패턴 분류의 오분류 위험을 반영하고 있다. 정면 시점에서 학습된 각 국부 특징에 대응하는 다른 시점의 국부특징은 일반화가 가능한 연상 메모리로 정면 국부 특징의 예측 모델을 이용하여 찾는다. 정면 특징에 대응하는 특징은 영상 메모리를 통해 예측한 정면특징이 목표 정면 특징과의 평균 유사도가 가장 높은 특징이며 이 특징으로 찾는다. 이 과정을 통해 사람이 손으로 특징을 선택하지 않고 얼굴 인식에 유용한 특징들을 자동으로 선택할 수 있다. 또한 각 시점의 국부 특징의 예측한 특징의 얼굴 인식 정확도로부터 각 특징의 신뢰도를 얻어 보다 정확한 얼굴 인식이 가능하도록 한다. 제안된 얼굴인식 모델에 대한 학습과 얼굴 인식 실험을 통해 자동으로 선택된 특징들이 얼굴 특징에 대한 사전지식과 상당히 부합함을 관찰 할 수 있으며, 전역 특징에 대한 시점간 예측을 이용한 얼굴 인식 모델과의 비교시험을 통해 제안된 방법이 더 나은 성능을 보임을 확인 할 수 있다.
제안된 포즈 변화에 무관한 얼굴 위치 추정 모델과 얼굴 인식 모델은 얼굴의 주요 구성 요소에 대한 사전 지식 없이 학습되므로, 다른 물체의 포즈에 무관한 위치 추정과 인식에 사용될 수 있다.
