Thanks to the advances in deep learning technology, deep learning-based face recognition (FR) has been actively studied, and it shows significantly high performance for various FR benchmark datasets. Accordingly, FR technology has been known as a highly mature technology, and its application to various real-world scenarios is being discussed. However, when the deep learning-based FR algorithm is applied to real-world applications, its performance has been known to be still unsatisfactory. This is mainly attributed to the discrepancy of appearance between training and testing face images. In other words, a face image used for training is usually high-quality, but a face image used for testing is degraded by shooting time, person’s motion, shooting distance between a person and camera, which is referred to as face image mismatch problem. In order to resolve the face image mismatch problem for robust FR, we address the deep feature alignment-based FR algorithm in this dissertation. In particular, we focus on two face image mismatch factors as crucial issues that need to be solved for practical FR: 1) face alignment mismatch (face misalignment) and 2) face image resolution mismatch. In order to deal with the face misalignment problem, we propose a face shape-guided feature alignment learning framework. To tackle the face image resolution mismatch problem, we propose a face image quality-based feature adaptation network between the high-resolution face image, and the low-resolution face image generated by the realistic low-resolution face image generator. Finally, we design a baseline face image quality assessment framework for quantifying the face image mismatch. Through the comparative experiments, we validate the effectiveness of the proposed method under the real-world scenario with the face image mismatch.
딥러닝 기술의 발달에 힘입어 딥러닝 기반 얼굴인식 연구가 활발히 수행되고 있으며, 다양한 얼굴인식 벤치마크 데이터 셋에 대해 상당히 높은 성능을 보여주고 있다. 이에 따라 얼굴인식 기술은 성숙한 기술로 알려져 있고 다양한 실세계 시나리오에 적용을 위해 논의되고 있다. 하지만, 이러한 딥러닝 기반 얼굴인식 기술이 실제 응용에 적용되었을 때, 여전히 그 성능이 만족스럽지 못한 것으로 알려져 있다. 이것은 주로 학습 시 사용한 얼굴 이미지와 실제 환경에서 취득되는 테스트 얼굴 이미지 사이의 불일치에 기인한다. 즉, 딥 네트워크 학습 시 사용되는 훈련용 얼굴 이미지는 고품질의 이미지임에 반해 실제 환경에서 취득되는 테스트
얼굴 이미지는 촬영 시간, 사람의 움직임, 카메라와 사람 사이의 촬영 거리에 따라 품질이 상당히 저하되며, 이러한 문제를 얼굴 이미지 불일치 문제라 부른다. 본 논문에서는 이러한 얼굴 이미지 불일치 문제를 해결하기 위해 딥 특징 정렬 기반 얼굴인식 알고리즘을 제안하고, 실용적인 얼굴인식을 위해 해결되어야 할 주요한 문제인 얼굴 정렬 불일치 및 얼굴 이미지 해상도 불일치 문제에 집중하고자 한다. 얼굴 정렬 불일치 문제를 다루기 위해, 얼굴의 형태에 가이드를 받는 특징 정렬 학습 프레임워크를 제안하며, 얼굴 이미지 해상도 불일치 문제를 다루기 위해 고해상도의 얼굴 이미지와 본 논문에서 도입되는 생성기를 활용하여 만들어지는 실제 환경에서 취득 될 법한 저해상도 얼굴 이미지 얼굴 사이의 얼굴 이미지 품질 기반 특징 적응 네트워크 기술이 제안된다. 마지막으로, 이러한 얼굴 이미지 불일치를 정량화할 수 있는 기초 얼굴 이미지 품질 측정 프레임워크가 제시된다. 실험을 통해 얼굴 이미지 불일치가 발생하는 실세계 시나리오에서 제안하는 방법이 효과적임을 검증하도록 한다.
