Face recognition (FR) is a branch of computer vision and pattern recognition research field. Through FR technology, human can be distinguishable automatically from a surveillance video. Although FR technology has been significantly advanced, there are still difficulties in uncontrolled situations. Among many challenges, varying illumination has been known as a very difficult condition, where FR performance is significantly degraded. In order to overcome the limitation, near-infrared (NIR)-based imagery equipped with an active illuminator (as a built-in camera system) has been widely adopted to be robust to illumination variations. In general, NIR is more robust to illumination variations but weaker to stand-off than visible (VIS) due to using the active illuminator. Although there are such complementary advantages in VIS and NIR face images, the previous works have missed an advantage of simultaneous multi-modality. For an effective FR task under varying illumination condition, multimodal face images (i.e., NIR and VIS) is used, where we consider a complementary relationship between NIR and VIS face images. In this thesis, we employ a sparse representation-based classification (SRC), which has been widely adopted for the FR due to the robustness to noise and corruption in a face image. Using SRC, we propose a novel adaptive fusion of two modalities, i.e., NIR and VIS face images, for illumination-robust face recognition. Specifically, the proposed FR system aims to be robust to environment under severe illumination changes in NIR and VIS face images. First, we design a new scheme for adaptive fusion of NIR and VIS face images based on sparsity and similarity, which are obtained from independent sparse coding for each modality. Second, we present a classification technique which is operated only for discriminative classes. Experimental results demonstrated that the proposed method improved FR performance significantly under various combinations of distance and luminance conditions.
얼굴인식은 컴퓨터비전 및 패턴인식의 한 분야로, 얼굴인식 기술을 통해 영상으로부터 자동으로 사람을 식별하는 것이 가능하다. 비록 얼굴 인식 기술이 상당히 진보되었다고는 하나, 통제되지 않은 환경에서 여전히 어려움이 있다. 얼굴인식을 어렵게 만드는 요인들 가운데 특히 조도변화 문제가 극심한 것으로 알려져 있다. 이러한 한계를 극복하기 위해 조명변화에 강인한 것으로 알려진 근적외선 영상을 이용한 연구가 많이 진행되었다. 일반적으로 근적외선 영상은 가시광선 영상에 비해 조도변화에 강인하나 거리가 멀어짐에 취약하다. 비록 이러한 가시광선 영상 및 근적외선 영상 간에 상호보완적 특성이 있음에도 이전 연구들에서는 다중 모달리티를 동시에 이용하는 이점을 살리지 못했다. 본 논문에서는 조명이 변하는 환경에서 효과적인 얼굴인식을 위해 각 모달리티 사이의 상호보완적 관계를 고려하여 다중 모달리티(가시광선 및 근적외선)의 얼굴 영상을 사용한다. 이 때, 노이즈나 가려짐 등이 발생하는 환경에서도 강인함을 보여 최근 많은 얼굴인식 방법에서 이용하는 희소 표현 기반의 분류방법(SRC)을 기반으로 한 두 모달리티의 적응적인 융합 방법을 제안한다. 제안하는 얼굴인식 시스템은 가시광선 및 근적외선 얼굴 영상에 극심한 밝기 변화가 있는 환경에 강인하도록 만드는 것을 목표로 한다. 이를 위해 희소성 및 유사성에 기반하여 각 모달리티의 영상을 적응적으로 융합하는 방법을 제안한다. 또한, 더욱 신뢰할만한 얼굴인식 성능을 위해, 앞서 제안한 방법을 통해 나온 스코어에 기반하여 분별력있는 클래스에 선택하고, 이 클래스들에 한해 분류 알고리즘을 적용하는 기법을 제안한다. 제안하는 방법의 효용성을 검증하기 위해 다양한 거리와 조명 조건을 갖는 환경의 데이터 셋을 만들어 두 기법을 적용한 결과, 다른 방법들에 비해 상당히 향상된 성능을 확인할 수 있었다.
