Over the past few decades, automatic face recognition (FR) has been researched as one of the major topic in the computer vision and pattern recognition research area. Due to the advances of the technologies, FR has been widely adopted for the purpose of real-world applications such as intelligent surveillance system and access control for the public safety. However, when the FR technology has been applied to the real-world scenario (so called unconstrained environments), the FR performance has been known to be significantly degraded due to large intra-class variations (e.g., pose variations, varying illumination conditions, low resolution, etc.). Among them, pose variation is known as one of the crucial factors that degrades the FR performance due to the large intra-class variation. In order to achieve the reliable FR performance under the environments with pose variations, we propose the multi-task learning in deep convolutional neural network (deep ConvNet) for discriminative and pose-robust feature learning. For that purpose, we introduce four tasks to learn a deep ConvNet for maximizing inter-class variation, minimizing intra-class variation, minimizing intra-pose variation and preserving pose continuity. By maximizing and minimizing inter-class variation and intra-class variation, respectively, discriminant feature can be learned. Furthermore, by employing remaining two pose-related tasks, we can learn the pose-robust feature. By doing so, the proposed method can deal with the continuous poses that can be usually encountered, even if the deep ConvNet is learned with a discrete set of poses in training. Moreover, to effectively learn our deep ConvNet to minimize error functions, a learning strategy consists of two stages is proposed. The extensive experimental results using the challenging CMU MultiPIE dataset (containing the pose variations as well as the varying illumination conditions) show that the proposed multi-task deep ConvNet achieves outstanding FR performance compared to the state-of-the-art multi-view FR approaches. Especially, the proposed method shows significant improvements in case that the face images with unregistered poses in training set present in the testing set. In addition, when visualizing the learned features in a feature space, the proposed method has been validated to contribute the increase of the discriminative power significantly. Furthermore, our learning strategy shows good convergence
지난 수 십 년간, 자동적인 얼굴인식은 컴퓨터비전 및 패턴인식 분야의 중요한 주제 중 하나로써 활발히 연구되어 왔다. 기술의 발전과 더불어 지능형 감시시스템, 출입통제 등의 실제환경에서의 응용으로써 얼굴인식이 많이 활용되고 있다. 하지만 이러한 제약되지 않은 환경에서의 얼굴인식에 있어서, 얼굴영상의 변화 (예: 포즈변화, 조명변화, 저해상도 등) 는 얼굴인식을 어렵게 하는 요소로 알려져 있다. 그 중에서도 특히 포즈변화는 극심한 얼굴영상의 변화로 인해 얼굴인식 성능을 떨어뜨리는 중대한 요인으로 알려져 있다. 다양한 포즈의 얼굴영상에 대해 신뢰할 수 있는 얼굴인식 성능을 얻기 위해서, 본 논문에서는 deep convolutional 신경망의 멀티태스크 학습을 통한 포즈 변화에 강인한 특징 추출을 제안한다. 이를 위해 네 가지 새로운 오차함수를 제안하는데, 각 오차함수는 클래스간 차이를 최대화하고, 클래스내의 차이를 최소화하고, 포즈내의 차이를 최소화하고, 포즈의 연속성을 보장하기 위해 각각 설계되었다. 클래스간의 차이를 최대화하고 클래스내의 차이를 최소화하면서 제안하는 방법은 분별력 있는 특징을 학습할 수 있으며, 포즈내의 차이를 최소화하고 포즈의 연속성을 보장하면서 포즈 변화에 강인한 특징을 학습할 수 있다. 또한 제안하는 방법은 모든 포즈가 학습데이터에 포함될 수 없음에도 불구하고, 연속적인 포즈를 효과적으로 다룰 수 있다. 또한 네 가지 오차함수를 최소화하도록 deep convolutional 신경망을 학습하기 위해 두 단계로 나뉘어진 학습방법을 제안한다. 포즈변화와 조명변화를 담고 있는CMU MultiPIE 데이터 셋을 활용한 폭 넓은 실험으로부터 제안하는 방식이 다른 최신 방법들을 능가하는 성능을 보임을 확인할 수 있었다. 특히 학습데이터에 포함되지 않은 포즈에 대해서 더욱 효과적인 얼굴인식이 가능하였다. 게다가 학습된 특징공간을 시각화하여 보았을 때, 상당한 분별력의 향상을 볼 수 있었다. 또한 제안하는 학습 방법은 좋은 수렴을 보이는 것을 확인할 수 있었다.
