Facial landmark detection (FLD) is vital for diverse applications such as face recognition, tracking, expression recognition, and 3D modeling, etc. Over the past few decades, FLD has been researched as one of the major topics in computer vision. Although FLD has been significantly advanced, it is not solved perfectly because of large variations (e.g., pose variations, expression variations, illumination variations, and occlusion) in face images. In order to achieve robust FLD performance, we propose a novel deep facial landmark learning by component priors, which trains two deep convolutional neural networks (DCNNs): DCNN-I and DCNN-II, which localize the landmarks in facial inner components, and facial contour, respectively. The landmarks in facial contour is significantly more difficult to be learned than those of facial inner components, because facial contour has less texture information and more noise from the background compared to the facial inner components. Therefore, two independent DCNN-I, and DCNN-II are trained and the whole system has a chance to learn more specific to each facial inner component and facial contour. In order to further improve the detection performance of DCNN-I and DCNN-II, we propose a novel structure of DCNN-I and learning strategy of DCNN-II. To consider overall shape and local facial components simultaneously, we separate the higher layers of DCNN-I into branches to detect the landmarks of each facial inner components. From the observation that performance for detecting landmarks in facial contour is improved when learning the facial contour landmarks jointly with the landmarks in facial inner components, the one convolutional neural network, that has branches of higher layers for each facial component including facial inner components and facial contour, is learned. After learning, we take the weights of the lower layers and the higher layers corresponding to the facial contour, as the DCNN-II.
Extensive experiments conducted on the challenging 300-W dataset shows that the proposed method outperforms the state-of-the-art FLD approaches.
지난 수 십 년간, 자동적인 얼굴 특징점 검출은 컴퓨터 비전의 중요한 주제로서 활발히 연구되었다. 하지만 제약되지 않은 실제 환경에서의 얼굴 영상은 포즈, 표정, 조명 등에 의해 큰 변화를 가지며, 이는 얼굴 특징점 검출을 어렵게 하는 요소들로 알려져 있다. 이러한 다양한 변화에 대응하기 위해서 최근에는 딥 러닝 기반의 얼굴 특징점 검출 방법들이 제안되었다. 본 논문에서는 구성요소 사전정보 기반 딥 러닝을 통한 얼굴 특징점 검출 방법을 제안한다. 이를 위해 전체 구조를 얼굴 안의 구성 요소들의 특징점을 검출하는 내측 네트워크와 뺨과 턱의 얼굴 윤곽선에 위치한 특징점을 검출하는 외측 네트워크로 구성하였다. 통상적인 convolutional 신경망의 구조를 얼굴 구성 요소들에 특화된 필터를 학습시키기 위해서 앞 단의 layer들을 공유하면서 뒷 단의 layer들을 분리시켜서 각 얼굴 구성 요소 (눈썹, 콧대, 코, 눈, 입) 의 특징점을 검출하게 하는 구조를 제안한다. 또한 외측 네트워크 학습 방법을 제안한다. 외측 네트워크는 내측의 특징점들과 같이 학습시킨 후의 공유된 앞 단 layer와 윤곽선에 해당하는 뒷 단 layer로 구성한다. 제안 방법을 큰 포즈변화와 조명변화를 갖고 있는 300-W 데이터 셋에 대해 실험을 진행했으며 다른 최신 방법들을 능가하는 성능을 보임을 확인하였다.
