Recently, spontaneous facial expression recognition (FER) has gained increasing attention for computing human affect. In addition, recognizing spontaneous and subtle facial expressions are becoming increasingly important because current and future face-related applications lie in a more natural context. However, the recognition of spontaneous and subtle facial expression (or micro-expression) which appear as a subtle move-ment of facial parts has been regarded as a very difficult problem, due to its low intensity and short duration. In this thesis, we propose subtle changes discriminative latent spatio-temporal feature representation in 3D convo-lutional neural network (CNN) for spontaneous FER. To effectively exploit spatial and temporal characteristics of subtle facial expressions in CNN, following methods have been devised; 1) expression prior based filter initial-ization that generates prototypical patches which have meaningful spatio-temporal characteristics of facial parts to utilize the prior of subtle facial expression, 2) filter update that emphasizes temporal differences of fil-ters, to make the network more sensitive to temporal changes of input sequence, 3) feature fusion with motion parts based CNN to give complementary information with texture. By the extensive experiments using CASME II dataset (containing spontaneous and subtle facial expressions), the results show that every step of the pro-posed latent feature representation helps to achieve higher spontaneous FER accuracy than existing latent fea-ture representation as well as hand-crafted features. Also, when visualizing the latent features by the proposed methods compared to the conventional CNN, the significant increase of discriminability in the training and test set is observed.
최근 컴퓨팅 기술 및 인공지능의 발달로 인간 감정을 인식하기 위한 자발적 표정 인식에 대한 연구가 활발히 이루어져 왔다. 특히, 자발적이고 미세한 감정의 인식은 점차 얼굴 관련 응용 기술들이 자연스러운 환경에서 요구됨에 따라 더욱 더 중요한 기술로 여겨지고 있다. 하지만, 이러한 미세 표정은 얼굴에서 매우 부분적인 미세 움직임으로 표현되기 때문에, 작은 크기와 짧은 지속 시간으로 인하여 매우 어려운 문제로 여겨져 왔다. 본 논문에서는, 표정 인식에서 위와 같은 도전점들을 극복하기 위해 미세 움직임에 변별적인 잠재 특징 추출을 위한 convolutional 신경망 기반 시공간 특징 표현 방법을 제안한다. 이를 위하여 세 가지 방법이 제안되었다. 첫 번째로, 표정의 사전 지식에 기반한 convolutional 필터 초기화 방법이 제안되었다. 각 표정 사전 지식들은 training 비디오들로부터 학습된 미세 표정에서 얼굴이 움직이는 전형적인 패턴들을 포함한다. 두 번째로, 필터의 시간적 차이를 증폭시켜줌으로써 특징 추출 과정에서 입력 비디오의 시간적 변화에 더욱 민감한 특징을 학습하는 방법을 제안하였다. 세 번째로, 미세 표정에서는 움직이는 부분이 작고 그 위치 정보가 중요하다는 관찰에 따라 움직이는 부분 기반의 convolutional 신경망 구조 및 특징 융합이 제안되었다. 자발적이고 미세한 표정을 포함하는 CASME II 데이터베이스를 사용한 실험을 통하여, 제안한 세 가지 방법들이 모두 인식 성능을 증가시킴을 관찰하였다. 또한, 학습된 특징 공간에서의 샘플 분포 관찰을 통하여 제안한 방법이 기존 신경망 기반 방법 또는 사람에 의해 디자인된 특징 추출 방법에 비하여 더 높은 분별력을 가짐을 확인하였다.
