Facial expressions are the most natural and effective tools which allow humans to communicate their emotions, to express their intentions, and to interact with other persons. Automatically recognizing human’s facial expression has been a fundamental requirement of human-computer interaction (HCI) and affective computing. One of the main difficulties in automatic facial expression recognition (FER) is that human face contains identity-related information as well as emotion-related information, thus they are confused from each other during FER. This confusion makes a FER system very degraded especially when the subjects in query faces are not present in training faces. The goal of this thesis is to suggest practical video based FER methods that are fully automatic and fully subject-independent.
We present a FER method which is suitable for video sequences containing very limited useful faces because of extremely short duration of the video sequences or large facial pose variations. In this method, we automatically select the most discriminative face (called peak expression face) within a video sequence. The peak expression face selection can be practical because it discards in advance the degraded faces (e.g., poor-ly aligned or severely rotated faces) to eliminate their negative effects during selecting the most expressive face. To extract subject-independent expression feature, the facial identity of the peak expression face is normalized via synthetic faces (called intra class variation (ICV) faces) generated by combining the training faces.
We also present a FER method which is suitable for video sequences characterized by sufficient ex-pression transition durations and moderate facial pose variations. Exploiting facial dynamics in FER is useful but very challenging. This is because video sequences from a same emotion class may have different charac-teristics in transition duration and/or transition type (e.g., onset versus offset). To deal with the difficulty, we propose a partial matching based FER method. We extract a number of partial expression transitions from a query video sequence. Each partial expression transition is individually analyzed. This enables to increase the possibility of matching a partial expression transition in the query video sequence against the partial expres-sion transitions in training set. To make a partial matching independent on subject, each partial expression transition is defined as facial shape displacement between a pair of face clusters.
Comparative and extensive experiments have been performed on three video facial expression data-bases: Cohn-Kanade plus (CK+) DB, MMI DB, and natural visible and infrared facial expressions (NVIE) DB. Results show that the two video based FER methods have been demonstrated to be practically used under very challenging conditions such as subject-independent FER on videos containing spontaneous facial expressions and unconstrained head movements.
얼굴 표정은 개인의 감정을 표현하고 사람간의 감정을 공유하고 주고 받는 효율적인 의사소통 수단이다. 얼굴 표정을 자동으로 분석하고 해석하는 표정인식 기술의 개발은 인간 컴퓨터 상호작용(human-computer-interaction, HCI), 감성 컴퓨팅(affective computing) 등의 분야에서 핵심적인 요구사항이다. 표정인식 수행 시 정확도를 저해시키는 대표적인 요소 중 하나는 얼굴에 내재된 아이덴티티(identity)와 표정 간의 혼동이다. 구체적으로, 얼굴에 포함된 다양한 인물의 아이덴티티에 의해 표정 클래스 내 변화(intra class variation)가 표정 클래스 간 변화(inter class variation)보다 커짐으로써 표정을 특정 클래스로 분류 시 분별력이 저하된다. 이 문제를 해결하기 위해 테스트 얼굴과 동일 인물의 무표정(neutral expression) 얼굴의 차이(difference)를 이용하여 순수 표정에 해당하는 특징정보를 추출하는 연구들이 널리 수행되었다. 하지만 이 접근방법은 특정 인물의 무표정 얼굴을 비디오 시퀀스에서 수동(manual)으로 선택하기 때문에 전자동(fully automatic) 응용에 적합하지 않다. 또한 특정 인물의 무표정 얼굴은 실제 응용에서 가용하지 않은 경우가 빈번하여 활용이 매우 제한적이다. 본 논문에서는 앞서 언급한 한계점을 극복하기 위해 무표정 얼굴에 의존하지 않는 전자동의 인물에 독립적인 표정인식 방법을 제안하였다. 제안 방법에서는 주어진 비디오 시퀀스 내에서 표정인식에 가장 높은 분별력을 갖는(구체적으로 얼굴 정렬이 정확히 되고 표정이 가장 센) 피크 표정 얼굴(peak expression face)을 선택한다. 선택한 얼굴에서 얼굴 아이덴티티 정보를 제거하기 위해 무표정 얼굴을 사용하는 대신 트레이닝 표정 얼굴들을 합성하여 클래스 내 변화 얼굴(intra class variation face) 얼굴을 생성한다. 이 제안 방법은 비디오 시퀀스 내 프레임의 개수가 매우 제한적이고 얼굴의 각도 변화가 불규칙적인 경우에 유용한 표정인식 방법이다. 본 논문에서는 (비교적 많은 개수의 프레임을 포함한) 비디오 시퀀스 내에 존재하는 다양한 표정의 변이(transition) 정보에 기반하는 인물에 독립적인 표정인식 방법도 제안하였다. 이 방법은 테스트 비디오 시퀀스 내 얼굴 클러스터 간 랜드마크(landmark) 차이로 얼굴 근육의 변화에 따른 표정 변이 특징(expression transition feature)을 추출한다. 각 표정 변이 특징은 개별적으로 트레이닝 비디오 시퀀스의 표정 변이 특징들과 매칭을 수행한다. 이러한 부분 표정 시퀀스 매칭(partial expression sequence matching) 방법은 인물에 독립적인 표정인식을 위해 무표정 얼굴이나 합성얼굴을 사용하지 않기 때문에 효율적이며, 테스트와 트레이닝 비디오 시퀀스 간에 서로 다른 변이 종류나 지속시간에 따른 불일치에 강인하다.
