In many paper, video-based method has reported superior performance than static image method in recognizing facial expression. So many researches depend on temporal information from video data. However, both spatial information and temporal information are important to recognize facial expression. In this paper, we propose novel CNN network that concentrates on spatial information of video data.This model is based on multi-input CNN which takes input to each facial expression video frames. By passing through convolution layer, each facial image gets discriminant region whichhas key clue to recognize facial expression. As a result, our CNN network learns spatial information what facial component looks like. Furthermore, we combine our network with existing CNN network recognizing facial expression which takes input to stack of consecutive video-frames. The latter model learns temporal information how facial muscle changes with respect to time.Therefore our fusion model can learn spatio-temporal features from each model’s complementary feature. Through several experiments, we notice that the two models cooperate with each other. As a result, we show superior performance to other state-of-the-art methods in CK+ and Oulu-CASIA databases.
많은 기존의 표정인식 연구들에서 동영상 기반 방법이 영상 기반 방법보다 월등한 성능을 보여주었다. 그렇기 때문에 많은 연구자들은 비디오 정보에서 시간정보에 의존하여 표정인식을 수행하고있다. 하지만 시간정보 뿐만 아니라 공간정보 역시 표정인식에서 중요하다. 본 논문에서 우리는 동영상 데이터에서 공간정보를 학습하는 CNN 네트워크를 제안한다. 이 모델은 여러 개의 입력을 받는 multi-input CNN에 기반한다. 각 입력영상들은 convolution layer를 통과하면 표정인식에 단서가 되는 영역을 자동적으로 추출하게 된다. 그 결과 우리가 제안한 Spatial dependent CNN은 여러 영상들의 공간정보, 눈,코,입이 어떠한 모양을 하고 있는지 학습하고 이를 이용해 표정인식을 수행한다.
추가적으로 기존에 사용되었던 연속적인 영상을 쌓아서 학습시킨 CNN, Temporal dependent CNN과 우리의 모델을 결합하여 표정인식에 이상적인 시공간 특징을 학습할 수 있다. 여러 실험을 통해 이 두 모델이 서로 상호보완적인 특징을 학습할수 있음을 알수 있었고 CK+ 와 Oulu-CASIA 데이터에서 세계기록을 갱신하였다.
