서지주요정보
발화 상황에서의 감정 인식 성능 향상을 위한 듀얼모드 얼굴 표정 인식 = Dual mode facial expression recognition for performance improvement of emotion recognition in speech acts
서명 / 저자 발화 상황에서의 감정 인식 성능 향상을 위한 듀얼모드 얼굴 표정 인식 = Dual mode facial expression recognition for performance improvement of emotion recognition in speech acts / 송규섭.
저자명 송규섭 ; Song, Kyu-Seob
발행사항 [대전 : 한국과학기술원, 2018].
Online Access 비공개원문

소장정보

등록번호

8033043

소장위치/청구기호

학술문화관(문화관) 보존서고

MRE 18007

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

리뷰정보

초록정보

As the value of the social robot market increases, much research has been proposed on facial expression recognition, which is an important function of the social robot, and it showed good performance in facial expression image database that expressing emotion without considering speech effect. However, in real communication cases, humans often express emotions through talking and the muscles around the mouth movement cause an unsatisfactory emotion recognition result. In this paper, we propose a facial expression recognition algorithm with a structure called Dual mode Facial Expression Recognition (DmFER) that works without the degradation of facial expression recognition performance in speech acts by overcoming the speaking effect caused by movement around the mouth during speech. DmFER uses two recognizers those are trained individually by two kinds of database. One is a database that does not involve the speech act and the other involves the speech act. DmFER use these recognizers selectively depending on the situation. For the diversity of the database, we oversampled the RML database using StarGAN and evaluated the performance of DmFER comparing with Merged model. Finally, we could confirm that DmFER model (RML: 52.88%, CK+: 81.51%) shows higher accuracy for video image databases both a database that involves the speech act and a database that does not involve the speech act than Merged model (RML: 47.15%, CK+: 67.19%)

소셜로봇 시장가치의 증가와 함께 소셜로봇에 있어 중요한 기능이 되는 얼굴 표정 인식에 대한 많은 연구들이 진행되어왔고 감정을 표현하는 얼굴 표정 이미지 데이터베이스에 대해 높은 인식성능을 보이고 있다. 하지만 사람은 감정을 표현할때 단순히 표정만 짓고 있는 것이 아니라 대화를 통해 자신의 감정을 전달하며 이때 말하고 있는 발음의 특징으로 인해 입 주변의 근육이 움직이게 된다. 그리고 이는 발화 상황을 고려하지 않은 얼굴 표정 인식기의 인식성능을 낮추는 원인이 된다. 본 연구에서는 발화 시 입 주변의 움직임으로 인해 발생하는 Speaking effect를 극복하여 발화 상황에서 얼굴 표정 인식성능 저하 없이 작동하는 Dual mode Facial Expression Recognition (DmFER)라는 구조의 얼굴 표정 인식 알고리즘을 제안한다. DmFER는 발화 하고 있는 상황과 아닌 상황의 데이터베이스로 각각 학습시킨 2개의 인식기를 만들고 상황에 따라 선택적으로 인식기를 사용하는 방법을 제안한다.

서지기타정보

서지기타정보
청구기호 {MRE 18007
형태사항 iv, 27 p. : 삽도 ; 30 cm
언어 한국어
일반주기 저자명의 영문표기 : Kyu-Seob Song
지도교수의 한글표기 : 권동수
지도교수의 영문표기 : Dong-Soo Kwon
학위논문 학위논문(석사) - 한국과학기술원 : 로봇공학학제전공,
서지주기 참고문헌 : p. 25-27
주제 발화 상황
얼굴 표정 인식
컨볼루셔널 뉴럴 넷
데이터 증대
듀얼 모드
Speaking effect
facial expression recognition
convolutional neural networks
data augmentation
dual mode
QR CODE qr code