서지주요정보
Multimodal emotion recognition using multi-attribute aggregation for attributes with uncertainties = 불확실성을 고려한 다중 속성 통합 프레임워크 기반 멀티모달 감성인식
서명 / 저자 Multimodal emotion recognition using multi-attribute aggregation for attributes with uncertainties = 불확실성을 고려한 다중 속성 통합 프레임워크 기반 멀티모달 감성인식 / Sheir Afgen Zaheer.
저자명 Zaheer, Sheir Afgen ; AFGEN
발행사항 [대전 : 한국과학기술원, 2017].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8031091

소장위치/청구기호

학술문화관(문화관) 보존서고

DEE 17030

SMS전송

도서상태

이용가능

대출가능

반납예정일

초록정보

Affective interaction between humans and robots/machines is a cherished goal for socially intelligent robots/machines. Ability to recognize human emotional states is an essential prerequisite to such affective interactions. Therefore, this dissertation addresses the issue of human emotion recognition by first individually processing and then aggregating different modes of human communication through a classification and aggregation framework. Specifically, the proposed framework analyzes the speech acoustics, facial expressions, and body language using unimodal emotion classifiers. The speech emotion is classified using a deep neural network (DNN) while Facial and body language emotion classifiers are implemented using classifiers implemented through supervised fuzzy adaptive resonance theory (ARTMAP). The speech emotion classifier uses acoustic features, the facial emotion classifier uses features based on facial animation parameters (FAP), and body language emotion classifier uses head and hands motion capture data to formulate body language features. These unimodal evaluations are then aggregated using a fuzzy integral for interval type-2 fuzzy-valued attributes (FIIFA). FIIFA is proposed in this dissertation as a novel aggregation framework for attribute evaluations with linguistic and numeric uncertainties. Moreover, FIIFA also utilizes reliability based preferences for the unimodal evaluations. The dissertation proposed to generate these reliabilities based preferences from the accuracies of the unimodal classifiers for each emotion. The framework was tested and compared against the existing state-of-the-art. The results show that the proposed framework significantly outperforms the existing techniques. Furthermore, because of late fusion, the functionality of the proposed approach is robust to unavailability all but one of the modes of communication.

지능적인 로봇/기계를 위해서 사람과 로봇/기계 간의 정서적 상호작용은 매우 중요하다. 그 중, 인간의 감정 상태를 인식하는 기술은 정서적 상호 작용에 필수 불가결한 전제 조건이다. 따라서, 이 논문은 다양한 형태의 의사소통 중 개별적으로 음성, 얼굴 표정, 몸짓에 관한 감정 분류를 한 후, 다시 이를 통합하는 프레임워크를 통해 감정을 인식한다. 우선, 제안된 프레임 워크는 단일 모드 감정 분류기를 사용하여 음성 음향, 표정 및 신체 언어를 분석한다. 음성에 대한 감정은 딥 뉴럴 네트워크 (DNN)를 사용하여 분류되며 얼굴 및 신체에 대한 감정은 supervised fuzzy adaptive resonance theory (ARTMAP)를 통해 분류된다. 이 논문은 언어적 및 수치적 불확실성을 가진 속성 평가를 위한 새로운 집합 프레임워크로써 fuzzy integral for interval type-2 fuzzy-valued attributes ( FIIFA)를 제안하며, 각각의 분류기로부터 얻어진 결과는 FIIFA를 통해 합쳐진다. 또한 FIIFA는 각 단일 모델에 대한 선호도를 고려하여 신뢰도를 향상하였다. 또한, 제안된 프레임워크는 최근 연구결과보다 우월한 결과를 보였으며, 특히 late fusion 방법을 사용하였기 때문에 제안하는 방법은 부분적인 입력 모달리티만으로도 강인한 감성 인식 결과를 얻을 수 있다.

서지기타정보

서지기타정보
청구기호 {DEE 17030
형태사항 iv, 61 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 쉐어 앞겐 자히르
지도교수의 영문표기 : Jong-Hwan Kim
지도교수의 한글표기 : 김종환
학위논문 학위논문(박사) - 한국과학기술원 : 전기및전자공학부,
서지주기 References : p. 53-59
주제 Emotion recognition
Multi-attribute aggregation
Affective human robot interaction (HRI)
Fuzzy Integral
Default ARTMAP
감정인식
다중 속성 통합
감정적 상호 작용
퍼지 적분
Default ARTMAP
QR CODE qr code