Since the paradigm shift of robotic applications from industry to home and public place, Human-Robot Interaction (HRI) is an promising issue to develop intelligent robots. For natural and friendly HRI, emotion recognition using speech communication was studied in this thesis. The emotion of speaker influences the speech signal in the view of tone, tempo, voice quality and so on. However, not only emotion but also text the speaker says influence the speech signal. Therefore, the influences of text and emotion on speech signal were analyzed and the novel feature extraction method based on vocal resonance using 1st formant frequencies (F1), 2nd formant frequencies (F2) and center of gravity of spectrum (CoG) was proposed. The proposed method is consisted with three steps: At first, speech were segmented as a frame based on the limited ranges of F1, F2 and CoG which characterizes the vocal resonance when speech is pronounced. After that, speech features were extracted separately from each frame that corresponds to segmentation at first step. Finally, the mean and standard deviation of segmentations which has same vocal resonance characteristics were calculated for features in emotion recognition using Gaussian Mixture Model (GMM). For comparison with other conventional methods, several emotional features such as energy, pitch, zero-crossing-rate (ZCR), linear prediction coefficient (LPC), mel-frequency cepstral coefficient (MFCC) and log-frequency power coefficient (LFPC) were examined in simulation using Korean emotional database. In addition to that, proposed method was validated in experiment by another speaker who did not participate in recording database. As a result, the proposed method improves the performance emotion recognition for above features and usefulness of proposed method was proved by implementation of emotion recognizer.
최근의 로봇의 역할이 다양해지면서 로봇과 사람간의 상호작용이 로봇 개발에서 중요한 부분을 차지하고 있다. 특히 자연스러우면서도 친근한 인간-로봇 상호작용을 위해서 음성기반 감정인식 기법이 본 논문에서 연구되었다. 화자의 감정상태는 목소리의 톤, 빠르기, 음색 등에 영향을 주게 된다. 하지만 화자의 감정상태뿐만 아니라 발화내용에 의해서도 음성신호는 변화하게 된다. 따라서 감정과 문장에 의한 음성신호의 변화에 대해서 분석해보고 그 결과를 바탕으로 1차, 2차 포먼트와 주파수 중심을 이용한 새로운 방식의 음성특징 추출 방법을 제안하였다. 제안된 추출 방법은 3가지 단계로 구분된다: 우선, 음성신호의 프레임 별로 1차, 2차 포먼트 주파수와 주파수 중심의 값을 측정하여 공명특성 별로 구분을 한다. 다음으로, 공명특성 별로 구분된 프레임별로 감정과 관련이 있다고 판단되는 음성특징을 추출한다. 마지막으로는 추출된 음성특징들을 문장에 대한 대표값(평균과 표준편차)을 계산하여 감정인식을 위한 특징벡터로 사용한다. 제안된 방법의 우수성을 검증하기 위해 한국어 음성 감정데이터베이스로부터 다양한 음성특징(Energy, Pitch, ZCR, LPC, LFPC, MFCC)을 추출하여 시뮬레이션을 수행하여 보았다. 또한, 데이터베이스와 상관없는 화자에 대해서도 음성을 녹음하고 실험을 수행하였다. 그 결과, 제안된 방법이 다양한 음성특징에 대해서 감정인식 성능을 향상시키는 것과 실험을 통하여 그 가능성을 검증하였다.
