Emotion one feels is generally expressed via face and speech. In this paper, it is investigated whether it is possible to recognize emotional states through EEG signals produced while the brain performs some cognitive function or not. Up to now, significant efforts have been made mainly by psychologists that try to define various emotional states based on EEG data acquired during the presentation of stimuli. But judging from the engineering point of view, these attempts have many limitations that only a few features such as power and asymmetry score have been used to elucidate the characteristics of emotions, and application of the found results to the Human-Computer Interface (HCI) field has not been considered. Thus, to overcome these limitations and weakness, empirical knowledge from the fields of psychology and music therapy, and various methodologies on the signal processing are introduced simultaneously in this study. Fist, affective stimuli consisting of images, music and video clips are designed and prepared for EEG recordings. This work is inevitable for gathering good and reliable data. Second, in the signal analysis phase, an endeavor to find the effective features reflecting information inherent in EEG signals is made, and an approach to select the optimal channels based on the common Principal Component Analysis (PCA) is also made.
In the classification test, it was found that the 4 emotional states such as relaxation, happiness, sadness, and stress could be distinguished if the information gathered from the brain activities occurring in the frontal and temporal regions was utilized.
사람이 느끼는 감정은 표정이나 음성을 통해서 주로 표현된다. 본 논문에서는 이러한 감정에 관련된 정보가 정신활동을 지배하는 뇌가 활성화될 때 발생하는 뇌파를 통해서도 파악 가능한 지를 살펴보기 위해 필요한 실험 방법론이 다루어지고 있다. 현재까지, 감정이 유발된 상황 하에서 녹음된 뇌파를 분석하고 그 결과들을 토대로 해당 감정상태를 정의하려는 노력은 주로 심리학자들에 의해서 많이 이루어져왔다. 그러나, 이러한 시도들은 보통 간단한 몇몇 파라미터들에 의존해서 뇌파에 포함되어 있는 복잡한 정보를 해명하려고 하기 때문에 해석상에서 많은 한계점을 가지고 있으며, 또한 공학적 관점에서 중요하게 취급되는 인터페이스로의 적용도 고려하지 않고 있는 것이 사실이다.
본 연구에서는 심리 및 음악 치료 분야에서 널리 활용되고 있는 경험적 지식과 신호처리분야에서 다루어지는 다양한 데이터 분석 방법론을 도입하여 언급한 이러한 문제점을 해결하려고 하였다. 분석의 재료가 되는 뇌파를 채집하는 과정에서 특정의 감정상태를 자연스럽게 유발하기 위해, 심리적 특성에 기반하여 설계된 International Affective Picture System (IAPS)로 명명된 영상들, 우울증 등의 정신질환의 치료를 위해 사용되는 음악들, 그리고 이야기 전개를 통해 감정상태로의 효과적 몰입을 꾀하는 뮤직비디오와 같은 동영상을 피험자에게 가해지는 자극들로 활용하고, 신뢰성 있는 뇌파를 녹음하기 위한 실험 패러다임을 구성하였다. 이러한 과정을 통해 확보된 뇌파 데이터를 분석하는 과정에서는, 유효한 특징 정보들을 선정하고 이를 중요성분만을 포함하는 보다 간단한 형태로 가공하기 위해 차원축소 알고리즘을 도입하였다. 본 연구에서 차원축소를 통해 해결하려고 했던 사항은 바로 감정상황과 관련하여 중요하게 고려되어야 하는 채널들, 즉, 두피상의 전극 위치를 선정하는 것인데, 이는 인터페이스로의 적용을 위해 반드시 필요한 사항이라고 하겠다.
이러한 제반 방법론들을 활용하여, 평안, 기쁨, 슬픔, 스트레스와 같은 4가지 감정상태를 뇌파를 통해 인식하기 위해서는 뇌의 전두엽 (Frontal regions)과 측두엽(Temporal regions)에서 추출되는 정보들이 중요한 역할을 한다는 것과, 뇌-컴퓨터 인터페이스 (Brain-Computer Interface; BCI)를 위해서는 약 6~7개의 전극이 요구될 수 있음을 확인하였다. 특히, 감정이 유발될 때는 전두엽과 측두엽이 크게 활성화 된다는 사실은 그간 심리학, 의학 등의 분야에서 밝혀진 사실과 일치하였는데, 이를 검증하는 과정에서 본 논문에서 제시한 신호처리적 방법론이 유효했다는 것은 큰 결실로 여겨진다고 하겠다.
