Like nonverbal cues in oral interactions, text-based emoticons, which are textual portrayals of a writer’s facial expressions, are commonly used in electronic device-mediated communication. Little is known, however, about how text-based emoticons are processed in the human brain. The goal of this study was to examine the discrete neural systems engaged in the recognition of text-based emoticons and to investigate the spatio-temporal steps of the areas involved during text-based emoticon processing with multimodal neuroimaging data.
In chapter 1, various emotional emoticons (happy, sad, angry, fearful and scrambled) were only used. During fMRI scan, subjects were asked to respond by pressing a button, indicating whether text-based emoticons represented positive or negative emotions. Voxel-wise analyses were performed to compare the responses and contrasted with emotional versus scrambled emoticons and among emoticons with different emotions. In the voxel-wise analysis, both emotional and scrambled emoticons were processed mainly in cortical regions. To explore processing strategies for text-based emoticons, brain activity in the bilateral occipital and fusiform face areas were compared. In a percent signal change analysis, the occipital and fusiform face areas of the right hemisphere showed significantly higher activation that of the left hemisphere. These results suggest that text-based emoticons are processed in neocortex, dominantly in the right hemisphere, regardless of whether they contain configural information or not.
In chapter 2, MEG recordings and fMRI scans were acquired from 40 healthy subjects. To compare emoticons and faces, text-based emoticons and facial expressions were used as stimuli. Before undergoing neuroimaging, all subjects rated the emotional valence of stimuli. Using fMRI BOLD analyses and MEG source estimation, it was demonstrated that spatial concordance between fMRI and MEG components within the primary visual cortex, the ventral occipito-temporal cortex, the ventrolateral prefrontal cortex, and the occipito-parietal cortex. The incoming emoticon stimuli were analyzed for their visual characteristics at around 80ms in the primary visual cortex as named by M100. Processing of the characteristics akin to face in the fusiform face area (FFA) at around 150ms (M170). Subsequent, presumably emotional processing, source distributed the left parietal cortex at around 220ms (EPN). Source maps of the emoticons versus faces difference suggested that face stimuli are processed through dual route whereas emoticons are processed cortical pathway dominantly. In addition, the correlations between behavior and source activation of the left AIC supports cortical processing of emoticons.
The preliminary fMRI results indicate that people recognize text-based emoticons as pictures representing face expressions rather than words. Spatio-temporal data showed emoticons are perceived dominantly through cortical route while face expressions are perceived through both subcortical and cortical pathways. This is the first study to propose a neural model of emoticon recognition model. My result help understand that human brains area able to create contextual meanings during interactions with information perceived in a given situation.
사람 간의 의사소통에서의 어조나 표정 같은 비언어적 신호가 중요한 역할을 하는 것과 같이, 활자 기반 이모티콘은 전자기기 기반의 의사소통에서 화자의 얼굴표정 등 비언어적 신호를 전달하는 역할을 한다. 하지만 아직까지 사람의 뇌에서 활자 기반 이모티콘이 어떻게 처리되는지 거의 밝혀지지 않았다. 본 연구의 목적은 다양한 뇌기능 영상 정보를 이용하여 활자 기반 이모티콘 인지와 관련된 신경 체계를 밝히고 그 신경 체계들이 이모티콘 처리에 어떠한 시간적, 공간적 단계로 관여하는지 알아보는 것이다.
먼저 네 종류의 감정 이모티콘과, 그 이모티콘의 요소를 흩어서 만든 변환 이모티콘 자극을 사용하여 실험하였다. 기능적 뇌자기공명영상 촬영을 하는 동안 피험자들은 각각의 자극이 긍정적인 감정을 나타내는지, 부정적인 감정을 나타내는지 버튼을 눌러 반응하도록 하였다. 복셀 기반분석을 사용하여 감정 이모티콘 대 변환 이모티콘의 차이와 여러 감정 이모티콘들간의 차이를 알아보았다. 복셀 기반분석(voxel-wise analysis)에서 감정 이모티콘과 변환 이모티콘은 모두 대뇌피질에서 처리되었다. 활자 기반 이모티콘의 처리 전략을 분석하기 위해 뇌 좌반구와 우반구의 방추상 얼굴영역(fusiform face area, FFA)과 후두엽 얼굴영역 (occipital face area, OFA)를 비교하였다. 신호변화 분율(percent signal change) 분석에서, 방추상 얼굴영역과 후두엽 얼굴영역은 모두 좌반구보다 우반구에서 통계적으로 의미있게 높은 활성을 보였다. 이러한 결과는 통해 활자 기반 이모티콘이 주로 우측 대뇌피질에서 처리된다는 것을 시사해 준다.
다음으로는 40명의 피험자를 대상으로 뇌자도와 기능적 뇌자기공명영상을 함께 촬영하였다. 얼굴 자극과 이모티콘 자극에 대한 반응을 직접 비교하기 위해 얼굴 표정 사진과 활자 기반 이모티콘을 자극으로 사용하였다. 뇌기능 영상 실험 전, 모든 피험자들은 실험에 사용될 자극을 보고 감정가를 평가하였다. 기능적 자기공명 영상의 Blood-oxygen-level dependent (BOLD)와 뇌자도 신호원 추정 (source estimation)을 통해 기능적 뇌자기공명영상과 뇌자도의 요소들 사이에 일차 시각피질, 복측 후두-측두엽, 복외측 전전두엽, 후두-두정엽에서 공간적 일치가 있음을 입증하였다. 이모티콘 자극이 들어오면 80ms 에 일차 시각피질에서 시각적 특성을 분석하고 다음으로 150ms 에 방추상 얼굴영역에서 얼굴 특이적 형태를 분석한 다음 220ms 에 후두-두정엽에서 통합적 분석이 일어난다. 이모티콘 자극과 얼굴 자극의 신호원 비교 결과는 얼굴은 대뇌피질 경로와 피질하 경로를 모두 사용하여 처리되는 반면 이모티콘은 대뇌피질 경로를 중점적으로 사용하여 처리됨을 시사해준다. 또한 행동실험 결과와 좌측 전측뇌섬엽(anterior insular cortex, AIC) 신호원 활성의 상관관계 분석결과도 이모티콘의 대뇌피질 처리를 뒷받침해준다.
예비실험 결과는 사람들이 활자 기반 이모티콘을 얼굴 표정 그림과 가깝게 인식한다는 것을 나타내었고, 시간적 공간적 분석 결과는 이모티콘이 대뇌피질 경로를 통해 중점적으로 처리되는 것을 보여주었다. 본 연구는 처음으로 이모티콘 인식 모델을 제시하였고 이것은 주어진 상황에서 인지한 정보를 통해 맥락적 의미를 창출하는 인간의 특이적인 능력을 이해하는데 도움을 줄 것이다.
