Understanding human minds is a challenging goal for a successful interaction between a human and a machine. Although the erstwhile machines were trained and developed to understand explicitly presented human minds, understanding un-presented or hidden human mind will play an important role for a future human-machine interface. To understand un-presented human mind, we hypothesized that the space of hu-man internal states has several independent axes, for example, memory, emotion, intention, trustworthiness, etc. Each state may be represented on its axes in a form of neural responses in a human brain. Therefore, it is necessary to investigate brain signals in a human brain representing his/her internal state. In the same vein, a brain-computer interface (BCI) has been developed to facilitate a communication between a human and a machine. It has primarily been applied in healthcare to assist physically impaired patients, who have a diffi-culty to present their mind. For a general purpose, a future BCI should assist healthy people in their natural daily life. Our continuous efforts resulted in a good success of understanding two different human internal states; agreement/disagreement to others, and trustworthiness of others.
In this dissertation, we proposed an implicit intention recognition framework to classify a user’s im-plicit agreement/disagreement at his/her EEG single trial level. From EEG data recorded during self-relevant sentence reading, we were able to discriminate two implicit intentions, i.e., ‘agreement’ and ‘disagreement.’ To improve the classification accuracy, discriminant features were selected based on Fisher score among EEG frequency bands and electrodes. Especially, the time-frequency representation with Morlet wavelet trans-forms showed clear differences in gamma, beta, and alpha band powers at fronto-central area, and theta band power at centro-parietal area, where were also found in an fMRI study. The best classification accuracy of 75.5% was obtained by a support vector machine (SVM) classifier with the gamma band features at fron-to-central area. This result may enable a new intelligent user-interface which understands human internal states regarding agreement and disagreement.
We designed another experiment to search for the second human internal state, i.e., trustworthiness. Specifically, when a human and an intelligent machine work together as a team, human trust has been broadly known as its strong influence to the performance. Yet, an electrophysiological signature of trust has not been isolated. In order to isolate such a signature, we recorded event-related potentials while healthy sub-jects (N = 31) played a theory-of-mind game with two types of computerized agents: with or without human-like cues. Electrophysiological activities in brain regions belonging to the theory-of-mind network correlated with perceived capability, especially when a machine opponent has some human-likeness. In particular, our research shows that activity in the left parietal region correlating with a human player’s future behavior can be identified as the neural signature of capability-based trust. These results reveal that brain signals underly-ing trust as influenced by perceived capability and human-likeness might be useful for performance optimi-zation of human-machine systems.
According to the results in two studies, we proposed novel research paradigms to understand human internal states, and successfully showed relationship between human internal states and neural responses in a human brain. By understanding a human brain, we believe that it is possible to develop a better human ma-chine interface which can support human beings.
기계가 사람의 마음(의도, 감정, 등)을 이해하도록 만드는 것은 기계와 사람간의 성공적은 의사소통을 위해서 해결되어야 할 가장 중요하고도 도전적인 과제이다. 기존의 기계들은 겉으로 드러난 사람의 마음만을 파악하게끔 학습되었지만, 실생활을 생각해볼 때에 드러나지 않은, 혹은 숨겨진 사람의 마음을 이해하는 것이 앞으로 미래에서 사용될 사람-기계 인터페이스에서 중요한 부분이 될 것이다. 드러나지 않는 사람의 마음을 이해하기 위해서, 우리는 사람의 내적 상태를 여러 독립적인 축으로 표현할 수 있다고 가정하였고, 각각의 축은 기억, 감정, 의도, 신뢰 등이 가능하고, 사람의 뇌에서의 신경반응의 형태로 표현될 수 있을 것이다. 그러므로, 내적 상태를 이해하기 위해서 뇌 신호를 분석하는 것이 중요하다. 같은 맥락에서, 뇌-기계 인터페이스가 사람-기계 간의 소통을 위해 개발되어 왔다. 처음에는 겉으로 의사를 표현하기 어려운 신체가 불편한 환자들을 돕기 위해 헬스케어 목적으로 활용되어 왔으나, 범용적인 활용을 위해 미래의 뇌-기계 인터페이스는 자연스러운 일상 생활에서 일반적인 사람들도 도울 수 있는 방향으로 개발되어야 한다. 우리의 지속적인 노력으로 두 가지 서로 다른 내적 상태를 이해하는 연구가 성공적으로 진행되었다. 그 두 가지는, 다른 사람에 대한 동의/비동의와 다른 사람에 대한 신뢰에 관한 것이다.
이 논문에서는, 상대편에 대한 동의/비동의를 뇌파의 단일 시도 수준에서 구별해내는 묵시적 의도 인식 체계를 제안했다. 자기 자신과 관련이 있는 문장을 읽는 동안 수집된 뇌파로부터, 우리는 동의/비동의의 두 가지 의도를 구별해낼 수 있었다. 구별 성능을 높이기 위하여, 우리는 뇌파의 주파수 밴드와 전극마다 Fisher 스코어를 이용하여 변별력을 가진 특징을 선택하였다. 특히, Morlet 웨이블렛 변환을 이용하여 얻은 시간-주파수 표현에서 정면 중앙 영역의 감마, 베타, 알파파와, 중앙-두정 영역의 세타파에서 뚜렷한 차이를 발견할 수 있었다. 위의 영역들은 동일한 실험으로 얻은 뇌기능영상에서도 일치하는 결과였다. 최고 분류 성능은SVM으로 5개 전극의 감마파를 이용하였을 때에 75.5%로 나타났다. 이 결과로부터 우리는 동의/비동의에 해당하는 내적 상태를 이해할 수 있는 새로운 지능형 사람-기계간의 인터페이스로의 확장을 기대할 수 있다.
두 번째 내적 상태인 신뢰에 대하여 다른 실험을 디자인하였다. 구체적으로, 사람과 지능형 기계가 협업을 할 때에 기계에 대한 사람의 신뢰가 성능에 영향을 미친다는 사실에 근거하였다. 하지만 그런 신뢰에 대한 전기 생리학적 특징이 아직은 밝혀진 바가 없었기 때문에 우리는 31명의 피험자를 대상으로 사건관련 전위를 측정하였다. 피험자와 사람다움이 있는 컴퓨터 에이전트와 없는 컴퓨터 에이전트 간의 theory-of-mind (ToM) 게임을 수행하는데, 여기서 사람다움을 가진 에이전트에 한해서ToM 네트워크라고 알려져 있는 뇌 영역의 전기 생리학적 신호가 피험자가 인지한 기계의 수행 능력과 관련이 있는 것으로 나타났다. 특별히, 피험자의 앞으로의 행동과 좌측 두정엽 영역의 활동간의 유의미한 상관관계가 있는 것으로 나타났기 때문에, 이런 뇌 활동이 수행능력에 근거한 사람의 신뢰를 나타내는 신경학적 특징이 될 수 있다고 생각한다. 이 결과로부터 우리는, 기계의 수행능력과 인간다움의 영향을 받은 신뢰의 신경학적 특징이 되는 뇌 신호를 사람-기계 시스템의 성능을 최적화하는데 활용할 수 있을 것으로 생각된다.
두 실험 결과로부터, 우리는 사람의 내적 상태를 이해하는 새로운 실험 패러다임을 제안하였고, 성공적으로 인간의 내적 상태와 뇌 신호간의 관계를 규명할 수 있었다. 사람의 뇌를 이해함으로써 우리는 인류에게 도움이 되는 좀 더 나은 사람-기계 인터페이스를 구축할 수 있다고 생각한다.
