Understanding human internal states is an important factor of successful human-computer interactions. In this dissertation, we suggest to analyze various bio-signals to understand human internal states even when they are not explicitly presented. Among various user states we focused on preferences for authentication and trust during cooperation with human-like machines.
First, we measured and analyzed idiosyncratic eye movements elicited from attention shifts in aspect of security codes which is fundamentally impossible for intruders to reproduce as genuine owners. In our experiment, sequences of visual stimuli were presented, and corresponding eye movements were recorded. We hypothesized that these eye movements evoked from the stimuli, and that each signal sequence can be composed into code that is unique to each person. To verify this hypothesis, we conducted eye movements comparisons between subjects and authentication of subjects with eye movements. Obtained results imply that eye movements on each visual stimulus can be considered as idiosyncratic, and compositions of multiple responses can provide more reliable information for subject authentication. Efficiencies in authentication could be improved with selectively presenting stimuli which induced more consistent scanpaths from a claimed identity, and the best performance was achieved at a 1.57% false acceptance and a 1.23% false rejection rate. This supports the feasibilities of proposed security system based on eye scanning paths on visual stimuli.
The second part of this dissertation is understanding human trust in machines and exploring factors of the trust by observing human brain activities. Recently, automated systems (self-driving cars, autopilot, etc.) operated under human supervisions have become increasingly ubiquitous. However, little is known about the underlying neural and computational processes of how human operator supervises partner agents' decisions. We conducted a novel experiment to model human trust in machines with various human-like cues. In our experiment, each subject performed a task as a player or coach for machine players. We could demonstrate the significant differences in event related potentials according to subjects’ trust in the agents. Also, we could observe neural correlates to variations of human trust in trial-level by using statistical analysis and classification with a machine-learning method. Variations in brain activities related to trust changes were pronounced for externally more human-like agents. Moreover, subjects tended to trust more in agents with similar risk-taking personalities to themselves. This research provides a theoretical basis for modelling human neural activities indicate trust in partner machines and can thereby contribute to the design of machines to promote efficient interactions with humans.
인간의 내적 상태를 이해하는 것은 성공적인 인간 - 컴퓨터 상호 작용의 중요한 요소이다. 우리는 본 논문에서 다양한 생체 신호의 분석을 통해 명확히 제시되지 않은 인간의 내적 상태까지도 이해하는 방법을 제안한다. 다양한 사용자 상태 중, 본 논문은 피험자의 선호도와 신뢰를 파악하고 응용하는데 중점을 둔다.
첫 번째 파트에서는 피험자 간 서로 다른 안구 운동이 보안 코드의 측면에서 분석되었다. 본 논문은 보안 코드의 누출을 원천적으로 막을 수 있는 새로운 형태의 보안 시스템을 제안하며 그 타당성을 논의한다. 실험에서 다양한 내용의 시각 자극을 순차적으로 제시하였으며, 이로부터 유도된 안구 신호의 시퀀스가 각 사람마다 특징적일 것으로 가정했다. 이 가설을 검증하기 위해 우리는 각각의 시각 자극에 대한 안구 이동 경로를 피험자에 대해 비교하였으며, 그 경로를 보안 코드로 형성하여 사용자 인식을 시도하였다. 획득 된 결과는 각 시각 자극에 대한 안구 운동이 피험자 별로 특징적이라는 것과, 여러 안구 반응의 조합은 인증에 사용할 수 있는 정보를 제공함을 파악하였다. 효과적인 인증을 위하여 주장하는 신원을 판별하는데에 도움이 되는 시선 경로를 유도할 수 있을 시각자극을 선별한 결과 1.57%의 오승인율과 1.23%의 오거부율로 최고의 성능을 얻어낼 수 있었다. 본 연구는 시각적 자극에 대한 시각 스캐닝 경로를 기반으로 제안 된 보안 시스템이 생체 인식 신호로서 실현 가능함을 보여준다.
이 논문의 두 번째 부분은 기계에 대한 인간의 신뢰를 이해하고 인간의 두뇌 활동을 관찰하여 신뢰 요소를 탐색하는 것이다. 최근 자동 운전 시스템(자가 운전 자동차, 자동 조종 장치 등)이 보편화되고 있으며 아직은 인간의 감독이 필요하다. 그러나 감독관으로서 사람의 신뢰에 대한 뇌 반응에 대해서는 연구된 바가 많지 않다. 본 연구에서 인간다움을 지닌 기계에 대한 인간의 신뢰를 모델링하기위한 새로운 실험을 수행했다. 우리의 실험에서, 각 피실험자는 선수 또는 코치로서 태스크를 수행했다. 기계 에이전트와 함께 임하는 세션에서 에이전트의 플레이에 관여하는 정도는 신뢰도와 관계있음을 파악하였으며, 사람의 신뢰도 변화에 따른 뇌파 반응을 입증 할 수 있었다. 피험자의 파트너 에이전트에 대한 신뢰도가 낮은 때와 높은 때의 뇌 신호 비교를 통해 신뢰도와 관계한 뇌 신호의 특징을 찾을 수 있는데, 신뢰를 하지 않는 에이전트와의 태스크 수행 세션에서는 피험자가 선수로써 스스로 태스크를 수행하는 세션에서와 비슷한 뇌 반응을 보였다. 또한 매 선택이 이루어지는 트라이얼 단위에서 피험자의 신뢰가 증가하거나 감소하는 것과 관계있는 뇌파의 변화를 통계적 분석과 기계학습을 이용해 관측하였다. 에이전트의 인간다움이 피험자 신뢰에 미치는 영향에 대한 분석에서는 피험자는 본인과 비슷한 선택을 하는 에이전트를 더욱 신뢰하는것을 파악하였으며, 외향적으로 더욱 인간답게 느끼는 에이전트에 대한 신뢰의 변화가 뇌파에서 더욱 뚜렷하게 나타나는 것을 확인하였다. 본 연구는 효율적인 인간과 기계의 상호작용과 지능화 기기에 대한 설계를 위한 이론적 뒷받침을 제공한다.