The user experience in Human – Computer Interaction (HCI) is constituted by bottom-up and top-down information processing. Due to the disparity between the bottom-up and top-down mechanisms, users often experience perceptual ambiguity which may disorient them in interaction. Herein, I investigated the effects of audiovisual associations on perceptual ambiguity in binocular rivalry and Stroop task and applied the mechanism on BMI applications in order to reduce the perceptual ambiguity in interfaces which provided beneficial effects on user experience and performance. First, I intended to understand the mechanism of how multimodal congruence can be formed at the visual stimulus level by utilizing binocular rivalry as an experimental tool to invoke perceptual ambiguity. The findings from this systematic approach revealed that the associative experience of dissimilar audiovisual information can create strong contextual cues that can reach the synergistic congruence and attain disambiguation of environmental cues. Next, in order to investigate the effects of disambiguation by repetitive associative experience on cognitive control, I carefully observed the degree of cognitive load in visual search task with different auditory congruence conditions which affected the response time of following Stroop task. The results showed that congruence, reverse congruence, and randomness of auditory cues by associative experience can affect the amount of cognitive load in visual search task which can extend its effect and significantly affect the performance in following Stroop task. Finally, the principle of associative experience is applied on Brain-Machine Interface (BMI) and showed that the same principle can deliver synergistic sensory information processing which can bring higher BMI control performance. The overall findings in current thesis suggests that the congruence formation by audiovisual association could reduce the perceptual ambiguity from the discrepancy between the bottom-up and top-down information processing and that this mechanism can be applied in BMI applications to enhance the user experience and performance.
인간과 컴퓨터의 상호작용 환경에서 발생하는 사용자 경험을 구성하는 오감정보 처리에는
정보처리의 상향식 및 하향식 기제가 함께 작용한다. 두 정보처리기제의 정보처리 불일치는 종종 인지적 모호성을 발생시키며 사용자의 상호작용에 혼란을 야기하게 된다. 본 연구에서는 인지적 모호성에 대한 시청각정보연합의 효과를 양안경합과 스트룹 과제에서 알아보고, 이를 뇌-기계 인터페이스(BMI) 상황에 응용하여 사용자 인터페이스의 모호성을 감소시키며 나아가 사용자 경험 및 효능감을 증진시키고자 하였다. 먼저 시청각정보의 동일 맥락성이 형성되는 기제를 알아보기 위하여 양안경합을 활용하여 시각자극 수준의 인지적 모호성을 유발하고 이를 해소할 수 있는 방안으로써 시청각 연합적 경험의 효과를 알아보았다. 실험 결과 서로 다른 감각정보의 반복된 연합적 경험은 양안경합으로 유발된 시각적 모호성을 감소시키고 통합적 단일 인식으로의 전환이 촉진될 수 있음을 관찰하였다. 다음으로 이러한 반복된 연합적 경험에 의한 인지적 모호성 감소가 이어지는 인지조절과제 수행 능력에 미치는 영향을 알아보기 위하여 시각탐색 과제에서 보조적인 청각자극 방향의 동일맥락성 수준에 따른 인지부하의 정도 및 스트룹 과제에서의 반응속도를 관찰하였다. 그 결과 주어지는 청각자극의 정방향, 역방향, 무작위성은 시각탐색 과제 수행시 인지 부하의 수준에 영향을 미치는것으로 나타났으며 이것은 이어지는 스트룹 과제에서의 반응 속도에도 영향을 미치는것으로 확인하였다. 마지막으로 이러한 자극 수준에서의 발견을 바탕으로 뇌-기계 인터페이스(BMI)에 활용될 수 있는 의미적 수준의 동일맥락 인터페이스를 개발하였으며 이러한 방법은 서로 다른 감각 정보의 연합적 경험이 사용자 수준에서의 통합적 감각정보처리 및 사용자의 BMI 조종 성능 향상에 기여할 수 있는 것으로 확인하였다. 시청각연합에 의한 동일맥락 형성은 상향식 및 하향식 정보처리의 불일치에 의해 발생하는 인지적 모호성을 감소시킬 수 있을 뿐만 아니라 나아가 사용자 경험 및 사용성을 증진시킬 수 있는 것으로 확인하였다.
