Recently, technological advances enabled various augmented reality devices such as Google Glass or Oculus Rift, providing extensive tools for designing immersive virtual environment. However, when it comes to or-chestrating diverse sensory information into integrative digital contents, design principles are rarely based on multimodal information processing theories, rather, often based on crude intuition or common practice. Here, in this study, audio-visual interaction during perceptual ambiguity is investigated in order to examine the basis of multimodal information processing. Binocular rivalry with large visual angles is used to induce the experimen-tally consistent perceptual ambiguity. The audio-visual stimuli are selected in accordance with bottom-up and top-down paradigms of human information processing. With participants held under binocular rivalry, the audi-tory information of physical pair (bottom-up) or semantic pair (top-down) is presented to see whether it affects the observers’ subjective experiences. Statistical analysis showed that audio-visual pairing based on lower-level physical features did not have significant interaction, while higher-level semantic pair modulated the perceptual dominance.
최근 증강현실기술의 발전을 통해 구글 글래스 혹은 오큘러스 리프트와 같은 체험형 장치가 개발되었으며, 이는 개발자들에게 실감형 가상현실 제작의 새로운 플랫폼과 도구를 제공하였다. 그러나 다양한 감각정보를 혼합한 통합적인 디지털 콘텐츠를 제작할 때의 설계 방식은 종종 인간의 다중감각정보처리가 아닌 개발자의 직관이나 관례에 의존하여 왔다. 본 연구에서는 인지적 모호성 상태에서의 시청각 상호작용을 통해 다중감각정보처리의 원칙에 대해 알아보고자 하였다. 실험 환경에서 인지적 모호성을 유발하기 위하여 시각 방위가 큰 자극에서의 양안경쟁을 활용하였다. 또한, 상호작용을 알아볼 자극은 인간의 정보처리이론인 상향식과 하향식에 근거하여 단순물리적 (physical) 자극과 의미적 (semantic) 자극을 선택하였다. 양안경쟁 상태에 머물러 있는 피험자들에게 각각의 자극에 부합하는 다중감각환경을 유도한 뒤 그들의 양안경쟁 양태변화를 통해 시청각 정보의 상호작용에 의한 주관적 경험 변화 여부를 조사하였다. 실험 결과, 단순물리적 자극은 시청각 상호작용을 보이지 않았으나 의미적 자극은 시청각 상호작용을 통해 피험자의 인지 향상과 모호성 해소 효과를 나타낼 수 있음을 확인하였다.
