Visuo-haptic information is essential for efficient object perception. Here we investigated the neural response to congruent and incongruent visuo-haptic object stimuli using fMRI. Compared to incongruent stimuli, congruent visuo-haptic stimuli evoked bigger response in early sensory cortex as well as traditional multisensory area such as lateral occipital cortex (LOC) and posterior parietal cortex (PPC). The congruency effect in the early sensory cortex contrasts with the traditional view that multisensory processing occurs at the high level association cortex where information from different primary sensory cortex converges. However, a recent hierarchical inference model of the brain provides an elegant explanation for the involvement of sensory-specific cortex as well as high level cortex. Precision or gain of early sensory channels can be larger for congruent multisensory input because the channels are regarded as more reliable sources that facilitate the inference process. Furthermore, higher multi-voxel pattern reproducibility was observed for the congruent stimuli and it also implies more reliable inference on the sensory cause.
시각과 촉각정보는 효율적으로 물체를 인식하는데 필수적이다. 우리는 시각과 촉각 정보가 일치하는 ‘congruent’ 물체자극과 시촉각 정보가 불일치하는 ‘incongruent’ 물체자극이 있을 때에서 신경활동의 반응을 fMRI로 탐구했다. Incongruent 자극에 비해 Congruent 물체자극은 다중감각 연합영역에 해당하는 lateral occipital cortex (LOC), posterior parietal cortex(PPC)뿐만 아니라 시각피질, 촉각피질에서도 큰 신경활동을 유발했다. 이것은 서로 다른 감각정보는 각기 다른 감각피질에서 들어와 LOC, PPC와 같은 상위 단계에서 만나고 상호작용한다는 전통적인 관점에서는 놀라운 결과이지만 최근 많은 주목을 받고 있는 뇌의 계층적 추론 모델에서는 자연스럽게 설명된다. . Congruent 조건에서는 시각과 촉각피질에서 들어오는 정보가 서로를 보완하며 추론과정에 기여하므로, 더 믿을만한 감각 채널로 간주되어 precision 또는 sensory gain이라 불리는 것이 더 커서 신경활동도 클 수 있다. 또한 다중 복셀 패턴의 재현성도 congruent 자극에서 더 컸는데 이는 감각정보의 원인에 대한 추론이 더 잘 되는 것을 시사한다.
