From perception to behaviour, human brain processes the information in a flexible and abstract manner that is independent of an input sensory modality. However, the mechanism of such multi-sensory neural information processing in the brain remains under debate. Relatedly, studies often aim to investigate whether certain brain regions behave in a modality-specific manner or invariantly. Previous studies regarding multi-sensory information processing have commonly reported only on the activation of brain regions in response to unimodal or multimodal sensory stimuli. However, less attention has been given to the modality effect on the dynamics of such regions, which could advance our understanding of neuronal information processing. Very recently, few fMRI based studies with this focus evaluated modality specificity of brain regions using more sensitive multi-variate voxel analysis (MVPA) methodologies. MVPA analysis in fMRI mainly evaluated the spatial aspect of activation pattern where temporal dynamics is missing due to limited temporal resolution. These studies offer little insight into the neural oscillatory dynamics of the modality effect. Thus, our aim is to investigate whether brain regions show modality-specific or invariant neural oscillatory dynamics in response to similar task presented to different sensory modalities.
For same, EEG and MEG data were recorded using counting task from auditory, visual and tactile sensory modalities, and sequential shape processing task from visual and tactile sensory modalities. We chose these tasks because information content and its processing are identical across the sensory modalities and they allow implementing experiment in continues or block design. Neural conciliatory dynamics in term of spectral pattern was compared across the sensory modalities using multivariate pattern classification (MVPC) approach. Moreover, we also addressed or account the volume conduction or source leakage effect associated with the EEG and MEG data analysis that affect the outcome of analysis. Results showed modality specific spectral dynamics in co-modulated (i.e. multi-sensory) regions and in higher order brain regions. Modality specificity implies possible existence of modality dependency of information processing in such multisensory brain regions on the input sensory modality.
지각에서 행동에 이르기까지, 사람의 뇌는 input sensory modality에 구애받지않고 유연하면서도 추상적인 방식으로 정보를 처리한다. 그러나, 뇌의 다감각적 신경정보처리 기작은 논쟁 중에있다. 이와 관련하여, 여러 연구들은 특정 뇌의 영역들이 modality specific 방식 혹은 이와 무관하게 작용하는지를 조사하고 있다. 또한, 기존 다감각 정보처리 연구들은 unimodal 또는 multimodal sensory에 의해서만 반응하는 뇌 영역들의 활성을 보고해왔다. 그러나 신경정보처리의 이해를 도모할 수 있는 뇌 영역들의 dynamics에 대한 modality effect는 주목받지 못해왔다. 최근에 들어서야 몇몇 기능적 자기공명영상 연구들이 더 예민한 다중변량복셀분석 방법들을 이용하여 뇌 영역들의 modality specificity를 검증했다. 그러나 기능적 자기공명영상에서의 다중변량복셀 분석은 제한된 시간적 해상도에 의해 시간적 dynamics를 볼 수 없어 뇌의 공간적 활성 패턴만을 보았다. 그로인해 이 연구들은 modality effect의 neural oscillatory dynamics를 잘 설명하지 못한다. 따라서, 본 연구는 뇌의 영역들이 다른 sensory modalities들에 비슷한 과제에 대한 반응이 modality-specific 혹은 그에 무관한 neural oscillatory dynamics를 보이는지를 조사하고자 한다.
이를 위해, 청각, 시각 그리고 촉각에서의 계수 과제와 시각과 촉각에서의 순차적 형태 처리 과제를 수행한 EEG와 MEG data를 수집하였다. 앞의 과제들을 선택한 이유는 정보의 내용과 처리가 sensory modalities간에 동일하고 이 점은 continues 혹은 block design의 실험을 이행할 수 있게 해주기 때문이다. 다중변량 패턴 분류 방법을 통해 sensory modalities간의 neural oscillatory dynamics의 스펙트럼 패턴을 비교분석하였다. 더불어, EEG와 MEG의 결과분석에 영향을 주는 volume conduction 혹은 source leakage 효과를 고려하여 분석하였다. 분석결과 다중감각영역 (multisensory) 뇌 영역과 상위 뇌 영역에서의 modality specific spectral dynamics를 보였다. 결론적으로 Modality specificity는 다중감각 뇌 영역들의 정보처리가 input sensory modality에 의존관계의 여부를 의미한다.
