In this simulation study, we demonstrate that it is feasible to control a robotic arm using fMRI-based brain-computer interface (BCI), which is a noninvasive method that has the advantage of no surgical risk over invasive BCI methods implanting the microelectrode array into the brain. Moreover, fMRI-based BCI has better spatial resolution compared to EEG-based BCI, which is a primarily used noninvasive BCI method. Using fMRI-based BCI, we focus on decoding the trajectories of arm movements in the primary motor cortex (M1). We construct the distribution map of the preferred direction of the motor cortex neurons and model the fMRI signals, which is based on the map adopting the fMRI forward model and generated by direction of arm movements. The result show that directional sensitivity, the key element of the motor decoding, can be found at the voxel level analyzed using multi-voxel patterns in order to compute the directional tuning curves. Furthermore, the results also demonstrate that the trajectories of arm movements can be predicted with six second delay from the estimated directional tuning curves. Therefore, this study provides that if we find the directional tuning properties during motor imagery, the hemodynamic responses measured by fMRI can be used to control the robotic arm between thought and movement.
Brain-computer Interface (BCI)는 인간의 두뇌와 컴퓨터를 직접 연결해 뇌의 신호를 분석하여 사람이나 동물의 의도를 미리 예측하고 이를 이용하여 컴퓨터를 제어하는 인터페이스 기술을 말한다. 이러한 BCI기술은 두뇌의 신호를 측정하고 예측하여 사람의 인지 상태를 분별할 수 있는 brain decoding연구 증진과 더불어 BCI기술도 많은 발전을 거듭하여 왔고 차세대 인터페이스로의 관심도 높아지고 있다.
앞선 연구들에서는 뇌 신호를 해독하기 위한 센서로써 외과적 시술을 통해 마이크로 칩을 원숭이 뇌에 삽입하여 뇌 신호를 실시간으로 측정, 분석하여 원숭이가 의도하는 대로 로봇 팔을 실시간으로 제어하는 것을 보였으며, 최근에는 John Donoghue 의 연구에 의해 사지마비 환자가 팔을 움직이겠다는 생각만으로 로봇 팔을 제어하여 커피를 마시는 것이 가능함을 증명하였다. 하지만 이러한 침습적 방식은 신경세포단위에서 뇌 신호를 직접 측정함으로써 정확성은 우수하지만 외과적 시술과 부작용 위험부담이 크다. 따라서 본 연구에서 우리는 인체에 무해하며 대뇌의 인지 반응에 대한 실시간 분석이 가능한 기능성 자기공명영상 (fMRI)를 사용하여 로봇 팔을 실시간으로 제어할 수 있는지에 대한 가능성을 보여주는 시뮬레이션 연구를 진행하였다.
침습적 방식의 신경 신호를 이용한 brain decoding에서는 대뇌운동영역에서 팔의 움직임에 반응하는 신경세포의 발화율 (firing rate)에 크게 의존하고 있다. 이러한 신경세포들은 특정한 선호방향에 대한 팔의 움직임에 따라서 활발한 발화율 보이며, 이러한 발화율은 선호방향으로의 움직임에서 멀어질수록 점차적으로 감소하는 특성을 보이는데 이를 신경세포의 방향선회곡선 (directional tuning curve)라고 한다. 이 선회곡선들은 코사인 함수나 가우스 곡선에 접합하는 특성을 나타낸다. 본 연구에서는 사람 팔의 움직임에 대하여 fMRI 신호의 기본단위인 복셀 (voxel)에서 또한 팔의 움직임에 대한 정보를 갖는 선회특성을 나타내는 지를 알아내는 것이 중요한 요소가 된다.
시뮬레이션을 위해 우선 기존의 침습적 방식을 통해 알려진 대뇌운동영역에서 방향선호도를 갖는 신경세포들의 분포특성에 대한 연구를 토대로 신경세포들을 미니칼럼 단위로 확장하여 이들의 분포맵을 모델링 한다. 신경세포 분포맵의 미니칼럼들을 팔의 움직임 방향에 대하여 각각의 선형특성에 따라 Poisson spike 생성 모델을 이용하여 발화시키고 복셀 단위의 blood oxygenation level dependent (BOLD) fMRI 신호를 생성한다.
모델링을 통해 생성된 BOLD fMRI 신호를 multi-voxel pattern analysis (MVPA) 분석 결과 fMRI신호의 공간패턴이 움직임 방향에 민감한 반응을 보이는 것을 확인할 수 있으며, correlation analysis를 통해 fMRI의 복셀 단위에서도 방향선회특성을 나타내는 것을 알 수 있다. 이 방향선회곡선은 코사인 함수에 접합을 할 수가 있고, 이 접합된 방향선회곡선으로부터 훈련되지 않은 1°에서 360° 방향의 모든 움직임에 대한 예측이 가능함을 알 수가 있다. 이러한 결과를 이용하여 훈련되지 않은 방향으로 랜덤하고 연속적인 궤도를 따르는 팔의 움직임 경로를 decoding할 수 있음을 시뮬레이션 결과를 통해 증명할 수 있었다.
이러한 결과는 fMRI기반의 BCI가 가능함을 제시하였고, motor imagery에 대하여서도 이러한 복셀 단위에서의 방향선회특성을 얻을 수 있으면, 대뇌 혈류변화 측정을 통하여 실시간으로 사람의 의지에 따라 팔을 제어할 수 있는 차세대 인터페이스로 사용이 가능해 질 수 있을 것이다.
