Brain-computer interface, which enables interaction between brain and device by interpreting brain waves, is expanding its scope from the rehabilitation to practical or entertainment. fNIRS is actively researched in that it has complementary characteristics with EEG, and most studies apply convolutional neural networks after converting signals into images to extract spatial features. In this study, we propose that graph representation is more suitable since it can freely reflect the neurovascular association between fNIRS signals. A graph representation method reflecting location and functional connectivity was presented, and performance evaluation was conducted using various graph neural networks. With proposed GCN module and multi-branch model, the ternary classification accuracy of the left-right hand and foot motor task reached up to 75.46%, whereas the highest validation accuracy of the CNN-based model remained at 70.84%.
뇌파를 해석하여 각종 장비와 상호작용을 가능하게 하는 뇌-컴퓨터 인터페이스는 재활 분야에서 시작하여 대상에게 실용성과 즐거움을 제공하는 분야로 그 적용범위를 넓혀가고 있다. fNIRS는 EEG와 상호 보완적인 신호를 얻을 수 있어 활발히 연구되고 있으며, 많은 연구가 공간 특징을 추출하기 위해 신호를 이미지로 변환한 후 합성곱 신경망을 적용한다. 본 연구에서는 fNIRS 신호간의 신경혈관적 연관성을 자유롭게 반영할 수 있는 그래프 형태의 표현이 더 적합하다는 것을 제안한다. 위치 및 기능적 연결성을 반영한 그래프 표현 방법을 제시하였고, 다양한 형태의 그래프 신경망을 통해 성능평가를 진행하였다. 제안한 그래프 합성곱 모듈과 다중 채널 모델을 사용하여 왼손-오른손-발 운동 분류율 75.46%를 달성하여 최대 70.84%를 보인 CNN 기반 모델보다 뛰어난 성능을 보였다.
