Brain-computer interface (BCI) for movement control using the electroencephalogram (EEG) has been intensively investigated. However, there are limitations of EEG-BCI studies. Most of BCI paradigms based on sensory and movement process in a brain. In example of motor imagery paradigm, BCI systems based on mapping imagery movement of body parts (e.g., left or right hands) to movement directions (left or right directional movement of a machine or cursor) are less intuitive and much inconvenient due to complex training procedures, direct decoding methods for detecting user intention about movement directions are critically required. Another limitation is conventional BCI decoder required EEG system with high sampling rate and numbers of channels. These high specification of EEG recording system not suitable portable and daily usage of BCI. To solve these problem, we investigated the echo state networks and Gaussian readout as a novel BCI decoder. The echo state networks have universal approximation property with simple linear readouts. Therefore, well-designed readouts of the echo state networks can decode the any neural signals with simple learning rules. Readouts of the proposed decoder have Gaussian property in terms of neural code of direction selectivity in a brain. Because the echo state networks based on cortical column model (e.g. microcircuit model), Gaussian readouts of the echo state network can model the neural code of direction selectivity. To investigate performance of our proposed decoder, total sixteen healthy subjects participate the EEG-BCI task and recorded the EEG signals during they thought the intent to move with eight directions using EEG system having low sampling rate and low channels. The decoder accessed the classification performance of eight directions of stimulus in ten-fold cross validation and compared the performance outcome with that of a conventional machine learning method and deep learning methods. We showed that this decoding method successfully classified eight directions of intended movement (approximately 95% of an accuracy) and but best performance of conventional machine learning and deep learning method are approximately 50%. In theorem of the echo state networks, if readouts of the echo state well-designed for specific task, decoding directions, in this case, the decoder can apply to any type of neural signals. Therefore, we also tested the decoding performance of this method with four ECoG subjects with reaching-and-grasping task in execution task and imagination task. In ECoG study, locations and numbers of electrodes were limited in human study case because ECoG systems requires a surgical procedure. These limitation makes difficulty of decode the user intention and decrease performance of BCI. The decoder also successfully decodes directions of ECoG signals and show over the 0.7 correlation between arm movement and decoding trajectory. These results show that the echo state network and Gaussian readouts can be a useful decoding method to directly read user intention of movement directions even using an inexpensive, portable EEG system and many case of ECoG systems.
뇌-컴퓨터 인터페이스 연구 중 가장 활발 하게 연구가 진행 되고 있는 분야는 뇌파를 디코딩하여 기계의 움직임을 제어하는 연구이다. 하지만 대부분의 뇌-컴퓨터 인터페이스 패러다임은 뇌의 감각 영역과 운동 영역의 활동을 기초로 하는 한계를 보인다. 예를 들어 움직임 제어에서 가장 많이 사용되는 운동 상상 패러다임의 경우, 신체 각 부분의 움직임 상상 뇌파를 이용하여 기계가 움직이고자 하는 방향을 표현하게 된다. 즉, 오른쪽 방향은 오른손의 움직임 상상, 왼쪽 방향은 왼손의 움직임 상상 뇌파를 디코딩하여 뇌-컴퓨터 인터페이스에 이용한다. 이런 패러다임은 조이스틱을 이용하는 형태와 같고, 뇌-컴퓨터 인터페이스 사용자의 의도를 직접적으로 파악하지 않는 형태이다. 따라서 사용자의 의도를 직접적으로 파악하고 이를 해석하는 뇌-컴퓨터 인터페이스 연구가 필요하다. 또 다른 기존 연구의 문제점은 뇌영상 장비의 한계이다. 현재까지의 대부분의 뇌-컴퓨터 인터페이스 연구는 높은 샘플링 레이트, 많은 수의 전극 채널을 가지는 고비용 뇌파 장비를 이용하였다. 이러한 뇌파 장비는 의료 목적으로 개발 되었기 때문에 실생활에 사용되는 뇌-컴퓨터 인터페이스에 이용하기에는 많은 문제가 있다. 최근 낮은 샘플링 레이트, 적은 수의 전극 채널, 무선 환경을 가지는 뇌파 시스템이 개발되고 있지만 아직까지는 기계의 움직임 제어를 위한 뇌-컴퓨터 인터페이스 연구가 부족하다. 이런 문제점을 해결하기 위해 본 연구에서는 에코 스테이트 네트워크와 리드아웃을 이용한 새로운 뇌-컴퓨터 인터페이스 디코더를 개발 하였다. 에코 스테이트 네트워크는 보편 근사 속성(Universal Approximation Property) 이론에 근거하여 수행하고자 하는 기능에 알맞게 설계된 리드아웃을 가지게 되면 간단한 선형 학습법으로 비선형 시스템을 모델링 할 수 있다. 또한 에코 스테이트 네트워크는 대뇌의 피질 컬럼 구조를 가지므로 방향의 선택성을 나타내는 신경 코드를 모델링에 적합하다. 따라서 본 연구에서는 대뇌의 방향 선택성을 나타내는 신경 코드를 모방하는 가우시안 속성을 가지는 리드아웃을 설계하여 뇌파의 방향성을 디코딩할 수 있는 에코 스테이트 네트워크 기반 디코더를 개발하였다. 설계한 디코더의 성능을 평가하기 위해서 16명의 피험자와 기존 뇌파 시스템 보다 휴대성이 좋은 뇌파 시스템(낮은 샘플링 레이트, 적은 수의 전극 채널 수, 무선 환경 적용)을 이용하여 8 방향을 구분하는 뇌-컴퓨터 인터페이스 실험을 수행 하였다. 특히, 기존 신체의 움직임 상상 패러다임을 이용하지 않고, 사용자가 기계를 움직이고자 하는 방향을 직접적으로 생각하는 패러다임으로 실험을 수행하여 사용자의 의도를 디코딩하는 실험을 수행 하였다. 10-교차 검증을 통한 디코더의 8 방향 구분 성능은 평균 95% 였다. 하지만 같은 실험 환경에서 딥러닝 디코더는 50%의 분류 성능만을 보여주었다. 에코 스테이트 네트워크 이론에 의하면 수행하고자 하는 기능에 알맞게 리드아웃이 설계되면 어떤 종류의 신경 신호도 디코딩 할 수 있으므로 ECoG 신호를 이용하여 디코더 성능을 다시 한번 평가 하였다. ECoG 실험에서는 팔이 목표점까지 도달했다 다시 되돌아오는 움직임을 상상하도록 하는 실험을 진행 하였다. 4명의 간질 환자를 피험자를 대상으로 실험하였고, 치료 목적으로 ECoG 전극이 피험자의 대뇌에 위치하고 있었으므로 각 피험자별 전극의 위치, 개수 또한 모두 달랐다. 팔의 움직임은 3차원이므로 각 차원 평면마다 8 방향을 디코딩할 수 있도록 24개의 리드아웃을 설계하였으며 성능 평가를 위해서 팔이 목표점까지 움직이는 상상의 궤적을 디코딩하여 목표점까지의 최단거리 궤적과 상관계수를 구하였다. 정상인이 아닌 환자 피험자이고, 대부분의 전극 위치가 움직임 기능을 담당하는 뇌 영역과 밀접한 연관이 없고, 피험자별 전극 위치, 전극 수가 모두 달랐지만 평균적으로 0.7 이상의 상관계수를 보였다. 따라서 본 디코더가 기계팔 등의 조작을 위한 뇌-컴퓨터 인터페이스에 적용 가능한 결과임을 나타내었다. 결과적으로 연구 개발된 디코더가 뇌-컴퓨터 인터페이스 사용자의 직접적인 의도를 디코딩하고, 저비용 뇌파 장비에서도 적용할 수 있음을 보였으므로 본 연구 결과는 향후 일상생활에 응용할 수 있는 뇌-컴퓨터 인터페이스 기초 기반 연구로 활용 될 수 있을 것이다.
