Mapping users' thoughts asynchronously and directly to mobility system control would make its navigation more intuitive as if the system was an extension of their body. As brain-controlled mobility systems that utilize electroencephalogram signals are prone to misclassification of users' intentions, previous research tends to use reactive brain responses from various stimuli to lessen the error rate. In contrast, motor imagery, an imagination of body movement without its execution, requires no additional stimulus and provides direct and intuitive mobility control. However, motor imagery exhibits relatively lower discrimination of intentions compared to reactive brain activities, which require several instances of different reactions for producing a single command to lessen the error rate. Furthermore, motor imagery requires extensive learning from users prior to its usage in order to elicit discriminant brain patterns with high quality. Thus in this dissertation, we propose a scaffolding strategy for asynchronous BCI mobility control that utilizes immersive VR for motor imagery learning. To further support control ability and our scaffolding strategy, we propose not only a shared control approach that assists asynchronous BCI control but also a supportive module for BCI models that improves classification accuracy in cases where the brain signals acquired from immersive VR are used for real-world applications. The proposed methods were evaluated through comparisons with traditional methods with various experiments. The results showed that our learning protocols, control approaches, and classification models had improvements over previously used methods.
사용자들의 생각을 모빌리티 시스템 제어에 비동기식으로 직접 매핑하는 방법은 마치 사용자들이 자신의 신체 일부를 움직이는 것과 같이 기기를 제어하는 직관적인 조종을 경험할 수 있다. 기존의 뇌파를 사용하여 제어하는 모빌리티 시스템의 경우 사용자의 의도 파악에 잦은 오류를 보이는 경향이 있어, 각종 시각적 또는 청각적 자극제를 활용하여 발현되는 뇌파를 통해 사용자 의도 파악에 대한 오류를 줄이기도 한다. 사용자의 신체 일부 움직임 상상을 의미하는 운동심상의 경우, 뇌파 발현을 위한 별도 자극제가 필요 없어 직관적인 제어를 가능하게 하나, 자극제를 활용하는 경우보다 정확도가 낮아 하나의 제어명령을 생성하기 위해 몇몇의 다른 운동심상을 이행하여 제어 오류를 낮추기도 한다. 또한, 운동심상을 활용하는 경우 구분 가능한 뇌파 발현을 위하여 기기제어 이전 사용자로 하여금 방대한 양의 운동심상 학습훈련을 요구한다. 본 연구들에서는 이러한 기존 문제점을 보완하기 위해 스캐폴딩 기반의 몰입형 가상환경 활용 운동심상 훈련 프로토콜을 제시한다. 추가적으로, 본 논문에서는 사용자의 제어를 돕기 위해 뇌파 기반 비동기식 모빌리티 제어를 위한 반자율 기법 및 가상현실 데이터의 실생활 활용을 위한 뇌-컴퓨터 인터페이스 딥러닝 모델의 보조 모듈을 제시한다. 본 논문에서 제안된 방법들은 현재 주로 사용되는 기존 방법들과의 비교 및 다양한 실험을 통하여 성능을 평가하였다. 각 연구에서 이행된 평가 결과는 제안된 방법들이 기존에 활용되는 방법들에 비하여 개선된 성능을 보인다.
