This paper describes a hybrid brain-computer interface (BCI) technique that combines the P300
potential, the steady state visually evoked potential (SSVEP), and event related de-synchronization
(ERD) to solve a complicated multi-task problem consisting of humanoid robot navigation and control
along with object recognition using a low-cost BCI system. Our approach enables subjects to control the
navigation and exploration of a humanoid robot and recognize a desired object among candidates. This
study aims to demonstrate the possibility of a hybrid BCI based on a low-cost system for a realistic and
complex task. It also shows that the use of a simple image processing technique, combined with BCI,
can further aid in making these complex tasks simpler. An experimental scenario is proposed in which a
subject remotely controls a humanoid robot in a properly sized maze. The subject sees what the surrogate
robot sees through visual feedback and can navigate the surrogate robot. While navigating, the robot
encounters objects located in the maze. It then recognizes if the encountered object is of interest to the subject. The subject communicates with the robot through SSVEP and ERD-based BCIs to navigate and
explore with the robot, and P300-based BCI to allow the surrogate robot recognize their favorites. Using
several evaluation metrics, the performances of five subjects navigating the robot were quite comparable
to manual keyboard control. During object recognition mode, favorite objects were successfully selected
from two to four choices. Subjects conducted humanoid navigation and recognition tasks as if they
embodied the robot. Analysis of the data supports the potential usefulness of the proposed hybrid BCI
system for extended applications. This work presents an important implication for the future work that
a hybridization of simple BCI protocols provide extended controllability to carry out complicated tasks
even with a low-cost system.
본 논문은 저가형 뇌전도 측정 장비에 의해 측정된 뇌전도를 사용하여 휴머노이드 로봇의 조종과 물체인식을 수행하는 융합형 뇌컴퓨터 인터페이스 (BCI) 를 소개한다. P300 전위, 정상 시각 유발 전위 (SSVEP), 사건 관련 비동기화 (ERD) 현상을 조합하는 본 연구의 융합적인 접근법은 실험자가 휴머노이드 로봇의 조종하고 여러 후보군에서 원하는 물체를 인식하게 하는 것을 가능하게 한다. 또한 본 연구는 현실적이고 복잡한 작업을 수행하는데 있어 저가형 뇌전도 측정 장비 기반 융합형 뇌-컴퓨터 인터페이스의 적용이 가능하다는 것과 간단한 영상 처리 기법을 뇌-컴퓨터 인터페이스에 도입함으로써 복잡한 문제를 간단하게 만들 수 있다는 것을 보여주는데 목적이 있다. 실험 시나리오는 실험자가 원격으로 적당한 크기의 미로에서 휴머노이드 로봇을 제어하는 것을 제안하였다. 실험자는 시각적 피드백을 통하여 휴머노이드 로봇이 보고 있는 것을 볼 수 있으며 조종하는 것이 가능하다. 조종 중 로봇은 미로 속에 설치된 물체를 접하게 되고 만약 물체가 실험자가 원하는 물체라면 이를 인식한다. 실험자는 로봇을 조종하기 위해서는 SSVEP와 ERD 기반, 물체를 인식하기 위해서는 P300 기반 뇌컴퓨터 인터페이스를 통하여 로봇에 지시를 내린다. 몇 가지 평가도을 통하여 분석한 다섯 명의 실험자의 로봇 조종은 키보드를 통하여 수동으로 조작한 경우와 비슷한 성능을 나타냈다. 물체 인식의 경우 실험자들은 2개에서 4개 사이의 후보군 중에서 원하는 물체를 성공적으로 선택하는 것이 가능하였다. 이러한 결과는 본 연구에서 제안한 융합형 뇌컴퓨터 인터페이스 시스템의 잠재적인 유용성을 지지하며 저가형 뇌전도 측정 장치를 사용함에도 불구하고 단순한 프로토콜들을 융합하는 것이 복잡한 작업을 수행하기 위한 확장된 조종성을 제공한다는 것을 보여준다.
