This work presents a head-pose-free eye-gaze tracker which is used to control a wheelchair. An infrared light camera is set up on a head-mounted frame to capture the human eye images. The captured eye-images are interpreted into eye-gaze angles and the eye-blink action. The wheelchair is actuated by two DC motors and its movement is determined by the eye-gaze angles and the eye-blink action. The long enough eye-blink action switches the system on or off; and the eye-gaze angles make the wheelchair move or stop or turn to the corresponding direction. A 3D orientation sensor is attached to the eye-gaze tracker to take into account the head movement; therefore the accuracy of the system is not be affected when the user change his head position intentionally or unintentionally. The experiments evaluated the wheelchair’s performances by comparing with the manual keyboard control and tested the accuracy of the eye-gaze tracker control interface.
머리 움직임을 허용하는 시선추적기를 이용한 휠체어 제어
본 연구는 머리 움직임을 허용하는 시선추적기를 이용한 전동 휠체어의 제어 인터페이스를 제안한다. 이를 위한 시스템은 시선추적기, 처리 장치, 전동 휠체어의 세 부분으로 나뉜다. 시선추적기는 적외선 카메라와 3D 방향 센서로 구성되어있다. 시선추적기는 사용자로부터 생체 신호를 받아처리 장치으로 전달한다. 처리 장치은 시선의 방향을 계산하여 제어 신호를 생성하여 휠체어에 전송한다.
시선의 방향은 다음과 같은 과정으로 계산된다.우선, 카메라 이미지로부터 눈의 동공 위치를 찾아낸다. LED를 통해 눈에 적외선을 뿌려 이를 적외선 카메라로 촬영하면 동공이 눈의 다른 부위와 명확하게 구분될 수 있다. 카메라를 머리에 고정시켜 눈과의 상대적인 위치를 유지하게 함으로서 지속적으로 동공이 향하는 방향을 추적할 수 있다. 이미지로부터 동공과 다른 부분을 구분하기 위해 이미지에임계값를 적용하여, 이임계값를 넘는 부분만을 남기고 다른 영역은 무시한다. 그리고 남은 부분의 중심 값을 동공 중심 위치로 표시한다. 이 과정은 주변의 빛의 영향을 많이 받으며, 때론 이미지상에임계값를 넘는 작은 영역이 여러 개 나타나기도 한다. 이러한 문제를 극복하기 위해 주변의 밝기가 변함에 따라 적응적으로임계값를 적용하는 방법이 적용되었다. 동공 중심 위치를 얻은 후에, 사용자의 머리를 기준으로 한 상대적인 시선의 각도가 계산된다. 이 각도는 눈의 해부학적 구조를 바탕으로 실제로 눈이 움직일 수 있는 각도상의 범위와 이미지 상에서의 범위를 매치 시켜 이를 2차 보간법을 이용하여 시선의 방향을 추정한다.
앞서 구한 시선 방향은 머리 기준의 좌표계에서 표현된다. 하지만 계산 과정에서 사용자의 머리의 위치는 변할 수 있으며, 이로 인해 휠체어가 잘못 동작할 수 있다. 따라서 시선 방향을 휠체어를 기준으로 한 좌표계에서의 방향으로 변환시켜 이를 휠체어 제어에 활용해야 한다. 이와 같은 변환은 translation과 rotation으로 이루어지지만 사용자의 머리의 위치 변화는 사용자의 눈에서 응시하는 대상까지의 거리에 비해 상대적으로 미미하므로 rotation만으로 이를 계산한다. 방향 센서를 사용하여 휠체어를 기준으로 한 머리의 상대적인 방향을 계산할 수 있다. 머리를 기준으로 한 시선의 방향 벡터에 휠체어를 기준으로 한 머리의 방향을 바탕으로 한 rotation matrix를 곱하여 휠체어를 기준으로 한 시선의 방향 벡터를 계산할 수 있다.
휠체어의 제어는 시선 방향과 눈을 깜빡이는 동작으로 이루어진다. 눈을 깜빡이는 동작은 휠체어를 움직이기 시작하거나 멈추는 명령에 사용된다. 그리고 시선의 방향은 휠체어를 전진시키거나, 좌우로 방향을 틀거나, 또는 일시적으로 멈추는 등 휠체어의 동작을 지시하는데 사용된다. 이를 통해 사용자는 즉각적이고 효과적으로 휠체어를 제어할 수 있다.
설계한 시스템의 가용성을 확인하기 위해 다음과 같은 실험을 수행하였다. 첫번째 실험에서는 10명의 피험자들이 시선 추적기를 이용한 인터페이스와 키보드를 이용한 인터페이스를 사용하여 정해진 경로를 따라가는 실험을 하였다. 사용자는 각 인터페이스당 5회 실험을 수행하였다. 또한 시선추적기를 사용하였을 때 실험자의 머리를 자유롭게 움직이도록 요청하였다. 이 실험에서는 주어진 경로를 완주하는데 걸린 시간을 재어 비교하였다. 두번째 실험에서는 테스트 시스템에 의해 무작위로 생성된 명령대로 사용자가 시선추적기를 사용하여 명령을 내리도록 하고, 이를 비교하는 실험을 수행하였다. 첫번째 실험에서는 사용자가 머리를 자유롭게 움직임에도 시스템은 올바르게 동작하였으며, 키보드 인터페이스로 휠체어를 제어했을 때에 비해 시선 추적기를 사용한 시스템에서는 최대 20% 더 오래 걸려 완주하였다. 두번째 시스템에서는 시선 추적 시스템은 평균 600ms 내에 제어 명령을 받아들였으며, 99%의 정확도를 보였다.
