This dissertation deals with development of an eye gaze estimation system. We can know the thought or the object that human is interested in by understanding human eye gaze. Eye gaze estimation system can be used as human-computer or human-machine interface, and especially, it is very useful for the disabled who cannot use their arms.
Many researches to estimate eye gaze direction or eye gaze point have been done. The researches focus on the improvement of accuracy or head movement. The conventional methods utilize eye gaze direction and eye position in 3D for al-lowing head movement. Thus, eye gaze direction estimation system and eye pose estimation system are integrated to find eye gaze point. There are two sources of error: the error of eye gaze direction and the error of eye pose. Especially, small error of eye pose results in large error of gaze point.
In this dissertation, eye gaze point estimation method without eye pose is suggested in order to overcome the problem of the conventional methods. For allowing large head movement, five light sources and two cameras are used. The cameras are mounted on a pan-tilt unit: face tracking camera and eye tracking camera. The face tracking camera is a wide view camera to track a face. Face detection algorithm finds the position of the face in the image from the face tracking camera, and the pan-tilt unit is controlled according to the position of the face. Then, the eye tracking camera captures the eye in large scale because it has high zoom lens. In the image from the eye tracking camera, the positions of the five glints and the pupil center are determined by feature tracking methods. After obtaining the feature positions, the eye gaze point can be computed by the projective invariant.
First, fast face tracking method is proposed for eye gaze estimation system. In order to make fast face tracking system, search space reduction by using color filtering and AdaBoost pattern classification method are used. The face detection can cope with the change of size and rotation of face by pyramid and multi-view classifier. The size of the input image is changed by pyramid to find various sizes of faces. The five classifiers are developed for multi-view classifier. To choose one of the five classifiers, the pose estimator is introduced.
After the position of the face is determined, the zoom lens camera can capture the eye in large scale, and the five glints and a pupil should be detected in the image. Two pupil detection methods are suggested; one is based on the difference image of bright eye image and dark eye image, and the other method uses only one bright eye image. However, the former method has the short coming that its frame rate is limited by the switching of the light sources. So, another method using only one image is proposed. This method detects the boundary of the pupil by snake. For the initial positioning of the snake, the iterative projection image is suggested. The iterative projection image can define the initial contour effectively.
The eye gaze point can be computed by the projective invariant like cross ratio. To utilize the projective invariant, the features should be coplanar, but the features are not in a same plane. So, a new concept of virtual projection point is introduced, and the computation method is proposed. Because the virtual projection points are coplanar, the projective invariant can be computed. By using the projective invariant, the eye gaze point can be estimated under head movement. The advantage of the proposed method is that it doesn't need any geometrical knowledge about the light sources, the monitor, the cameras, and the eye. Also, it doesn't require any complicate calibration process. This method works well under large head movement in real-time, and consists of simple devices.
본 논문에서는 사람의 눈의 응시점(fixation point)을 추정하는 방법을 다룬다. 사람의 눈의 응시 방향을 추정하면 그 사람의 생각과 관심의 대상을 알아낼 수 있고 의도를 파악할 수 있다. 따라서 눈 응시 추정 방법들은 사람과 컴퓨터 또는 사람과 기계 사이의 인터페이스로서 사용될 수 있으며 특히 양손을 사용할 수 없는 장애인을 위한 컴퓨터 인터페이스로 유용하게 사용될 수 있다.
눈의 응시 방향 또는 응시점을 추정하기 위해 많은 연구들이 이루어졌는데 기존의 연구들은 정확도를 높이면서 머리의 움직임을 허용하는 방향으로 연구되고 있다. 머리의 움직임을 허용하면서 눈의 응시점을 추정하기 위해서 눈의 응시 방향과 눈의 위치를 알아야 하고 따라서 응시 방향 추정 시스템과 눈의 위치 추정 시스템을 필요로 한다. 시스템이 복잡해지면서 결국 오차의 발생의 가능성이 증가하고 특히 눈의 위치에서의 오차는 응시점에서의 큰 오차를 발생시키게 되는 문제점이 있다.
본 논문에서는 기존의 문제점을 극복하기 위해서 눈의 위치를 이용하지 않고 영상에서의 빛의 반사와 동공의 위치만을 이용하여 눈의 응시점을 추정하는 방법을 제안한다. 제안하는 시스템은 다섯 개의 광원과 두 개의 카메라로 구성되어 있다. 두 대의 카메라는 팬-틸트 장치에 부착되어 있는데 하나의 카메라는 FOV가 넓은 카메라로 얼굴을 충분히 포함할 수 있는 영상을 얻고 그 영상에서 얼굴의 위치를 계산하여 팬-틸트 장치를 구동해 다른 고배율의 카메라가 눈의 영상을 얻을 수 있도록 한다. 고배율의 카메라를 이용하여 눈의 확대된 영상을 얻고 이 영상에서 동공의 중심과 빛의 각막 반사에 의해 생성된 다섯 개의 glint를 추출하여 눈의 응시점 추정에 사용한다. 눈의 응시점은 앞에서 얻어진 여섯 개의 특징점들에 대해 투사 불변량을 적용하여 추정이 가능하다. 본 논문에서는 다음과 같은 연구들이 수행되었다.
첫째, 눈 응시 추정 시스템을 위한 얼굴 추적 방법이 제안되었다. 고배율 카메라로 눈의 영상을 획득할 수 있도록 하기 위해서 얼굴을 찾는 과정이 먼저 선행되어야 하고 이를 위해 빠른 얼굴 추적 시스템이 필요하다. 얼굴을 검출하기 위해 칼라정보와 AdaBoost 패턴인식 방법이 사용되었고 제안된 방법은 얼굴의 크기 변화와 회전에 강인하게 적용될 수 있는 방법이다. 크기 변화에 대처하기 위해 피라미드 방법을 적용하고 회전에 대처하기 위해 multi-view classifier를 생성한다. 이때 view를 결정하여 속도를 향상시키는 pose estimator를 제안한다.
얼굴을 검출한 후에 팬-틸트 장치를 구동하여 고배율 카메라가 눈의 영상을 획득하면 이 영상에서 특징점들을 추출하는 특징점 추출 방법이 필요하다. 응시점 추정을 위해 필요한 특징점들은 영상에서의 다섯 개의 glint와 동공의 중심 위치이다. 동공을 추출하기 위해 두 가지 방법을 제안하는데 하나는 bright eye와 dark eye의 두 영상의 차를 이용하는 방법이고 다른 하나는 하나의 영상만을 이용하는 방법이다. Snake와 같은 active contour 방법을 이용하여 동공의 외곽선을 추출하고 direct ellipse fitting 방법을 이용하여 강인하게 동공영역을 추출한다. 또한 snake의 초기 컨투어의 위치와 크기를 결정하기 위해서 iterative projection image라는 방법을 제안한다.
마지막으로 추출된 특징점들로부터 눈의 응시점을 추정하기 위해서 cross ratio와 같은 투사 불변량을 사용하였다. 그러나 투영기하학의 불변량을 사용하기 위해서는 특징점들이 한 평면 위에 존재야하여야 하는데 실제로는 추출된 특징점들이 그러하지 않기 때문에 가상투영점(virtual projection point)이라는 개념을 제안하고 이러한 점들을 계산하는 방법을 제시한다. 이 가상투영점들은 한 평면 위에 존재하기 때문에 이 점들을 이용해 투사 불변량을 계산할 수 있고 투사 불변량은 변하지 않기 때문에 머리 움직임 하에서도 응시점을 추정할 수 있다.
