The dissertation proposed a method of capturing screen reflection information for the purpose of eye gaze movement. Also, an efficient method of geometrical based gaze tracking was developed. Eye gaze tracking system has been employed in both cognitive science experiments and human machine interface.
Gaze estimation methods are divided into two approaches: the model-based approach and image-based approach. The model-based method utilized the user`s eye parameter and geometrical relationship among the user`s eye, the monitor screen and the camera. Once the user`s dependent parameters are estimated, the method is less sensitive to the head movements. On the other hand, the image-based method does not utilize these parameters and find a polynomial mapping function between the camera image position and corresponding monitor screen position from the calibration data. Most image-based eye gaze system used special infrared (IR) illuminator and choose IR-sensitive CCD camera to estimate eye gaze. The IR based systems has the limitation of inaccurate gaze detection in ambient natural light and the number of IR illuminator and their particular location has also effect on gaze detection. In this dissertation, First, present image-based detection technique based on computer screen illumination as light emitting sources and choose high speed camera for image acquisition. The high speed camera has higher frame rate than the screen refresh rate. In order to capture the periodic refresh rate patterns we operate the camera frame rate greater than twice of the screen refresh rate. The screen illumination produced a mark on the corneal surface of the subject`s eye as screen-glint. The screen reflection information has two fold advantages. First, we can utilize the screen reflection as screen-glint, which is very useful to determine where eye is gazing. Secondly, the screen glint information utilize to localized eye in face image. The direction of the user`s eye gaze can be determined from the relative position of the center of iris and screen-glint. The results showed that our propose configuration could be used for gaze detection method and this will lead to increased gaze detection role for the next generation of human computer interface.
This thesis also proposed an efficient method for model based gaze tracking. The method estimated the user`s dependent parameter from geometrical relation between camera and user`s eye for both monitor and smart phone hardware setup. The parameters include cornea radius, distance parameter between cornea and pupil center, and angles parameters between optical and visual axis. The optical axis is defined as line between the cornea and pupil centers, while the visual axis is the line between cornea center and fovea. In order to estimate first the optical axis, the cornea and the pupil center need to be determined. The pupil center can be obtained from camera image of pupil. If the cornea radius is known, than from the geometrical relation of one camera and two light sources are required to estimate cornea center. The cornea center and optical axis is very sensitive to the cornea radius values, for precise accuracy it is important to estimate the cornea radius accurately. I presented a new algorithm for estimating the cornea radius without any calibration by minimizing the cost function carefully derived from the geometrical optics. Furthermore, to improve the robustness against the inevitable noise error, a new noise correction algorithm was proposed. Also, a objective function was developed to reduce the error at lights source device. In order to determine POG, the visual axis direction is required. During gazing, the eye is oriented in such way that the observed object projects itself on the fovea. The visual axis direction required to determine the distance parameter between cornea and pupil center, and angles parameters between optical and visual axis. Also, a binocular-gaze algorithm for estimating the distance between pupil and cornea center and the offset relation between visual and pupil axes with one point calibration. The binocular-gaze algorithm used cost function which is derived from the eye movement behavior during gazing the eye is oriented in such way that the visual axis of the left and right eyes converges to the same position. The proposed algorithm for model based gaze estimation can serve many applications, in simulations I had used both the monitor-based eye tracking and smart-phone based eye tracking. The Experimental data shows proposed system is feasible, simple and provides an effective role for eye gaze interaction.
시선 추적 시스템은 인지 과학 실험과 인간 기계 인터페이스에서 사용되어 왔다. 이 논문에서는 시선 추적에 사용될 화면 반사 정보를 얻어 내는 방법을 제시하고, 기하학 기반의 효과적인 시선 추적 방법을 구현하였다.
먼저, 컴퓨터 화면 빛을 발광원으로 한 이미지 기반의 검출 방법을 제안하고, 이를 위한 이미지 획득에는 고속 카메라를 사용한다. 주기적인 리프레시율 패턴을 포착하기 위해서 화면 리프레시율의 2배 보다 높게 카메라 프레임율을 설정하였다. 화면에서 나오는 빛은 피험자의 눈 각막 표면에 반짝이는 표시를 남긴다. 이러한 화면 반사 정보는 두 가지 장점을 가지는데, 첫째, 눈이 어디를 응시하고 있는지를 결정할 수 있고, 두 번째로 얼굴 이미지에서 눈의 위치를 알아낼 수 있다.
또한 모델 기반의 시선 추적을 위한 효과적인 방법을 제안한다. 이 방법은 모니터나 스마트폰 환경에서 카메라와 눈 사이의 기하학적인 관계를 이용하여 사용자 의존 변수를 추정한다. 사용자 의존 변수들은 각막 반경, 각막과 동공 중심 사이의 거리 변수, 그리고 광학축과 시축 간의 각도 변수를 포함한다. 여기서 광학축은 각막과 동공 중심사이 직선으로 정의되고, 시축은 각막 중심과 중심와를 잇는 직선으로 정의된다. 광학축을 추정하기 위해서, 각막과 동공 중심점이 결정되어야 하는데, 동공 중심점을 카메라 이미지로부터 얻을 수 있다. 우리는 기하 광학으로부터 유도된 비용함수를 최소화하여 보정없이 각막 반경을 추정하는 새로운 알고리즘을 제안한다. 또한, 불가피한 노이즈에 대한 강건성을 높이기 위해서, 새로운 노이즈 수정 알고리즘도 제안한다.
시선점을 결정하기 위해서는 시축의 방향이 요구된다. 우리는 동공과 각막 중심간의 거리, 그리고 시축과 동공 축간의 오프셋 관계를 1점 보정으로부터 추정하기 위해 양안 시선 알고리즘을 제안한다. 양안 시선 알고리즘은 응시하는 동안의 안구 운동으로부터 유도된 비용함수를 사용한다. 응시하는 동안의 눈동자는 좌안과 우안의 시축이 교차하는 점을 향한다.
이 연구에서는 모니터뿐만 아니라 스마트 기기 기반의 시선 추적을 모두 시도하였다. 실험결과는 제안한 시스템이 목적에 적합하면서 단순하고, 시선 상호작용을 위한 효과적인 방법을 제공한다.
