Recently, smart glasses are spotlighted as a next-generation smart device. By using these devices, users can search information from the web or take a picture and upload it to social networks, while doing other jobs with their two hands freely. One thing required in this process is new type of user interface which does not employ hands when manipulating the device.
In the platform of smart glasses, eyes can be used to construct a user interface that satisfies the requirements. Gaze estimation algorithm provides corresponding operations, tracking the pupil center and mapping it to the gaze point. In this system, a CMOS image sensor is integrated with a vision processor to implement a gaze estimation system-on-chip, and full process of the pupil center detection and the gaze es-timation is performed in a single chip. For high accuracy in the pupil center detection, vision processor performs ellipse fitting with floating-point numbers. Logarithmic floating-point datapath has been implemented to reduce the area and power consumption of floating-point ALU. In addition, mixed-signal circuits are proposed to detect the pupil contour and the glint area. These circuits are integrated in a sensor domain, and directly process analog signals provided from pixel array. As a result, the computational load, hence the power consumption, of the vision processor is decreased.
The proposed system has been implemented using 65nm CMOS process. It achieves 34mW power consumption at 30fps real-time operation and 3360x3360 $\mum^2$ area consumption, which includes 320x240 pixel array. In experiments, the system shows less than 1 pixel accuracy in 320x240 resolution for the pupil center detection and 0.5$^\circ$ accuracy for the gaze estimation.
최근 각광받고 있는 스마트 글래스는 안경에 프로세서, 센서, 무선 통신 장치, 디스플레이 등이 집적된 시스템으로, 사용자가 양손을 자유롭게 사용하여 다른 작업을 수행하는 동안, 웹을 통해 정보를 얻거나, 사진 혹은 동영상을 찍고 공유할 수 있다. 사용자가 스마트 글래스를 잘 활용하기 위해서는 양손을 사용하지 않고도 기기를 조작하거나 혹은 주변 환경에서 원하는 물체를 선택하고 그에 대한 정보를 얻을 수 있어야 하는데, 이를 위해서는 새로운 형태의 유저 인터페이스가 필요하다.
스마트 글래스에서는 이와 같은 조건들에 만족하는 유저 인터페이스를 구성하기 위하여 사용자의 눈을 활용할 수 있다. 이에 부합하는 시선 인식 알고리즘은 주변 환경에서 사용자가 응시하고 있는 지점을 추적하는 과정으로, 본 시스템은 이러한 시선 인식을 CMOS 이미지 센서와 비전 프로세서가 결합된 SoC 형태로 구현하였다. 따라서, 동공 인식 및 시선 인식을 포함하는 전체 과정이 하나의 칩에서 수행될 수 있도록 하였다. 높은 동공 인식의 정확도를 얻기 위해 비전 프로세서는 타원 근사를 수행하도록 하였으며, 이 과정에는 부동 소수점 연산이 사용되었다. 이 때, 면적과 전력 소모를 줄이기 위해 로그 기반 부동 소수점 연산기가 설계되었다. 또한, CMOS 이미지 센서 단에서는 픽셀로부터 들어오는 아날로그 신호를 혼성 신호 회로로 직접 처리하여 동공의 경계와 glint 영역을 검출하였다. 이를 통해 비전 프로세서 단의 부하를 줄일 수 있었고 전체 칩의 전력 소모가 감소하였다.
65nm CMOS 공정으로 제작된 칩은 320 x 240 CMOS 이미지 센서를 포함하여 3360 x 3360 $\mum^2$의 면적을 가지고, 34mW의 전력을 소모한다. 시선 인식은 30fps의 속도로 동작하며, 동공 인식은 320 x 240 해상도에서 1 pixel 이내의 정확도, 시선 인식은 0.5$^\circ$의 정확도를 보였다.
