Smart glasses or head-mounted displays (HMDs) have been gaining traction as next-generation mainstream wearable devices. However, previous smart glasses have had limited application, primarily due to their lacking a smart user interface (UI) and user experience (UX). Since smart glasses have a small compact wearable platform, their UI requires new modalities, rather than a computer mouse or a 2D touch panel. Recent speech-recognition-based UIs require voice input to reveal the user’s intention to not only users of smart glasses but also others, which raises privacy concerns in a public space. In addition, prior works attempted to support object recognition (OR) or augmented reality (AR) in smart eyeglasses, but consumed considerable power, >381mW, resulting in <6 hours operation time with a 2100mWh battery.
In this work, we propose a low-power OR system with an intention-concealed gaze UI for smart glasses, which can be used all day long with battery power. For the low-power gaze UI, we propose a low-power single-chip gaze estimation sensor, called Gaze Image Sensor (GIS). In GIS, a novel column-parallel pupil edge detection circuit (PEDC) with new pupil edge detection algorithm, XY-PD, is proposed which results in 2.9x power reduction with 16x larger resolution compared to previous work. Also, a logarithmic SIMD processor is proposed for robust pupil center estimation, <1 pixel error, with low-power floating-point implementation. For OR, low-power multi-core object recognition processor (ORP) is implemented. In ORP, task-level pipeline with keypoint-level scoring is proposed to reduce number of cores as well as operating frequency of keypoint matching processor (KMP) for low-power consumption. Also, dual-mode convolutional neural network processor (CNNP) is designed for fast tile selection without external memory accesses. In addition, a pipelined descriptor generation processor (DGP) with LUT-based non-linear operation is newly proposed for low-power OR. Last, DVFS for dynamic power reduction in ORP is applied. Combining both of the GIS and ORP fabricated in 65nm CMOS logic process, only 75mW average power consumption is achieved with real-time OR performance, which is 1.2x and 4.4x lower power than the previously published work.
최근 들어 스마트폰의 뒤를 잇는 차세대 모바일 기기로써 스마트 글래스 혹은 Head Mounted Display (HMD)가 주목 받고 있다. 하지만, 기존의 스마트 글래스는 차별화 되지 못한 유저 인터페이스 (User Interface, UI)와 유저 경험 (User Experience, UX) 때문에 한정된 어플리케이션을 보여주는데 불과했다. 특히 유저 인터페이스의 경우, 스마트 글래스의 작고 가벼운 웨어러블 플랫폼을 고려할 때, 기존의 부피가 큰 컴퓨터 마우스 혹은 2D 터치 패널과는 다른 새로운 유저 인터페이스가 필요한 상황이다. 따라서 최근에는 음성인식 기반의 유저 인터페이스 개발이 활발히 진행되었지만, 사용자의 의도가 외부에 노출되는 단점이 있어 공공장소에서 사용하지 못하는 문제가 있다. 새로운 유저 경험 측면에서는 사물 인식 혹은 증강 현실을 스마트 글래스에 구현하고자 하는 시도가 있었다. 하지만 상당히 많은 전력 소모, >381mW, 를 하므로 2100mWh 배터리 크기에서 6 시간 이하의 사용 시간 밖에 지원되지 않는 한계가 있다.
본 연구에서는 장시간 배터리 구동이 가능한 스마트 글래스를 위해, 사용자의 의도를 드러내지 않는 시선 유저 인터페이스 기반의 저전력 사물 인식 시스템을 구현하는 것이 목표이다. 우선, 저전력 시선 유저 인터페이스를 위해서 저전력 단일칩 시선 추적 이미지 센서를 설계하였다. 시선 추적 이미지 센서에서는 컬럼 단위 병렬처리가 가능한 새로운 동공 엣지 검출 회로를 설계하였고, 센서 친화적인 새로운 동공 추출 알고리즘, XY-PD를 제안하였다. 이를 통해 기존 연구 대비 2.9배의 전력소모를 줄일 수 있었고, 16배의 더 큰 해상도로 정확한 동공 추출을 할 수 있었다. 또한, 1 pixel 이하의 error를 가지는 정확한 동공 추출을 위해서 로그 기반의 저전력 부동소수점 SIMD 프로세서를 설계하였다. 저전력 사물 인식을 위해서는 사물 인식 전용 프로세서를 설계하였다. Task 단위의 파이프라이닝과 특징점 단위의 스코어링을 함께 지원함으로써 에너지 효율적인 프로세서를 설계할 수 있었다. 또한 신경망 프로세서를 통해 외부 메모리 접근 없이 고속으로 Region-of-Interest를 추출할 수 있었다. 마지막으로 LUT기반의 저전력 특징점 기술 프로세서를 설계하고 DVFS를 적용하여 동적 전력소모를 더욱 더 낮출 수 있었다.
본 연구에서 제안하는 시선추적 센서와 물체 인식 프로세서는 65nm CMOS 로직 공정에서 설계 및 검증 하였고, 기존 연구 대비 1.2배, 4.4배의 낮은 전력소모인 75mW 의 평균 전력소모를 달성하였다.
