A low-power convolutional neural network (CNN)-based face recognition (FR) system is proposed for user authentication in smart devices. The system consists of two chips: an always-on functional CMOS image sensor (CIS) for imaging and face detection (FD) and a low-power CNN processor (CNNP) for face verification (FV). A functional CIS integrated with an FD accelerator enables event-driven chip-to-chip communication for only face images only when there is a face. To achieve low power consumption in FD while maintaining the memory size required for the FD processing not to exceed the on-chip memory size, two-stage FD using an analog FD unit and a digital FD unit is presented. For the event-driven FV, the CNNP adopts dynamic voltage and frequency scaling (DVFS) to minimize the power consumption when the number of faces in input images changes dynamically. In addition, tensor decomposition is used to reduce the workload of a CNN, and the CNNP architecture based on transpose-read SRAM (T-SRAM) allows low power consumption by reducing the local memory access. Implemented in 65nm CMOS technology, the $3.30\times3.36mm^2$ functional CIS and the $4\times4mm^2$ CNNP consume 0.62mW to evaluate one face at 1fps and achieve 97% accuracy in LFW dataset.
본 학위논문에서는 스마트 기기에서의 사용자 인증을 위하여 저전력 Convolutional Neural Network(CNN) 기반의 얼굴 인식 시스템을 제안한다. 시스템은 두 개의 칩으로 구성된다. 첫번째는 상시 동작하는 상태를 유지하는 올웨이즈-온 CMOS 이미지 센서로 영상 촬영과 동시에 얼굴 검출을 수행한다. 두번째는 저전력 CNN 프로세서로 검출된 얼굴이 사전에 등록된 사용자인지를 인증한다. 먼저, 본 시스템의 이미지 센서는 얼굴 검출을 위한 하드웨어를 포함함으로써 얼굴이 검출되었을 때에만 얼굴에 해당하는 이미지 영역을 전달할 수 있어 칩 간의 이미지 데이터 전송으로 인한 전력 소모를 줄인다. 그와 동시에, 얼굴 검출 시 아날로그 얼굴 검출과 디지털 얼굴 검출의 두 단계를 두어, 초기에 얼굴이 아닌 것으로 확정할 수 있는 영역들을 아날로그 얼굴 검출 단계에서 걸러 전체 전력 소모를 절감한다. CNN 프로세서의 경우, 동작 전압과 주파수를 처리해야하는 얼굴의 수에 따라 조정하여 전력 소모를 최소화한다. 또한, CNN의 연산량을 줄이기 위해 텐서 디컴포지션에 기반한 근사를 적용하는 동시에, 인접한 메모리 접근을 줄이기 위한 방법으로 전치 읽기를 지원하는 SRAM을 활용한다. $3.30 \times 3.36mm^2$의 이미지 센서와 $4.00 times 4.00mm^2$의 CNN 프로세서는 모두 65nm 공정에서 제작되었으며, 1fps에서 1개의 얼굴을 인식할 때 0.62mW를 소모하고, LFW Dataset에 대하여 97% 정확도를 보였다.