In recent years, object recognition plays a key role in mobile vision applications, such as head-mounted displays (HMDs), robot vision, and mini-UAVs. Several types of object recognition processors have been reported, and they have shown real-time 30 frames per second (fps) object recognition with power consumption of 260 ~ 350 mW. Even though their power consumption is reasonable for non-mobile applications or non-power hungry applications, such as surveillance systems and driver assistance systems, in mobile ap-plications, due to the limited battery capacity, the power consumption of object recognition should be reduced further.
In the recent object recognition processor, a descriptor generation processor consumes almost half of the total recognition power. Two main bottlenecks of descriptor generation processors are (1) a heavy work-load from real-time 30 fps HD-resolution input and (2) a large number of non-linear operations in descriptor generation process. To solve each bottleneck, a new object recognition flow with a feature reuse model and an LUT-based descriptor generation processor are proposed respectively. In the new object recognition flow with the feature reuse model, inter-frame similarity in video frames is used to reduce the workload of descriptor generation processor. With the proposed flow, over 50% of keypoints of the current frame reuse features of the previous frame. The LUT-based descriptor generation processor has two main features to generate descriptors efficiently. High cost non-linear operations are replaced to LUT-based operations with no accuracy reduction. And a highly utilized keypoint-level pipeline and a pixel-level pipeline are used to increase energy efficiency.
The proposed descriptor generation processor with the feature reuse object recognition flow is implemented with a 65nm CMOS technology. The feature reuse engine is operating at 100MHz under 1.2V supply voltage and the descriptor generation processor is operating at 50MHz under 1.2V supply voltage. As a result, it shows 9mW power consumption in average and 385K descriptor/s throughput without the feature reuse scheme. Comparing to the state-of-the art vision processor, 22.9 times higher energy efficiency and 3.5 times higher area efficiency are achieved.
최근에, 물체 인식은 다양한 모바일 비전 어플리케이션에서 핵심적인 역할을 하고 있으며, 어플리케이션의 예로서 구글 글래스와 같은 HMD, 다양한 로봇, 그리고 소형 무인 항공기 등을 들 수 있다. 최근 몇 년간 260 ~ 350 mW의 전력 소모로 30 frame/second (fps)의 실시간 처리 속도를 만족하는 여러 물체 인식 프로세서가 발표되었다. 이들의 전력소모는 감시 카메라, 운전자 보조 시스템 등 전력 공급이 충분한 어플리케이션의 경우 문제가 되지 않지만, 앞서 설명한 모바일 어플리케이션의 경우에는 제한된 배터리 용량으로 인해 물체 인식 프로세서의 전력 소모를 더 감소시킬 필요가 있다.
물체 인식의 과정은 크게, keypoint detection, descriptor generation, feature matching의 세 부분으로 나뉠 수 있는데, 최근에 발표된 물체 인식 프로세서의 전력 소모를 분석해보면 de-scriptor generation (디스크립터 생성) 부분이 전체 전력의 절반 가까이를 소모함을 알 수 있다. 디스크립터 생성 프로세서의 높은 전력 소모 이유는 크게 두 가지 측면으로 생각 될 수 있는데, 첫째는 HD화질의 video input에서 30 fps의 실시간 처리 속도를 만족하기 위해 프로세서에 할당되는 입력 workload 자체가 많은 것이고, 둘째는 비선형 연산이 많이 사용되는 복잡한 디스크립터 생성 과정이다. 본 논문에서는 각각의 문제를 해결하기 위한 방법이 제안 되었으며 하드웨어로 구현되었다.
고화질 실시간 입력 영상에 따른 workload 문제는, 기존의 물체 인식 과정에서 변형된 새로운 물체 인식 과정을 제안함으로써 해결하였고, 비선형 연산이 포함된 복잡한 디스크립터 생성 과정은 look-up table과 pipeline 기반의 디스크립터 생성 프로세서를 제안함으로써 해결하였다. 새로운 물체 인식과정에서는 동영상 환경에서 인접한 프레임간의 유사도를 이용하여, 전 프레임에서 계산된 결과를 현재 프레임에서 재사용하고 이를 통해 50% 이상의 중복되는 연산을 제거하였다. 제안된 디스크립터 생성 프로세서의 경우 저전력 구현을 위한 두 가지 특징을 가지고 있는데, 하나는 look-up table을 통해 비선형 연산을 대체한 것이고, 다른 하나는 keypoint level과 pixel level의 pipeline을 통해 에너지 효율을 높인 것이다.
위 기술을 종합하여 설계한 디스크립터 생성 프로세서는65nm CMOS 공정을 통해 칩으로 구현되었다. 1.2V의 공급 전압과 50MHz의 동작 주파수에서 9mW의 평균 전력 소모와 초당 385K의 디스크립터 생성 속도를 보였다. 결과적으로 기존 최신 연구 대비, 22.9배의 에너지 효율과 3.5배의 면적 효율이 달성되었다.
