A digital Cellular Neural Network block named the Visual Attention Engine that executes visual attention algorithms to enable low energy object recognition is presented. In the first half of this thesis, an attention driven approach to view-based visual object recognition for low-energy real-time applications is presented. In this approach, the steps of local feature extraction and matching in existing object recognition algorithms are augmented by an attentional mechanism that is based on Cellular Neural Networks. During the local feature extraction stage, the mechanism assigns the limited resources of a vision system to the most meaningful regions of an image and regulates the amount of effort exerted to each region based on a saliency map. During feature matching and subsequent object matching, matching speed is optimized by intelligently controlling the accuracy of database queries. The design and implementation of the Visual Attention Engine are presented in the second part. It accelerates saliency map generation, which is a computationally intensive process requiring processing at the global scale. The Visual Attention Engine is an $80\times60$ Cellular Neural Network based on a two-dimensional shift-register architecture that nearly eliminates data access overhead. 120 processing elements shared by the cell array provide a peak throughput of 24GOPS. The 4.5㎟ semi-custom block is fabricated in a 0.13um 8 metal layer process. Object recognition performance analysis on the COIL-100 dataset shows that total energy consumption is reduced by over 70% with only a negligible impact on matching accuracy by employing the VAE.
오늘날 물체인식기술은 자율주행 자동차, 컴퓨터 게임기 등과 같이 다양한 분야에 적용되고 있다. 하지만 현재 물체인식 알고리즘과 하드웨어의 높은 에너지 소모로 인해 배터리로 동작하는 초소형 로봇이나 무선 센서 네트워크 등에는 적용되지 못하고 있다. 이 논문에서는 기존 물체인식 방식의 높은 에너지 소모를 줄이기 위한 시각집중에 기반한 알고리즘과 이를 수행하는 Visual Attention Engine을 제시한다.
논문의 전반부에서는 저 에너지 실시간 애플리케이션을 위한 시각집중에 기반한 물체인식 알고리즘이 제시된다. 먼저 이 방법의 기반이 되는 기존 물체인식 알고리즘이 소개되고, 기존 알고리즘의 비효율적인 에너지 소비패턴이 분석된다. 그런 다음 시각집중과 셀률러 신경망회로의 이론적 배경이 설명된다. 제시된 시각집중기반 알고리즘은 기존 물체인식알고리즘의 에너지 소비패턴에 시각집중 이론을 적용하여 도출된다. 두 가지 방식을 병용 하는데, 하나는 이미지 상에서 중요한 위치들을 미리 선택하는 방식이고 다른 하나는 특정 위치를 처리하는데 들이는 노력을 달리하는 방식이다. 결과적으로 얻어진 방식은 기존 물체인식 알고리즘의 특징점 추출 및 매칭(matching) 단계에서 통과되는 정보의 양을 조절해서 물체인식에 소요되는 에너지를 70% 이상 감소시킨다.
논문의 후반부에 소개되는 Visual Attention Engine은 $80\times60$ 크기의 셀률러 신경망회로 블록으로서, 시각집중 알고리즘에 필요한 방대한 양의 광역 연산들을 빠르고 효율적으로 수행한다. Visual Attention Engine의 핵심은 저장소와 처리기(processing element)가 분리된 구조와 저장소 사이를 잇는 2차원 시프트 레지스터(shift register) 이다. 저장소와 처리기가 분리된 구조 덕분에 높은 집적도와 처리기 사용 효율(utilization)을 실현하였고, 시프트 레지스터를 사용함으로써 데이터 접근에 의한 오버헤드를 2%대로 줄일 수 있었다. Visual Attention Engine은 0.13um CMOS 공정에 구현되었으며 4.5㎟ 의 면적을 가지며 200MHz로 동작할 때 84mW의 파워를 소모한다.
