As object recognition requires huge computation power to deal with complex image processing tasks, it is very challenging to meet real-time processing demands under low-power constraints for embedded systems. In this thesis, an energy-efficient real-time object recognition processor is designed and implemented with bio-inspired visual attention engine. This thesis presents various aspects for the object recognition processor from algorithm, architecture to the system demonstration. Bio-inspired attention-based object recognition algorithm is devised to reduce computational complexity of the object recognition. The object recognition processor contains an ARM10-compatible 32-bit main processor, 8 SIMD PE clusters with 8 processing elements in each cluster, a cellular neural network based visual attention engine (VAE), a matching accelerator, and a DMA-like external interface. The proposed processor has three key features to optimize energy efficiency of the object recognition processor: attention-based object recognition SoC with the VAE, a configurable SIMD/MIMD dual-mode parallelism, and a low-latency application-specific NoC. The VAE with 2-D shift register array is utilized to accelerate visual attention algorithm for selecting salient image regions rapidly. The dual-mode parallel processor is configured into SIMD or MIMD modes to perform data-intensive image processing operations within only the pre-selected attention regions while exploiting pixel-level and object-level parallelisms required for the attention-based object recognition. The low-latency NoC employs dual channel, adaptive switching and packet-based power management, providing 76.8 GB/s aggregated bandwidth. The performance analysis results using a cycle-accurate architecture simulator show the proposed architecture improves the energy efficiency by 69\% and recognition speed by 38\% over the previous implementation.
The chip, fabricated in a 0.13 μm 1P 8M CMOS process, takes die size of $36 mm^2$ and provides 125 GOPS peak performance of 8-bit fixed-point operations at 200 MHz. With the help of the packet-based power management, the measured power consumption is 583mW when the object recognition application is running at 22 frames/sec. The implemented chip is integrated into the vision system and successfully works on a system evaluation board, which demonstrates real-time object recognition on an intelligent mobile robot.
본 논문은 시각집중 가속기를 집적한 에너지 효율적인 실시간 물체인식 프로세서 설계 및 제작에 관한 것이다. 시각 주의 집중의 개념을 기존의 물체 인식 알고리즘에 적용하여 물체 인식의 연산량을 줄이도록 하였으며 이를 물체 인식 시스템으로 개발한 뒤 시연까지 하였다.
주의집중 기반의 물체 인식 알고리즘을 사용하여 물체 인식의 후처리 과정에 필요한 연산량을 42\%까지 줄일 수 있었다. 물체 인식 프로세서는 ARM 기반의 Main 프로세서와 8개의 SIMD PE 클러스터, 시각집중 가속기, 매칭 가속기 등 12개의 프로세서가 탑재되어 있으며 이 모든 연산 유닛들 간의 통신수단으로써 네트워크 온칩 (NoC)이 사용되었다. 본 논문에서는 에너지 효율적인 실시간 물체인식 프로세서를 위한 다음과 같은 3가지의 설계 방법을 새로이 제안하였다. 첫째, 시각집중 가속기를 Cellular Neural Network으로 설계하여 전처리 단계에서의 처리 속도를 4배까지 높이고 후처리 단계의 성능도 향상시킨다. 특히 Dynamic Logic 기반의 2D Shift Register 회로를 사용하여 각 셀의 면적을 40\%까지 줄일 수 있었다. 둘째, SIMD 연산기를 MIMD로 재구성이 가능하도록 하여 하나의 연산기로 두 가지의 병렬 컴퓨팅 모드를 지원하게 함으로써 주의집중 기반 물체인식 알고리즘에 적합한 병렬처리화를 달성하였다. 셋째, 기존의 NoC에 별도의 image-express 채널을 추가하여 Packet Latency를 28\%까지 줄일 수 있게 함으로써 연산유닛 간의 효율적인 이미지 데이터 전송이 가능하였다.
설계된 칩은 0.13um CMOS 공정으로 제작하여 측정하였으며 22 frames/sec 의 속도로 물체 인식을 수행할 때, 583mW 를 소모함을 확인하였다. 제작된 물체인식 칩을 비전 시스템으로 조립하여 이동 로봇에 장착하고 로봇이 실시간으로 물체를 인식하는 것을 시연하였다.
