A scale-space processor with two-dimensional cache is proposed to achieve real-time object recogni-tion in HD 720p images. Scale-space is the most common concept to achieve scale-invariant property in ob-ject recognition, however its high computation cost and frequent memory access makes it hard to implement a real-time object recognition processor. We employ hierarchical convolution accelerator (HCA) which com-putes multiple convolutions in a single cycle with various kernel sizes. In addition, two-dimensional cache (2D Cache) supports accessing column-wise consecutive data from any image window with reduced area. A pre-fetch controller for the proposed 2D Cache improves the hit rate by exploiting the sequential access pattern of convolution tasks.
As a result, the scale-space processor implemented in a 65nm CMOS technology achieves 42.7fps on a HD 720p image and consumes 25.1mW for 30fps real-time operation. It shows 3.22x throughput im-provement, 4.44x power reduction, and 6.25x area reduction compared to the previous state-of-the-arts ob-ject recognition system-on-chips.
본 연구에서는 HD 720p 이미지에 대해서 실시간 물체 인식을 가능하게 하기 위해 이차원 캐시를 기반으로 하는 스케일 스페이스 프로세서를 제안한다. 스케일 스페이스는 물체 인식을 함에 있어서 크기 불변 특성을 얻기 위해 가장 많이 사용되는 이론이지만, 많은 연산 량과 잦은 메모리 액세스로 인하여 실시간으로 구현하기에 가장 어려운 부분이다. 이에 변형 가능한 계층적 컨벌루션 가속기를 설계하여 다양한 커널 크기에 적용가능하며 병렬 연산을 가능하게 하였다. 추가적으로 이차원 캐시를 디자인하여 세로 방향으로 연속된 데이터를 접근 가능하게 하였고, 선인출 기법을 통해 컨벌루션 연산의 순차적인 특성을 활용하여 제안한 이차원 캐시의 적중률을 높였다.
결과적으로, 65nm CMOS 공정을 사용하여 최대 42.7fps가 가능한 스케일 스페이스 프로세서를 구현하였으며, 30fps의 동작 환경에서는 25.1mW의 전력 소모를 보였다. 기존의 물체 인식 SoC에 비해 3.22배의 속도 향상을 보였으며, 4.44배의 소비 전력 감소 및 6.25배의 면적 감소를 보였다.
