Recently, Object recognition has been applied to many fields such as vehicle detection, robot vision and face recognition. It is the process of identifying pre-learned object from input video scene in real-time. Object recognition can be divided into two stages, pre-processing which extracts feature points from image and post-processing which matches feature vector with database. In this work, SoC design for pre-processing of object recognition is presented. High-level modeling is performed by unified modeling language (UML) for system improvement. Based on the model, required data transactions and computations of each pre-processing operation are analyzed. As a result, it is proved that gaussian filtering and finding local maximum address operation are two computational bottlenecks of the system. To resolve these, processing element and memory are designed in customized hardware block. Processing element, a kind of 32-bit RISC processor, is designed to accelerate gaussian filtering operation. Sum of dot products (SDP), load extension (LE) and division (DIV) instruction are newly added and SIMD and logarithmic fashion are exploited in datapath. Limited in image filtering operation, performance of processing element is improved about 8.3 times compared to that of general purposed processor. Memory is designed to have a special feature of finding local maximum address in 3x3 window. It includes additional peripherals and micro logics to achieve this in memory. As a result, finding local maximum address in 3x3 window can be performed in a single cycle and this reduces the cycle time to complete finding local maximum address operation dramatically. In SoC, 10 PEs and 8 memories are integrated in the area of 7.5um x 5.5um. For functional verification of designed pre-processing stage, it is implemented on FPGA board. A real chip implementation is now being progressed in TSMC 0.18um process.
최근, 자동차 감지, 로봇 비전, 얼굴 인지 등 의 분야에서 폭넓게 적용되고 있는 물체 인식은 비디오 영상으로부터 실시간으로 이미 학습한 물체를 식별해 내는 과정이다. 많은 연산을 요구하는 이 과정은 크게 두 부분으로 나눌 수가 있는데, 이미지로부터 특징 포인트들을 찾아내는 전처리 과정과, 특징 포인트들의 디스크립터 벡터와 기존의 데이터 배이스와 매칭을 시키는 후처리 부분으로 나뉘어 진다. 이 논문은 물체 인식 전처리를 위한 시스템 온 칩 설계에 관하여 기술하고 있다. 상위 레벨의 시스템 모델은 UML 이라는 모델링 언어로 모델링 되었다. 이 모델에 근거하여 전처리 시스템의 각 과정에서 요구되는 입력 데이타 양과 연산량이 분석되었다. 분석의 결과로, 가우시안 필터링 연산과 로컬 맥시멈 주소찾기 연산이 시스템의 바틀넥이 됨이 알 수 있었다. 이것을 해결하기 위하여, 프로세싱 엘레멘트와 메모리가 특수 기능을 가지도록 설계되었다. 우선, 32비트 리스크 프로세서의 한 종류인 프로세싱 엘레멘트는 필터링 연산을 가속하기 위하여 설계하였다. 그것을 위해 SDP 인스트럭션, LE 인스트럭션, DIV 인스트럭션이 새롭게 추가 되었고, 하드웨어적으로는 SIMD 방식과 logarithmic 방식이 데이터패스에 이용되었다. 설계된 프로세싱 엘레멘트는 필터링 연산에 한하여 일반 CPU와 비교해 8.3배 정도 높은 성능을 보여준다. 메모리는 3x3 윈도우에서 로컬 멕시멈의 주소를 찾는 특수한 기능을 가지도록 설계되었다. 그것을 위하여 부가적인 메모리 주변회로와 극소한 연산 로직이 포함되어 있다. 그 결과로 한 싸이클 안에 3x3 윈도우의 로컬 멕시멈 주소를 찾는 것이 가능하며, 이것으로 인하여 로컬 멕시멈 주소를 찾는 과정을 마치는 데 드는 시간이 급격히 감소하였다. SoC 에서는 10개의 프로세싱 엘레멘트와 8개의 메모리가 7.5um x 5.5um의 면적에 집적되었다. 설계된 물체 인식의 전처리단은 FPGA 보드에 구현되었으며, 데모가 진행되었다. 실제 칩은 TSMC 0.18um 공정으로 제작 중에 있다.
