A feature vector matching in object recognition is the process of finding nearest neighbor database vec-tor for a given feature vector. Since it needs lots of required external bandwidth, it becomes the main bottleneck of real-time object recognition.
To reduce the required external bandwidth, the proposed feature vector matching processor utilizes spatio-temporal locality of nearest neighbor database vector. In video environment, the majority of the nearest neighbor vectors are commonly founded in previous frames at similar location. To support the spatio-temporal locality of nearest neighbor vector, a special cache for feature vector matching, namely, Spatio-Temporal Data-base Cache (STDB Cache) is newly proposed. In addition, to reduce matching error induced from the spatio-temporal locality method, mixed-mode neuro-fuzzy cache controller is proposed.
As a result, the proposed feature vector matching processor achieves 125,582 vec/s throughput and 95.1% matching accuracy, which are 2.02x and 1.32x higher than the state-of-the-art respectively. Therefore, the proposed feature vector matching processor achieves the most efficient throughput (vec/s o accuracy) enabling real-time object recognition for VGA 30fps video streams.
모바일 물체 인식에서 특징 벡터 매칭은 주어진 특징 벡터에 대하여 가장 거리가 가까운 데이터베이스 벡터, 즉 Nearest Neighbor Vector를 찾는 일을 수행한다. 이는 추출된 특징 벡터가 어떠한 물체에서 추출된 것인지 알기 위한 특징 벡터 수준의 인식을 말한다. 하지만 이 같은 과정은 데이터베이스가 저장된 외부 DRAM 접근이 많기 때문에, 요구되는 External Bandwidth가 매우 크다. 따라서, 실시간 물체 인식 어플리케이션에서 특징 벡터 매칭은 가장 큰 bottleneck의 요소이다.
요구되는 External Bandwidth를 줄이기 위하여, 시공간 국지성을 이용한 특징 벡터 매칭 가속기를 제안한다. 시공간 국지성 이라는 것은, 동영상 환경에서 대부분의 Nearest Neighbor Vec-tor가 이전 프레임 영상에서 비슷한 위치에서 발견된다는 점을 말한다. 따라서, 시공간 국지성을 이용한 특징 벡터 매칭을 지원하기 위하여 특별한 캐쉬 구조, Spatio-Temporal Database (STDB) Cache 를 제안한다. 일반적으로, 시공간 국지성을 이용한 벡터 매칭 방법은 Matching Accuracy를 감소시키는 단점이 있다. 따라서, 이를 해결하기 위하여 뉴로-퍼지 캐시 컨트롤러를 STDB Cache와 함께 구현하였다.
실험 결과, 본 연구에서 제안하는 특징 벡터 매칭 프로세서는 약 125,582 vec/s의 높은 throughput과 95.1%의 Matching Accuracy를 가진다. 이는 최신 벡터 매칭 프로세서 대비 약 2.02배 높은 throughput, 그리고 1.32배 높은 matching accuracy를 가진다. 따라서, 본 연구에서 제안하는 특징 벡터 매칭 프로세서는 VGA급 영상에 대하여 실시간 물체 인식이 가능한 가장 높은 Efficient Throughput (throughput x matching accuracy)를 가지는 하드웨어 가속기이다.
