Nowadays object recognition has been widely adopted as a key component of various intelligent vision applications. For example, in the advanced driver assistance system, it enables the lane detection and the traffic sign recognition to improve the drivers safety or self-driving and, in the mobile phone, it enables the users to control their phone by just looking it through its camera without having to type commands. However, the object recognition requires a huge number of computations for the vision processing so it is difficult to achieve real-time performance on a mobile system with a general-purpose processor. In addition, the real-world environments make recognition even harder, where scenes usually contain objects varying in scale, illumination, distractors with similar shape, and occlusions on a cluttered background. We note the fact that human can recognizes thousands of objects without much difficulty, despite these variabilities. In this thesis, we aim to achieve highly reliable recognition accuracy by mimicking the human visual system. Human visual system not only makes use of local object information but also actively considers the global scene context. In the case of poor viewing quality such as clutter, noise, and blurred image, the scene context information play a major role in enhancing the reliability of the object recognition. In order to successfully achieve the human-like context-aware object recognition, we designed and developed (1) a multi-classifier recognition algorithm capable of recognizing the object and scene simultaneously, (2) a heterogeneous many-core architecture for real-time operation, (3) an analog-digital mixed-mode implementation for low-energy filtering, (4) a system board supporting fine-grain dynamic voltage and frequency scaling, and (5) a demonstration platform for the intelligent unmanned vehicle system. First, the proposed multi-classifier recognition algorithm utilizes Retinex pre-processing for illumination adaptation, Visual Attention for Region-of-Interest --- the parts of the image that likely contain target objects --- detection, Scale Invariant Feature Transform for local object recognition, Hierarchical Visual Cortex Model for global scene understanding. Second, the proposed processor architecture adopts multi-granularity parallel data-path for a 5-stage task-level pipelined architecture. The proposed recognition algorithm is divided into 5 categories for data-level parallelism and operation complexity. Then, the 5 recognition tasks are directly mapped to the heterogeneous cores with a digital-analog mixed-mode circuits: Intelligent Hierarchical Perception Engine (IHPE), Scale-Space Engine (SSE), Feature Detection Cluster (FDC), Descriptor Generation Cluster (DGC), and Feature Matching Cluster (FMC). Third, the proposed processor is implemented using an analog-digital mixed mode process for low-energy nonlinear operations. The radial basis neural network classifier and nonlinear filters such as Gabor function are accelerated by dedicated analog-digital mixed-mode circuits, thus the visual attention and scene understanding could be performed in low energy consumption. Fourth, the proposed processor is integrated with a system board, which is capable of controlling the voltage and frequency provided to the processor. It supports 8 voltage-frequency combinations from 0.65-1.2V, 50-200MHz for 3 separated power domain. Finally, the proposed system successfully demonstrated the context-aware object recognition in the unmanned vehicle, and aerial vehicle. The proposed processor is fabricated into $5 \times$ 5mm^2$ chip using 0.13 $\mu$ m CMOS process. It achieves 30 frame per seconds object and scene recognition throughput with 646GOPS/W power efficiency, which is smallest area but highest energy efficiency in the previous object recognition processor.
에너지 효율적인 상황인지 기반 실시간 물체인식 프로세서의 구현을 위하여, (1) 배경을 인지하여 물체 인식을 수행하는 상황인지 기반 (Context-aware) 기반의 물체 인식 알고리즘, (2) 해당 알고리즘을 효율적으로 구현하기 위한 이종 매니코어(Heterogeneous Many-core) 기반의 하드웨어 아키텍쳐, (3) 아날로그-디지털 혼성 모드(Analog-Digital Mixed-mode)를 이용한 저에너지 디자인이 제안되었다. 또한, (4) 저에너지 동작을 위한 동적 전력 제어(Dynamic Power Mode Control)가 가능한 시스템 보드를 개발하였고, (5) 개발된 물체인식 시스템을 자동 주행용 자동차 및 비행체(UV/UAV) 등 실제 응용 분야에 적용함으로써 제안하는 물체인식 프로세서의 효과 및 기능을 분석적, 실험적 방법으로 입증하였다.
첫째로, 상황인지 기반 물체인식 알고리즘 모델을 제안하였다. 기존에 수행되는 물체인식은 영상의 국소적인 정보에 의존하여 수행하기 때문에 물체가 작거나 흐리게 나타나는 등 영상 정보가 소실되는 상황에서는 올바르게 물체를 인식하지 못하는 문제가 있다. 본 연구에서는 이러한 상황에서도 높은 정확도로 물체를 인지할 수 있는 사람의 인지 과정에 주목하였다. 기존의 물체 인식 과정에 영상의 전체적인 정보를 이용하는 배경 상황 인지를 추가적으로 수행함으로써, 국소 정보가 소실되는 영상에서도 물체 인식을 수행할 수 있도록 하였다. 영상의 배경 정보가 물체 인식 과정에 영향을 주는 방법으로써는 3가지 기작 - 배경에 기반한 물체의 관심 영역 설정(Context-aware Visual Attention), 타일별 초해상도 구현(Context-aware Super-Resolution), 데이터베이스 매칭(Context-aware Database Matching) - 을 제안하였다. 도심 도로 상황을 나타낸 모형 실험에서 검증한 결과, 관심 영역 추출의 정확도가 24% 향상되었고, 30 Pixel 이하의 작은 물체의 경우 22%의 인식 성능 향상, 데이터베이스 매칭의 수행시간을 25% 단축시켰으며 최종적으로 96%의 정확도로 물체를 인식함을 확인하였다.
둘째로, 상황인지 기반 물체인식 알고리즘을 에너지 효율적인 하드웨어로 구현하기 위해 이종 매니코어 아키텍쳐를 제안하였다. 물체인식 과정을 연산량 및 연산종류에 따라 5가지 과정으로 분할한 뒤, 각각의 연산 특징에 적합한 하드웨어 구조로 구현하였다. 이 때, 각 하드웨어는 알고리즘 분석 및 싸이클 수준(cycle-accurate)의 시뮬레이션 검증을 통해 설계되었다. 첫번째로, 시스템의 배경인지 및 관심영역 추출을 위해서는 아날로그-디지털 혼성 모드를 이용한, 지능형 계층적 인식 엔진(Intelligent Hierarchical Perception Engine)이 설계되었다. 두번째로, 추출된 관심 영역에 대해 영상 크기에 불변한 특징점을 얻기 위해, 2차원 연산 유닛이 다중 모드로 동작하는 스케일 공간 엔진(Scale-Space Engine)이 제안되었다. 세번째로, 스케일 공간에서 강건한 특징점을 추출하는 특징 검출 클러스터(Feature Detection Cluster)가 집적되었다. 네번째로, 추출된 특징점을 바탕으로 특징 벡터를 기술하기 위해 삼각함수 연산 유닛 등이 지원되는 특징 기술 클러스터(Descriptor Generation Cluster)가 구현되었다. 마지막으로, 기술 벡터들을 데이터베이스와 비교하는 특징 매칭 프로세서(Feature Matching Processor)가 개발되었다. 서술한 바와 같이 5가지 구조로 물체인식 알고리즘에 최적화된 하드웨어 아키텍쳐를 구현하여, HD $(1280 \times 720)$ 입력 이미지에 대하여 초당 30프레임의 실시간 동작 성능을 가능하게 하였다.
셋째로, 아날로그-디지털 혼성모드를 도입하여 배경 인식 및 관심영역 추출에 필요한 필터 연산들을 저에너지로 구현하였다. 본 연구에서는 상황인지를 위한 배경인식 알고리즘 및 관심영역 추출을 위한 시각주의집중 알고리즘이 모두 가버 필터(Gabor Filter)에 의존하는 것에 주목하였다. 가버 필터는 가우시나 필터(Gaussian Filter) 보다 연산 요구량이 높은 각도별 외곽선 검출 필터로써, 해당 연산을 위해 전용 가속기 회로로 구현하였다. 또한, 배경인식을 위한 분류기를 전류 모드 증폭기에 기반한 아날로그 방사상 신경회로 분류기(Radial basis neural network)로 구현하여 저면적, 저에너지로 상황인지 및 관심영역 추출을 수행할 수 있게 되었다.
넷째로, 프로세서의 에너지 효율적인 동작을 위해 동적으로 전력 및 동작 속도가 제어되는 시스템 보드를 개발하였다. 물체인식은 입력 영상에 따라서 그 연산량이 변화하는 특징이 있으므로, 워스트 케이스(worst case)에서 실시간으로 동작하도록 설계된 물체인식 프로세서는 많은 경우 최대 성능을 발휘하지 않더라도 실시간 수행이 가능하다. 본 시스템에서는 구현된 프로세서에 공급되는 전압 및 클락 신호(clock signal)를 3가지 도메인(domain)으로 구분하여 제공한다. 각 도메인은 독립적으로 전압 및 클락 신호를 공급받으며, 0.65-1.2V, 50-200MHz에서 총 8개의 조합을 갖는다. 첫번째 동적제어 도메인은 입력 영상의 관심 영역 개수에 따라 그 동작 모드가 결정되는 영역으로서 스케일-공간 엔진과 특징 검출 클러스터가 해당된다. 두번째 동적제어 도메인은 추출된 특징점 개수에 따라 동작 모드가 결정되는 영역으로서 특징 기술 클러스터가 이에 해당한다. 나머지 부분은 모두 정적 도메인(Static Domain)으로서 1.2V, 200MHz에서 동작한다. $0.13 \mu m$ CMOS 공정으로 제작된 칩은 초당 30프레임으로 상황인지 기반 물체인식을 수행하며, 이 때 평균적으로 260mW의 전력을 소모하였다. 이러한 성능은 $5 \times 5mm^2$ 면적에 집적되었으며, 이는 기존의 물체인식 프로세서의 면적 및 에너지 효율을 약 1.3배 개선시킨 것이다.
마지막으로 제작된 칩이 집적된 시스템 보드를 다양한 분야에 적용하여 봄으로써 실제 사용 가능성을 확인하였다. 동작 시연을 위해 리눅스 운영체제를 수행하는 인터페이스 보드를 시스템보드와 함께 집적하였다. 인터페이스 보드는 외부 통신을 위해 UART, USB, Ethernet 등 주변 처리(Peripheral) 기능 뿐 아니라, 6인치 TFT-LCD를 내장하여 현장에서 실시간으로 동작을 출력할 수 있도록 구성하였다. 우선적으로 도심의 환경을 세트로 구성하여 자동 주행 자동차 등에서 상황인지 기반 물체인식이 활용될 수 있음을 확인하였고, 더 나아가 자동 비행체와 연결하여 실시간으로 작은 대상을 인식하고 추적하는 기능을 성공적으로 검증하였다.
