Recently, augmented reality (AR) has been actively studied with the proliferation of advanced dis-plays such as head mounted display. AR is a variation of virtual reality (VR). VR technologies completely immerse a user inside a synthetic environment. In contrast, AR allows the user to see the real world with vir-tual objects superimposed upon or composited with the real world. Because AR would appear to the user that the virtual and real objects coexisted in the same place, it requires accurate registration and positioning of virtual objects in the real environment. For that purpose, the scale invariant feature transform (SIFT) is im-plemented as hardware to recognize general objects because it is the most popular candidate for how to ex-tract some interest points out of the objects and describe them in a way that invariants to translation, scaling, and rotation. Also, parallel tracking and mapping (PTAM) is utilized to calculate the pose of a front camera. With this combination of the two algorithms, accurate registration and positioning of virtual objects become possible. However, SIFT-based object recognition and PTAM-based camera pose estimation consume a lot of power and have a long processing time because of the heavy computations. Therefore, both processing performance and power consumption should be addressed in realizing a practical AR system.
To enable real-time and low-power augmented reality realization, BONE-AR (Basic On-Chip Net-work-Augmented Reality) processor is proposed. BONE-AR processor adopts task-level pipeline to accelerate each AR stage efficiently with multiple task-specific heterogeneous cores and to reduce costly external memory accesses. Visual attention algorithm is also adopted as a pre-processing stage to reduce overall workload, hence varying numbers of producer and consumer tasks are dynamically assigned to the groups of heterogeneous cores. The heterogeneous cores are distributed on each node of mesh topology network-on-chip (NoC) regarding the flexibility in task mapping. With conventional routing methods of data transactions between the producer and consumer cores, a throughput degradation of the task-level pipeline due to NoC congestion is unavoidable. To retain maximum task-level pipeline efficiency despite the dynamic mapping of producer and consumer core on the mesh topology NoC, we propose congestion-aware scheduler (CAS) that dynamically detects and resolves the NoC congestion. The proposed BONE-AR processor is fabricated using 65nm CMOS process and only consumes 381mW on an average when it performs the full chain of AR processing including object recognition, camera pose estimation, and 3D graphics rendering on a HD (720p) input video stream in real-time (30 fps). Thanks to the high hardware efficiency, BONE-AR sustains one-day long operation in the prototype HMD system developed for the real-world AR applications.
최근에 스마트 글래스와 같은 새로운 플랫폼의 모바일 시스템의 기대치가 높아지면서 증강현실이 활발하게 연구되고 있다. 증강현실은 가상현실과 현실의 결합으로서 사용자가 속한 세계에 가상의 물체를 정합하는 기술이다. 증강현실은 현실 세상과 가상의 물체를 동시에 사용자에게 보여주기 때문에 정확한 물체 인식과 위치 선정이 중요하다. 따라서 이 논문에서는 일반 물체인식에서 가장 많이 사용되는 scale invariant feature transform (SIFT)와 카메라 위치 추적 알고리즘인 parallel tracking and mapping (PTAM)을 하드웨어로 구현하였다. 이 두 알고리즘의 결합으로 정확한 물체 인식과 가상물체의 위치 선정이 가능하게 되었다. 하지만 SIFT 기반의 물체인식과 PTAM은 많은 전력을 소모하고 긴 연산 시간이 걸린다. 그래서 모바일 시스템에서 실직적인 증강현실을 구현하기 위해서는 연산 속도와 전력 소모를 모두 고려한 하드웨어의 구현이 필요하다.
실시간 저전력 증강현실을 구현하기 위해서, BONE-AR (basic on-chip network ？ aug-mented reality) 프로세서가 제안되었다. BONE-AR은 증강현실을 여러 단계로 나누고 단계상의 pipeline을 통해서 연산 가속화를 하였다. 이 pipeline의 효율성을 극대화 하기 위해서 각각의 증강현실 단계의 연산 시간이 균등하게 나누어지도록 하드웨어를 설계하였다. 또한 전처리 과정으로서 시각 집중 모델을 채택하여 전체적인 연산 부담을 줄였다. 하지만 입력 영상의 복잡도에 따라서 시각 집중 모델의 효율이 실시간으로 변하게 되고 증강현실 프로세서의 연산 부담이 동적으로 변하는 문제가 발생하게 된다. 기존의 연산 할당 방법으로는 이런 연산 부담의 동적 변화에 효과적으로 대응하지 못하기 때문에 연산 속도나 전력 소모 측면에서 효율적이지 못하다. 따라서 네트워크-온-칩의 혼잡도를 미리 인지하여 이를 최소화하는 네트워크-온-칩 혼잡 인지 스케줄러를 디자인하였다. 이 밖에도 외부 메모리 접근을 최소화 하기 위한 vocabulary for-est 가속화 하드웨어, 혼성 모드로 비선형 회로를 구현한 support vector machine 기반 dynamic voltage frequency scaling 기술을 사용하여 실시간 저전력 증강현실 프로세서를 구현하였다.
위 기술을 집적한 BONE-AR 프로세서는 처음으로 무표식 증강현실을 칩으로 설계한 SoC이다. 최신 기술 대비 3.58배 증가한 1.22 TOPS (Tera Operations Per Second) 의 성능을 달성하였고 최종적으로30 frame/sec 의 실시간 성능을 보유하였다. 또한 평균적으로 381 mW의 전력을 소모하며 최대 788 mW까지 전력소모를 보인다. 에너지 효율은 1.57 TOPS/W로서 최신 비전 처리 프로세서 대비 1.18배 높은 값이다. 최종적으로, BONE-AR 프로세서를 스마트 글래스 플랫폼에 집적하여 실제 환경에서 물체 인식동작과 카메라 위치 추적, 에너지 관리 기법을 성공적으로 검증 및 시연하였다.
