A low-power 3D hand gesture tracking (HGT) processor is proposed for real-time user interaction in smart mobile devices. It features: 1) 1.80TOPS/W CNN-Stereo core for energy-efficient depth sensing; 2) Triple ping-pong buffers with workload balancing to reduce 23.9% processing time; and 3) Nearest neighbor searching processing-in-memory for hand tracking to achieve 2.8x energy efficiency. The proposed SoC facilitates real-time 3D HGT with 33.5mW and maximally 10.8mm error.
본 논문은 모바일 디바이스에서 저전력으로 동작할 수 있는 실시간 3D 핸드 트랙킹 하드웨어를 소개하고 있다. 논문에서는 3개의 주된 최적화 방식 및 아키텍쳐를 통해 저전력과 실시간 동작을 지원하고 있다. 1) 컨볼루션 신경망 기반의 양안 거리 측정 알고리즘을 최적화한 1.80TOPS/W의 에너지 효율을 가진 컨볼루션 신경망 하드웨어, 2) 23.9%의 연산 감소의 효과를 보여주는 핑퐁 파이프라인 메모리와 메모리 간의 데이터 밸런싱 최적화, 3) 2.8배의 에너지 효율을 가진 최근접 이웃 탐색처리 메모리 아키텍쳐를 통한 핸드 트랙킹 전력 소모 최적화를 통해 제안하는 하드웨어는 3D 핸드 트랙킹을 33.5mW의 전력과 10.8mm의 트랙킹 오차율을 달성하였다.
