A memory-efficient hand segmentation architecture is proposed to achieve natural hand gesture recognition. Hand segmentation occupies over 66% of hand gesture recognition flow. For natural hand ges-ture recognition, hardware accelerating hand segmentation stage is necessary. In hand segmentation, memory access time and large required memory is bottleneck of high speed hand segmentation. In previous works, they improve this problem by caching technique. However, in mobile platform, it requires external memory and external memory occupies large form factor and consumes large power. In this work, I proposed novel high speed memory-efficient designs which are hand contour tracing unit and fast contour filling unit instead of increasing memory size. In hand contour tracing unit, streaming architecture is used and this reduce inter-mediate data memory size and memory access of intermediate data read and write operation. Moreover, new memory-efficient contour filling algorithm is applied in fast contour filling unit and it reduce number of memory access in contour filling operation.
As a result, the hand segmentation architecture is implemented in a 65nm CMOS technology achieves 134.5fps (7.43ms latency) on a CIF image and consumes 2.469mW for natural hand gesture recognition. It achieves 26.5% latency reduction, 40.2% required memory reduction compared to the previous state-of-the-arts hand segmentation architecture.
본 연구에서는 메모리 효율적인 손동작 인식용 손 추출 하드웨어 아키텍쳐를 제안 하였다. 손동작 인식의 전체 과정에서 손 추출 과정은 66%이상의 시간을 할애하게 된다. 이 때 자연스러운 손동작 인식을 위해 고속의 동작을 위해서는 손 추출 과정을 하드웨어로 가속해야 할 필요성이 있다. 손 추출 과정은 많은 메모리의 접근과 많은 양의 메모리를 사용하게 되는데 기존의 연구에서는 이러한 문제를 해결하기 위해 캐싱기법을 이용하여서 해결 하려고 하였다. 하지만 모바일 플랫폼에서는 이러한 많은 양의 메모리를 사용하는 방식은 외부 메모리 소자가 필요하게 되고 결과적으로 시스템의 크기나 전력적인 측면에서 효율적이지 못하다. 그렇기 때문에 본 연구에서는 메모리 효율적인 손 추출 아키텍처를 제안한다. 본 연구에서는 손 경계 추출 가속기와 고속 경계 채움 가속기를 설계하였다. 이 중 손 경계 추출 가속기의 경우는 스트리밍 아키텍쳐를 채용하여 중간값을 저장하는 과정을 없애 필요 메모리 양과 중간값을 저장하는 메모리 접근의 수를 줄였으며 고속 경계 채움 가속기의 경우는 새로운 경계를 채우는 알고리즘을 제안하여 메모리의 접근 수를 줄이게 되었다.
결과적으로, 65nm CMOS 공정을 사용하여 134.5fps (지연시간7.43ms)가 가능한 손 추출 하드웨어를 2.463mW로 설계하여 자연스러운 손동작 인식을 가능케 하였다. 또한 기존의 손 추출 하드웨어에 비해 26.5%의 지연시간 감소와 40.2%의 메모리 필요량을 감소시킬 수 있었다.
