The use of microgestures has improved the robustness and naturalness of subtle hand interactions. However, the conventional approach often neglects the context in which users perform microgestures. Therefore, this thesis proposes context-aware tap and swipe gesture recognition using bio-acoustic sensing. The recognition system in this study adopts both active and passive sensing approaches to recognize finger-based microgestures while also recognizing the associated interaction contexts, including within-hand, surface, and hand grasp. In this study, we investigate the hardware configuration and sensing approach to form a bio-acoustic system with multiple band-pass filter processing. We also validate the accuracy of context-aware tap and swipe gesture recognition and propose a context-aware microgesture recognition pipeline to enable adaptive input controls for rich and affordable hand interactions.
손동작 기반의 조작방법은 가상, 증강현실(VR, AR)에서 주된 입력방식으로 사용되어지고 있으며, 특히 작은 손의 움직임을 의미하는 마이크로 제스쳐는 미세한 손의 상호작용을 강건하고 자연스럽게 만든다. 하지만 기존의 제스쳐 인식 방식은 사용자가 제스처를 수행할 때 존재하는 맥락과 제약상황에 대한 고려가 부족하다. 따라서, 본 논문에서는 손가락 기반 마이크로 제스처를 인식하는 동시에 상호작용 맥락을 인식하기 위해 생체음향을 활용한 능동 및 수동 센싱 접근 방식을 채택한다. 이를 위해, 손에서 발생할 수 있는 맥락 정보를 분류하고 상호작용 기법의 동작 방식을 디자인하였다. 또한, 생체음향 시스템의 하드웨어 구성 및 신호처리방식을 조사하고 최종 파이프라인 알고리즘을 제안하였다. 나아가, 다수의 사용자 데이터 취득 후 시스템의 성능을 평가하였으며 이를 적용할 수 있는 사용자 시나리오를 구성하여 추후 증강현실에서의 적응형 입력방식의 가능성을 제시했다.
