Hand gesture recognition has a long and diversified history in many research communities, including computer vision (CV) and human computer interaction (HCI). However, in a wearable augmented reality (AR) or virtual reality (VR) environment, despite significant research effort for recognizing articulated hand gesture, an adequate solution has not yet been discovered to overcome a major challenge utilizing a self-occluded (missing) visual data. This is largely due to the fact that articulated hand gesture recognition in egocentric viewpoint is complicated and difficult; potential solutions must be tolerant to the incomplete data, and invariant to the translation and rotation of the hand in 3D space. Moreover, it has to be invariant to the variance of motions and postures. Despite these significant challenge, this work presents a novel framework, which is based on the proposed Spatio-temporal classifier, for articulated hand gesture recognition that not only simultaneously performs two different tasks with a significant improvement over existing traditional approaches, but also has computational efficiency and sufficient interaction performance for use in wearable AR/VR applications.
As its core, this framework makes use of a basic structure of Random Forest (RF) to probabilistically infer the gestures that we defined based on a given dataset (i.e. egocentric viewed single depth image sequences). Our solutions to two applications include: (i) 3D Finger CAPE: clicking action and position estimation under self-occlusions in egocentric viewpoint and (ii) SD Gesture: static and dynamic gesture estimation for manipulating a function-equipped AR object. For both these applications we show that the proposed context-driven Spatio-temporal classifier utilizing RF are able to significantly out-perform existing state-of-the-arts, and works as a novel learning technique for supporting a novel Natural User Interface (NUI) in wearable AR/VR applications. Based on the results of the proposed Spatio-temporal classifiers to these two applications, we were able to provide a novel selection and manipulation process in an AR/VR space, which does not require any additional device (e.g. gloves or optical markers).
맨손 기반 제스쳐 인식은 컴퓨터 비젼 (CV), 인간 컴퓨터 상호작용 (HCI) 분야를 포함하는 여러 연구분야에서 오랜 기간 다양한 응용과 함께 연구되어 왔다. 하지만, 착용형 증강현실 (AR) 또는 가상현실 (VR) 환경에서는 관절구조를 가지는 손 제스처 인식에 대한 상당한 연구 노력에도 불구하고 자가가림 현상으로 인해 보이지 않는 비주얼 (Visual) 데이타를 활용해야 하는 주요한 연구 이슈에 대해서는 아직도 적절한 해법을 제시하지 못하고 있다. 앞서 언급한 자가가림 현상은 대부분의 경우 1인칭 시점에서 획득된 관절 구조의 손 영상을 활용할때 나타나는 현상으로써 이를 통한 제스처를 인식하려는 시도 자체가 어려운 문제이기 때문이다. 따라서 이를 해결할수 있는 잠재적인 해결책은 이 완전하지 않은 데이타를 활용에도 제스처 인식이 실패하지 않아야 하고, 더욱이 3차원 공간 상에서 손의 자유로운 회전/이동에도 강건한 방법이어야 한다. 더불어, 이 잠재적인 해결책은 또한 손의 자유로운 자세와 움직임 등으로 인해 생길수 있는 여러 변형들에 대해서도 강건하게 동작해야 한다. 이와 같이 앞선 언급된 주요한 문제들을 다루면서, 본 학위논문은 관절 구조의 손 제스처 인식을 위해 시공간 분류기를 기반으로 하는 새로운 프레임워크를 제안한다. 이 새로운 프레임워크는 두가지 다른 종류의 동작(tasks)을 동시에 수행할 뿐 아니라 (기존의 방법보다 월등한 성능으로), 착용형 AR/VR 응용에 대한 사용성 측면에서도 충분한 성능 및 계산 효율성을 보인다.
본 논문의 핵심 내용 중 하나로써 제안하는 프레임워크는 랜덤 포레스트 (Random Forest)의 기본 구조를 활용하는데, 이는 주어진 데이타셋을 기반으로 본 저자가 정의하는 제스처들을 확률적으로 추론하기 위해 사용한다. 제안하는 프레임워크를 활용하여 본 논문에서는 두가지 응용 및 활용 가능성에 대해 설명하는데 그 중 하나는 (1) 3D Finger CAPE: 1인칭 시점에서 상호작용시 자가가림 현상이 발생하는 상황에서 손가락을 활용한 클릭하는 동작과 클릭된 위치 추정, 그리고 다른 하나는 (2) SD Gesture: 기능이 탑재된 AR 객체를 조작하기 위한 정적 그리고 동적 제스쳐 인식이다. 두 응용 모두의 경우에서 우리는 제안하는 맥락 중심 시공간 분류기가 현존하는 최신의 연구 결과 성능을 뛰어 넘는 것을 확인할수 있었으며, 착용형 AR/VR 응용에서 이 방법들이 새로운 형태의 NUI (Natural User Interface)를 지원하는 적절한 학습 기법으로 동작하는 것을 확인하였다. 이 제안하는 시공간 분류기 결과를 기반으로 하는 두가지 응용으로써 본 논문에서는 AR/VR 공간에서의 새로운 선택/조작 프로세스를 제시하고 있다. 본 연구는 글로브 (glove) 또는 시각 마커(optical markers)와 같은 추가적인 장비 없이 상호작용을 지원할수 있다.
