This paper proposes a new method of spotting meaningful gestures from continuous hand motion in real-time. As the gesturer switches from one gesture to another, his hand makes an intermediate move linking the two gestures. A gesture recognizer may attempt to recognize this inevitable intermediate motion as a meaningful one (segmentation problem). Furthermore, the same gesture varies dynamically in shape and duration; instance by instance even of the same gesturer (spatio-temporal variability problem). The proposed method can solve the problems of segmentation and spatio-temporal variability of gestures using Hidden Markov Model (HMM).
To handle non-gesture patterns between gestures, we make use of the internal segmentation property of the HMM and introduce a threshold model that consists of the state copies of all trained gesture models. The internal segmentation property implies that the states and the transitions of a trained HMM represent sub-patterns of a gesture and their sequential order. The threshold model calculates the likelihood threshold of the input pattern and is used to qualify an input pattern as a gesture. However, the threshold model, a weak model of all gestures, has a large number of states, so we reduce the number of states by the use of relative entropy.
Through a set of experiments, it has been shown that the proposed method can successfully extract meaningful gestures from continuous hand motion with 93.14% reliability. The proposed method has been incorporated into PowerGesture to provide gestural commands for browsing the slide of $PowerPoint^TM$.
입력신호로부터 의미 있는 패턴을 찾는 일을 패턴적출이라고 하며, 제스처 적출이 한 예이다. 제스처 적출을 위해서는, 연속적인 손의 궤적에서 제스처가 언제 시작하여 언제 끝나는 지를 판단하는 구분 문제와, 제스처의 모양과 동작시간이 제스처를 할 때마다 다른 형태로 나타나는 시공간적인 변이 문제를 해결하여야 한다.
이러한 맥락에서 보면, 은닉 마르코프 모델이 시공간적인 변이를 가진 패턴을 표현할 수 있는 확률모델이라는 사실에 주목할 필요가 있다. 그러나, HMM에서도 비 제스처 패턴을 어떻게 제거할 것인가 하는 문제에 대해서는 한계가 있다. HMM을 이용한 패턴적출에서는 일반적으로 키워드 모델을 이용하여 참조모델을 정의하며, filler 모델을 이용하여 기타 불필요한 패턴을 대표하는 모델을 정의한다. 그러나, 제스처 인식의 경우에는 사전에 비 제스처 패턴을 정의할 수 없기 때문에 좋은 filler 모델을 얻을 수 없다. 이를 극복하기 위하여, 본 논문에서는 HMM의 내재적 구분 속성을 응용하여 훈련된 제스처 모델의 상태를 이용하는 임계치 모델을 도입하였다. 임계치 모델은, 모든 훈련된 제스처 모델의 상태를 모아 모든 상태가 완전히 연결된 ergodic 모델을 구축한 모델로서, 제스처의 부패턴을 이용하여 합성한 어떤 형태의 패턴에 대해서도 매칭이 가능한 모델이다. 임계치 모델의 약점은 제스처 모델의 수에 비례하는 많은 수의 상태를 가지고 있다는 점이다. 본 논문에서는 이러한 문제점을 해결하기 위하여 두 확률간의 거리 측정에 자주 사용되는 상대성 엔트로피 (relative entropy)를 이용하였다. 상태의 수를 줄임으로써 lattice의 크기가 줄게 되며, 결국 적출속도를 높이는 결과를 얻을 수 있었다.
제안된 방법의 평가를 위하여, 본 논문에서는 제스처 명령을 이용하여 $PowerPoint^TM$의 화면이동을 제어하는 PowerGesture 시스템을 구축하였다. 제안된 방법을 이용하면, 218 ms/프레임의 적출속도와 93.14%의 적출 신뢰도를 얻을 수 있다. 또한 임계치 모델의 상태의 수를 줄임으로써 약간의 신뢰도 저하를 감수하면서 빠른 적출속도를 얻을 수 있음을 확인하였다. 요약하면, 임계치 모델은 구축이 용이하고 단순하면서도 효율적으로 제스처 모델이 산출하는 유사도의 신뢰수준 심사를 위한 기준을 제공하므로 제스처 인식과 같은 전체 입력신호 중에서 관심을 가진 패턴이 일부분만 존재하는 패턴인식 문제의 해결에 응용될 수 있다.
