In this study, we propose a framework for recognition of hand gesture for virtual world interaction. Recent researches dealing with hand gesture recognition problem tend to be limited in certain local aspects of the problem. Among the issues, the major problem addressed in this study is how to recognize the space-time variable patterns of nonlinear arm movement and to integrate with other attributes to find a proper interpretation.
Our proposed approach employs a hidden Markov model(HMM) network to recognize three-dimensional nonlinear arm movement patterns. HMM is a statistical model that can automatically extract knowledge from samples and can cope with time- scale variance and shape variance while preserving the order of arm movement. Encoding step is devised so as to reduce rotational and translational variances of gesture conduction. A two-dimensional essential trajectory is extracted by finding a global gesture plane and then encoded as a sequence of directional changes across time. The encoding step also provides additional feature of modeling the pause occurrences in the gesture. Codified information is then fed into the HMM network which is responsible for segmentation and recognition of continuous arm movement. HMMs are interconnected each other to form a network by passing through juncture HMMs. Juncture HMM is devised to provide a property of modeling a few connections of the pseudo linear trajectory of connecting movement. On the other hand, the integration of gestural attributes are modeled with colored petri net(CPN). This modeling not only provides the representation of synchrony between hand gestural attributes but also helps the recognition of arm movement patterns in combination with the HMM network, thus leading to the whole interpretation of the hand gesture.
As the testbed for the proposed recognition approaches, an interior layouting application was constructed. Gestural interaction is incorporated into the application by the situation tracker which perceives the current situation of the interacting environment by investigating CPN markings. Kinetographic gestures and pictographics gestures involving in nonlinear trajectory shapes were used in the experiment to place the virtual objects. In the experiment of arm movement recognition, the effectiveness of HMM network with pause modeling and juncture HMMs structure was inspected. Given our test set of connected hand gestures, our proposed network structure achieved 93.63% accuracy in their segmentation and recognition, which is 9.56% improvement over the case of the HMM network without pause modeling and 11.46% improvement over the juncture models without interconnection. With an extended gesture set involving in same arm movement but in different attribute patterns, CPN correctly identified gestures with better than 93% accuracy.
손동작(손짓)은 유용한 인간 상호작용 수단 가운데 하나이다. 본 논문은 가상환경 상호작용을 위한 손짓의 인식 및 통합의 모델을 제안하고 있다. 최근에 손짓 인식에 관한 여러 연구들이 행해지고 있으나,손짓 인식 문제의 한 국지적인면만을 다루는 것으로 그 범위가 한정되는 경향이었다. 본 연구에서는 먼저 손짓 인식의 제반 문제들을 찾고 손짓의 특성들을 제시하였다. 이를 바탕으로 본 논문의 주요 목적은 비선형적 팔 움직임의 시공간적 변화 패턴을 인식하는 것과 손짓의 다양한 속성들을 통합하여 적절한 해석을 유도하는 것이 되었다.
팔 움직임의 인식을 위해 본 논문이 제안하는 방법은 은닉 마르코프 모형의 네트웍을 이용하는 것이다. 은닉 마르코프 모형은 견본들로부터 지식을 추출하고 유형 생성의 시간적 순서를 유지하면서 시공간적 변동을 흡수하는 통계적인 방법론이다. 인코딩은 손짓의 궤적을 포함하는 평면을 찾고 매 순간 방향 변화를 입력요인으로 함으로써, 손짓 궤적이 행해지는 방향의 변화와 위치 변화를 극복할 수 있도록 설계되었다. 이 때, 손짓을 행하는 과정에 나타나는 멈춤(pause) 현상이 인코딩 단계에서 추가적으로 모델링되었다. 이러한 입력 코드가 은닉 마르코프 모형의 네트웍에 적용되어 연속된 손짓이 분할되고 인식된다. 손짓의 기본 유형에 대한 은닉 마르코프 모형들은 연결 동작(connecting movement)을 표현하는 모형(juncture HMM)을 경유하여 상호 연결망을 형성하였다. 연결 동작 모형은 의미있는 손짓 사이를 몇 개의 반복적 유사선형(pseudo-linear) 팔 움직임으로 모델링하였다. 한편, 손짓 속성들의 통합은 칼라 페트리 네트(CPN)로 모델링되었다. 이 모형은 손짓 속성들의 동시적 발생유형을 표현하게 하며,은닉 마르코프 모형의 네트웍과 연계되어 팔 움직임 인식을 돕고,그 결과 손짓의 전반적인 패턴을 인식하게 한 것이다.
제안된 인식 방법의 시험기반으로서 가상 객체의 배치 제어 응용이 제작되었다. 손짓에 의한 상호작용은 칼라 페트리 네트의 마킹(marking)을 기반으로 상황을 인식하는 상황 추적기에 의해 응용에 통합되었다. 이 응용에서는 운동 표현 (kinetographic) 손짓과 형상 표현(pictographic) 손짓을 대상으로,멈춤(Pause) 모델링과 연결 동작 모형(juncture HMM)을 포함하는 은닉 마르코프 모형 네트웍의 유효성이 검증되었다. 주어진 연속된 손짓에 대해, 제안된 네트웍 구조는 93.63%의 정확도를 보였다. 이는 멈춤 모델링을 사용하지 않은 경우에 대해 9.56% 향상된 결과이며, 비의도적 움직임의 상호비연결적 구조에 대해 반복을 허용하는 구조를 채택함으로써 11.46% 향상된 것이다. 한편, 칼라 페트리 네트의 유용성을 확인하기 위해서는 동일 팔 동작에 대해 다른 속성들이 다른 형태를 보이는 손짓들을 포함하여 인식하도록 하였다. 이들은 팔 움직임 궤적만으로는 올바르게 구분될 수 없는 것으로서, 칼라 페트리 네트와 결합된 인식기에 의해 93%이상의 정확도로 인식되었다.