In this thesis, we propose a novel method that recognizes Arabic numerals (0-9) from a hand motion trajectory by utilizing arm movement features and discriminative training with hidden Markov models (HMMs). The previous works have mainly focused on 2D gesture trajectory features and an individual HMM classifier for hand gesture recognition. The proposed method extends the previous works by extracting fea-tures from 3D whole arm movement with associated joint angles by utilizing the position data of shoulder, elbow, and hand available from skeletal tracking by KinectTM and building a framework for multiple HMMs with discriminative training.
The proposed method consists of the following three parts: arm tracking, feature extraction, and clas-sification. In the arm tracking part, the KinectTM skeletal tracking is used to collect a sequential position data of shoulder, elbow and hand; In the second part, the arm angle features are extracted based on an arm mod-el for trajectory formation and are then quantized as the feature vectors to be used as an observable se-quence for HMM; In the last part, a majority voting of 5 different HMMs based on the weights obtained from discriminative training is incorporated to build a classifier with multiple HMMs.
The experimental results show that the proposed method can achieve a successful and high gesture recognition rate for both the training and the testing data. Consequently, the 3D arm movement features are reliable for dynamic hand gesture recognition compared to the system using 2D trajectory features, and the multiple HMMs with discriminative training is effective compared to the system using the individual HMM classifier.
본 석사 학위 논문에서는 팔 움직임 특징과 hidden Markov model (HMM) 변별 훈련을 이용하여 공간상에서 손의 궤적이 그리는 아라비아 숫자를 동적 제스처로 인식하는 새로운 방법을 제안한다. 기존 연구에서는 2차원상에서 그려지는 제스처의 궤적에 관한 특징과 단일 HMM을 이용하여 손 제스처를 인식 하였다. 제안된 방법은 기존의 연구를 확장하여 깊이 정보를 이용하여 얻은 어깨, 팔꿈치, 손의 위치 데이터를 이용하여 관절들의 각도를 얻어내서 3차원 공간 상에서의 팔 움직임 특징을 추출하고 복수의 HMM을 이용한다.
제안된 방법은 다음과 같이 세 부분으로 구성된다. 첫 번째는, 팔의 위치를 검출 및 추적하는 부분으로 키넥트의 스켈레톤 추적 알고리듬을 이용하여 어깨, 팔꿈치, 손의 순차적인 위치데이터를 수집한다. 두 번째는 팔의 움직임 특징을 추출하고 이를 HMM에 이용하기 위하여 양자화하여 특징벡터를 만든다. 세 번째는 각각의 특징을 이용하여 만든 5개의 복수의 HMM을 이용하여 최대 우도를 얻을 수 있는 변별 훈련을 통해 제스처를 분류하는 부분이다.
제안된 방법의 실험결과는 훈련 데이터와 실험 데이터에서 높은 인식 확률을 나타낸다. 결론적으로 3차원 공간에서의 팔 움직임 정보와 복수의 HMM을 이용한 변별 훈련이 동적 손 제스처 인식에 효과적이며 제안된 방법의 우수성을 입증하였다.
