Recently, natural user interaction (NUI) attracts great attention as people’s interest in interaction be-tween people and external devices, especially natural and intuitive interaction has increased. In the field of NUI, gesture is an important means for interaction along with voice, so a lot of research has been conducted. However because many factors are associated with gesture recognition such as high complexity and the de-gree of freedom of gesture, environmental factors, diversity of target gestures, and inter-individual variance, practical use of gesture for interaction is restricted.
In this research we propose a gesture recognition technique which alleviates constraints for gesture, enlarges target gestures, and improves recognition performance. In order to achieve these goals, we consider gestures for control of and communication with external devices and equipment as main target and propose a two-dimensional vision-based gesture recognition system which is robust to environmental variation and inter-individual variance and does not need additional techniques such image segmentation and object tracking, is able to recognize gestures generated by multiple targets.
For developing the gesture recognition system that is robust to external factors such as environmental variation and inter-individual variance and does not depend on additional techniques such image segmentation and object tracking, we construct raw feature vectors from histograms of gradients (HoG) generated by human’s gestures and temporal histograms of gradients (THoG) generated by stacking HoG’s along time axis. Instead of a direct use of HoG and THoG as observed feature vectors, we can enhance recognition performance by applying Kolmogorov-Smirnov test between input THoG and each reference THoG which is one of goodness-of-fitness tests because Kolmogorov-Smirnov test eliminates correlation between bins in each HoG and makes linear relation between input THoG and each reference THoG. Also we adopt autoregressive hidden Markov models (AR HMM) as inference models in order to take into account temporal relation which exists in trajectory and velocity of hands and arms, and apply sparse Bayesian learning method based on entropic maximum a posteriori (MAP) estimation in order for these models to be able to be optimized more faithfully to training data and trained models with simpler structures.
Finally, we show effectiveness and validity of the feature vectors, inference models, and learning method proposed in this research by using two gesture datasets and comparing variant models of conditional random fields (CRF).
최근 들어 인간과 외부 기기와의 상호 작용, 특히 자연스럽고 직관적인 상호 작용에 대한 관심이 높아지면서 내추럴 사용자 인터페이스(NUI)이 주목 받고 있다. NUI 분야에서 제스처는 음성과 더불어 중요한 상호작용 수단으로 사용되고 있어 수많은 연구가 진행되어 왔으나, 제스처의 높은 복잡도와 자유도, 환경적 요인, 그리고 인식 대상 제스처의 다양성과 개인적 편차 등 많은 요소가 연관되어 있어 제스처의 활용에 제약을 받고 있다.
따라서 본 연구에서는 제스처가 가지는 제약 요건을 완화하고 인식 대상과 인식 성능을 향상시킬 수 있는 제스처 인식 기술을 제안하였다. 이를 위해 외부 기기나 장치의 제어 및 커뮤니케이션을 목적으로 하는 제스처를 주 대상으로 하고 환경 변화와 개인적 편차에 강인하고 분할과 추적 등 추가적인 기술이 필요하지 않으며 다중 표적에 의한 제스처를 인식할 수 있는 2차원 비전 기반의 동적 제스처 인식 방법을 제안하였다.
환경 변화나 개인적 편차 등 외부 요인에 강인한 제스처 인식이 가능하고 추가적인 분할이나 추적 기술에 의존하지 않도록 하기 위해 사람의 제스처로부터 생성한 Histogram of Gradients (HoG)와 이를 시간 축으로 적층한 Temporal Histogram of Gradients (THoG)를 근간으로 하여 원시 특징을 생성하였으며 Kolmogorov-Smirnov 적합도 검증을 적용해 HoG가 가지는 히스토그램 Bin 간의 상관 관계를 제거하고 참조 THoG와 선형적 관계를 가지는 관측 특성을 적용하여 인식 성능을 향상하였다. 또한 사람의 제스처에 존재하는 손과 팔의 궤적과 속도 등의 시간적 연관성을 고려하기 위해 인식 모델로서 자기회귀 은닉 마르코프 모델(Autoregressive Hidden Markov Model, AR HMM)을 채택하였으며, 이들 모델이 학습 데이터에 보다 충실하게 최적화 되고 보다 간단한 구조를 가질 수 있도록 엔트로픽 최대 사후 확률 추정(Entropic Maximum a Posteriori (MAP) Estimation)에 기반한 베이지안 학습(Bayesian Learning) 기법을 적용하여 효과적인 인식 모델이 생성되도록 하였다.
마지막으로 두 가지 데이터셋에 대해 제스처 인식에 널리 사용되고 있는 조건 랜덤 필드(Conditional Random Field, CRF) 계열의 모델들과 비교하여 본 연구에서 제안한 특징 벡터, 인식 모델 및 학습 방법에 대한 타당성과 유효성을 검증하였다.
