We propose a system to estimate articulations of hand interacting with virtual object in real time, where we consider the contextual relationship between grasp types and object attribute. For this, we fist modeled the relationship between grasp types and object attributes using the bayesian network. Seconds, As a new method for appearance based hand pose estimation, we propose voxel based random forest classifier.The proposed voxel feature is robust and fast then conventional method. experimental results show that the proposed system is more accurate and faster in hand pose estimation than model that do not consider the relationship between grasp type and object attribute This result will enhance the user experience in various AR / VR applications.

가상, 증강 현실 환경이 점차 대두됨에 따라, 가상 물체와의 자연스러운 상호작용을 지원하는 방법에 대한 연구가 중요해졌다. 이를 위해 본 연구는 손과 물체의 의미적 상관 관계를 이용하여 손의 관절을 실시간으로 추정하는 시스템을 제안한다.우리는 먼저 손의 관절 자세와 물체 속성 간의 관계를 베이지안 네트워크를 이용하여 모델링하였다.두 번째로 외관 분석 기반의 손자세 추정 방법을 위한 새로운 방법으로 복셀 기반의 랜덤 포레스트 분류기를 제안한다. 제안하는 복셀 특징은 기존의 방식보다 노이즈에 강건하며 빠른 추출이 가능하다. 실험 결과는 손의 관절 추정에 있어서 손과 물체의 의미적 상관관계를 고려하지 않았던 종래의 모델보다 제안하는 시스템이 이 더욱 정확하고 빠르다는 것을 보여준다. 이 결과는 다양한 AR/VR 어플리케이션에서 사용자의 경험을 증진시킬 수 있을 것이다.