We propose a real-time 3D object-grabbing hand tracking system based on the prior knowledge of grasping an object. The problem of tracking a hand interacting with an object is more difficult than the issue of an isolated hand since it requires consideration of occlusion by an object. Most of the previous studies resort to the insufficient data which omit occluded hand data and missed the point that the presence of an object may rather be a constraint on the pose of the hand. In this paper, we focused on the sequence of a hand grabbing an object to utilize prior knowledge of grasp situation. With this assumption, an excluded depth data of the hand occluded by the object was reconstructed with proper depth data and conducted a re-initialization process based on the plausible grasp pose of the human. The effectiveness of the proposed process was verified based on model-based tracker with particle swarm optimization. Quantitative and qualitative experiments demonstrate that the proposed processes can effectively improve the performance of model-based tracker for the object-grabbing hand.

본 논문에서는 물체를 쥔 손에 대한 사전지식을 이용한 손 관절 자세 추적 시스템을 제안한다. 기존의 연구들은 일부가 가려진 손의 데이터를 이용해 최대한 정확한 자세를 추적하고자 하거나 물체를 쥐었다는 사실 자체가 손의 자세를 제한한다는 정보를 활용하지 못하였다. 여기서 제안하는 방식은 물체에 의해 가려져 제외된 손에 대한 깊이 데이터를 적절한 깊이 값으로 재구성하고, 사람의 손 자세에 대한 일반적인 지식을 활용하여 추적기의 재초기화 과정에 적용하는 것이다. 기존에 모델 기반 추적기로 많이 활용되었던 입자 군집 최적화 기법을 이용하여 제안된 프로세스가 물체를 쥔 손에 대한 추적 성능을 향상시킬 수 있음을 검증하였다.