In this paper, we propose a smartwatch based sensor fusion approach to robustly track 6-DOF hand movement in head mounted display (HMD) based augmented reality (AR) environment, which can be used for robust 3D object manipulation. Our method uses both wrist-worn smartwatch and HMD-mounted depth sensor to robustly track 3D position and orientation of user’s hand. We introduce HMD-based augmented reality platform with smart watch, and method to accurately calibrate orientation between smart watch and HMD. We also implement natural 3D object manipulating system using 6-DOF hand tracker with hand grasp-ing detection. Our system is easy to use, and doesn’t require any hand held devices. User test shows that our method shows much higher performance in 6-DOF virtual object manipulation than existing vision based hand tracking method.

본 논문은 HMD (head mounted display) 기반의 증강현실 (augmented reality) 환경에서의 맨손을 활용한 강건한 6-DOF 객체 조작을 위한 스마트 워치 기반의 센서 퓨전 6-DOF 손 추적 기법을 제시한다. 본 연구에서는 사용자가 손목에 착용한 스마트 워치와 HMD에 장착된 깊이 카메라를 동시에 활용하여 사용자 시점 기준 사용자 손의 정확한 3차원 위치와 방향을 추적하며, 이를 위한 HMD와 스마트 워치 간의 정확한 상대적 자세 보정 방법을 제시한다. 또한 추적된 손의 6-DOF 정보와 손의 쥐는 동작을 동시에 활용한 자연스러운 가상 객체 조작 시스템을 구현하였다. 제안하는 방법은 사용하기 편리하며, 사용자 손에 스마트 워치 이외의 다른 장치를 착용하지 않는다. 사용자 평가를 통해 제안된 방법이 기존 방식에 비해 6-DOF 객체 조작에 더 높은 성능을 보임을 검증하였다.