Hand pose estimation is actively studied problem in many areas such as Augmented Reality (AR), Virtual Reality (VR), Computer Vision (CV), and Human Computer Interaction (HCI). Existing model-based hand tracking studies tracked fairly accurately and robustly hand pose for slow and smooth hand motion by assuming temporal continuity of the hand pose. In addition, learning-based hand pose estimation studies estimated accurately hand pose in a single camera frame without the assumption of temporal continuity. However, motion blur occurs when the hand moves quickly, which significantly drops the accuracy of the previously studied approaches. This dissertation studies the methods that estimate the 3D hand pose from a depth camera, a gyroscope, and an infrared camera in a situation where temporal continuity of hand pose cannot be assumed and in a challenging environment called motion blur. The proposed method is verified by performing quantitative and qualitative comparisons with state-of-the-art methods. This study demonstrates the possibility of application in augmented reality and virtual reality by showing that it can be used in 3D interaction and sign language.
손 자세를 추정하는 연구는 증강현실, 가상현실, 컴퓨터비젼, 인간컴퓨터상호작용 등 많은 분야에서 활발하게 연구되고 있다. 기존의 모델기반의 손 자세 추적 연구들은 손 자세의 시간적 연속성을 가정함으로써, 느리고 부드러운 손의 움직임에 대해서 안정적으로 손의 자세를 정확하고 안정적으로 추적하였다. 그리고, 학습기반의 손 자세 추정 연구들은 손 자세의 시간적 연속성에 대한 가정 없이 단일 카메라 프레임에서 손의 자세를 정확하게 추정하였다. 하지만, 손이 빠르게 움직일 때에는 모션 블러가 발생하는데, 이는 기존의 연구되었던 방식들의 정확도를 현저하게 감소시킨다. 본 박사 학위 논문은 손이 빠르게 움직일 때, 손 자세의 시간적 연속성을 가정할수 없는 상황과 모션 블러라는 도전적인 환경에서 깊이 카메라, 자이로스코프, 적외선 카메라를 기반으로 손의 자세를 추정하는 방법들을 다룬다. 제안한 연구는 정량적, 정성적으로 최신 연구 기술들과 비교평가 함으로써 검증된다. 이 연구는 3D 상호작용과 수화를 응용으로 보여줌으로써, 증강현실, 가상현실에서의 활용 가능성을 보여준다.
