Today, as the camera and the head-mounted display (HMD) are becoming smaller and lighter, wearable computing technology is getting significant amount of attention. There are many user interfaces for obtaining digital information about the object, space, or situation in interest. Unlike a 2D user interface like desktop-based device, a 3D user interface is appropriate for wearable HMD environment in augmented reality. Of the various 3D user interfaces, a hand is naturally anticipated as a major focus for wearable computing technology. For a hand-based interface, the hand pose should be estimated. Many ordinary researches for hand pose estimation have focused on static environment with a fixed camera. However, these researches in static environment cannot be used for the wearable because a moving camera causes a limitation of the hand pose estimation and camera tracking. In other words, the image of a hand and background is at constant change due to a moving camera. Thus far, in moving-camera-view scenarios with HMD, only color information was mainly used in ordinary researches. We propose two systems that enable a user equipped with HMD to manipulate the virtual object with his own hand in a wearable AR environment. The proposed system has two situations, which are self-occluded and non-self-occluded. We demonstrate appropriate situations like bending and stretching finger inward or outward of the camera. Our experiments showed that our algorithm was robust for hand pose estimation in each situations .Our method is applicable to various AR interaction scenarios such as digital information access/control, creative CG modeling, virtual-hand-guiding, or game UIs.

오늘날, 카메라와 HMD가 소형화,경량화 됨에 따라 웨어러블 컴퓨팅 기술이 가속화되고 있다. 사용자가 관심있어하는 객체, 공간, 상황에 대해서 디지털 정보를 얻기위한 많은 인터페이스 기술들이 존재해왔다. 특히, 마우스, 키보드와 같은 데스크탑 기반의 인터페이스 장치들은 2D display에 적합한 인터페이스이다. 많은 사용자 인터페이스들중에, 손은 3d 공간에서의 인터페이스로서 웨어러블 컴퓨팅 기술을 위한 도구가 될 수 있다. 많은 기존의 연구들은 고정된 카메라를 기반으로 정적인 환경에 초점을 두었다. 그 이유는 카메라가 사용자의 시점에 맞게 부착되어 움직이게 되면 손 자세 추정과 카메라 자세추정의 많은 제약을 지니고 있기 때문이다. 이러한 정적인 환경은 우리의 시스템인 HMD 기반의 웨어러블 인터페이스에는 적합하지 않다. 본 연구는 마우스나 키보드와 같은 데스크탑 기반의 장치 없이 웨어러블 AR 환경에서 맨 손을 이용하여 가상의 객체를 조작 하기 위한 손 자세 추정 알고리즘을 제안한다. 본 연구에서는 3차원 정보를 쉽게 얻어내기 위하여 RGB-D 카메라를 HMD에 부착하였다. 이러한 환경에서의 상호작용으로는, 손의 자가가림이 발생하지 않는 상황과 발생하는 상황으로 나눌 수 있다. 본 연구는 이 두가지 상황을 풀기 위한 알고리즘을 제안하고 실험으로 그 정확도를 분석해보았다. 본 연구는 자가가림이 발생하지 않는 상황일때 적합한 상황과, 발생하지 않았을 때 적합한 상황을 데모로서 어플리케이션을 만들어 보았다. 자가가림이 발생하지 않는 상황일때는, 손가락 끝이 항상 사용자에게 보이는 상황으로, 이를 통하여 손가락의 관절의 파라미터를 추정하고, 가상의 객체와 상호작용을 한다. 자가가림이 발생하는 상황일 때는, 손가락 끝이 사용자 시점에서 사라지는 상황으로, 증강된 가상의 피아노를 연주하는 어플리케이션을 만들어 보았다. 이러한 손 자세 추정 알고리즘은, 이후에 게임, 가이드 시스템, CG 모델링, 디지털 정보에 대한 접근/제어 등의 다양한 AR 인터랙션 시나리오에 적용 될 수 있다.