Human hand is an important tool for communication and expression. Thus, hand-related HCI (Human Computer Interaction) technology is being developed for intuitive communication between human and machine. Because of the advancement of hardware and software, depth imaging on mobile device became possible and hovering touch system was invented. Hovering touch is the technology where fingertip locations can be recognized from depth sensor. However, Fingertip locations are not enough to express all the gestures that hand can provide. For better hand related HCI, not only fingertips should be detected, but also hand joints have to be detected in order to increase the number of expressions to use on mobile applications.
In this thesis, we present a new real-time hand joint estimation system where hand joints are derived from fingertip locations using hand anatomy. Joints located within the palm was detected by either using hand anatomy or fitting the palm from previous frame, using the fact that joints within the palm is fixed along with the palm region. As the fingertip and joint within the palm locations are located, joints can be found by using two hand characteristics. First of all, hand bone ratios are fixed for each person. And joint angles for each finger are fixed for bending amount of the finger. By applying these hand characteristics, joints that are occluded from depth sensor can be easily found without further computations. Then, joints for each finger should be located within the single plane, because the number of joint angle parameters of the finger is only 1 DOF (Degree of freedom), and joints bends toward same direction. After locating hand joints, compensation process is added for performance enhancement.
For the performance evaluations of the proposed system, two test sequences containing various hand poses with ground truth are generated. Performance is evaluated by comparing the hand joints found by pro-posed method and ground truth of hand joints. Evaluation is done for proposed method with and without com-pensation process. The result shows that hand joints found by proposed method lies within 10-15mm from ground truth of hand joints
기술의 발전으로 인해 컴퓨터와 사람 간의 상호 소통이 가능해지고, 센서와 물체 간의 거리 값을 얻는 각종 깊이 센서가 개발됨에 따라, 손의 직관적인 명령 전달이 가능해져 휴먼 컴퓨터 인터렉션 (Human Computer Interaction) 관련 기술 개발이 현재도 진행이 되고 있다. 그리고 하드웨어가 발전함에 따라 모바일 기기에서도 물체의 깊이를 측정하는 센서가 개발이 되어, 물리적으로 기기에 접촉하지 않고 떨어진 거리에서도 손 끝 좌표를 인식하는 기술인 호버링 터치 기술도 연구가 되었다. 그러나 손 끝의 위치 만으로는 본래 손이 표현할 수 있는 정도보다 제한이 될 수가 있다. 그러므로 더 다양한 명령어 전달의 위해 손 관절 추정 연구가 되어야 하지만, 관절의 자기 가림으로 인해 추정이 쉽지가 않으므로 이를 해결하기 위한 연구가 필요하다.
본 연구는 모바일 기기에서의 손의 관절의 위치를 추정하는 것을 목적으로 한다. 호버링 터치에서의 손 끝 위치로 표현될 수 있는 표현의 자유도를 손의 관절까지 찾음으로써 더 다양한 명령 전달이 가능하도록 한다.
제안하는 기법에서 우선 주어진 손의 깊이 영상에 대해 손가락의 길이 및 너비를 측정한다. 그 후에 손 끝과 손가락과 손바닥을 이어주는 관절 (이하 RP라고 함) 의 위치를 찾는다. 그리고 손의 해부학적 논리를 적용함으로써, 손 끝과 RP의 위치로부터 손가락 관절의 각도를 파악한다. 그리고 손가락은 꺾을 때 한 평면을 지나가므로 손가락 관절을 이 손가락 평면에 위치하게 함으로써 관절의 위치를 추정한다. 그리고 부정확하게 찾은 RP로 인한 관절이 부정확함을 보정을 해주는 단계도 추가를 해준다.
성능 평가를 위해 손의 다양한 자세를 포함한 데이터 영상을 사용하였고, 이 영상에서 제안한 기법으로 찾은 관절의 위치의 정확도를 확인하기 위해 Ground Truth와 비교를 한다. 손 끝과 RP의 Ground Truth를 GMM(Gaussian mixture model)과 수동으로 찾음으로써 본 논문의 기법으로 관절의 Ground Truth를 찾았다. 보정 단계를 추가한 기법이 보정 단계를 제외한 기법보다 성능이 좋은 것을 확인하였고, 엄지를 제외한 다른 손가락의 관절은 Ground Truth와 약 10~15mm의 차이를 보이는 것으로 확인하였다.
