Hovering touch is a technology which recognizes the coordinates of fingertips using their depth data; it requires no physical contact on a device. It can provide human instructions to various applications such as mobile display, TV, personal computer, etc. However, there are some problems to detect fingertip coordinates exactly, because a human hand can produce a variety of meaningful configurations including rotation, scaling, inclination, and self-occlusion.
In this thesis, we present a new fingertip detection system which detects fingertips based on the shape information and depth data of hand. Thereby, various hand motions such as selection, and pinch-zoom are recognized robustly.
The proposed method starts with segmenting hand region to palm and finger region using i) run-length representation based on binary morphological operation, ii)Canny edge detector, and iii)distance transform. After segmentation, we calibrate the depth data of a hand by approximating the segmented palm region as a plane. For the plane approximation, PCA(Principal Component Analysis) is applied to the segmented palm region. For the segmented finger region, a combination of temporal coherence-based clustering and the pro-posed distance metric is applied to find five finger clusters. Each clustered finger is classified into two types (straightened or curved) using the calibrated depth data, then different detection method is applied to find the coordinates of fingertips.
For the performance evaluation of the proposed system, we generate two test sequences with the ground truth. We compare the performance of our system with Intel® Perceptual SDK(PCSDK), and the re-sults show that the mean error of detected fingertips is reduced approximately 60 percent. We also evaluate the performance of our system on low resolution images considering mobile application. The results show that our system still works for the images whose resolution is four times lower than original resolution.
호버링 터치(Hovering touch)는 깊이 정보를 이용하여 물리적으로 기기에 접촉하지 않고 떨어진 거리에서도 손 끝 좌표를 인식하는 기술이다. 일반적으로 모바일 디스플레이에 적용하여 다양한 유저 인터페이스와 결합되어 사용되며 센서기술이 발달함에 따라 TV, 컴퓨터등과도 결합되어 손의 움직임을 통해 사람의 명령을 전달할 수 있다. 하지만 사람의 손은 그 움직임에 따라 형태가 다양하게 변하며, 회전, 크기변화, 기울어짐, 자기 가림 등의 문제로 인해 정확한 손 끝 좌표를 검출하는데 어려움이 있다.
본 연구는 손의 형태 및 추정된 손바닥 평면을 기반으로 호버링 터치에 사용되는 선택(selection), 핀치 줌(pinch zoom)과 같은 다양한 움직임에 적합한 손 끝 검출 시스템을 제안한다.
제안하는 시스템은 먼저 모폴로지 오프닝 연산, Canny 에지 검출기, 거리 변환을 이용하여 검출된 손 영역을 손바닥 및 손가락 영역으로 구분한다. 구분된 손바닥 영역을 기반으로 우리가 정의한 손바닥 평면(plane of palm)을 추정한 후 이를 이용하여 깊이 보정을 수행하며, 구분된 손가락 영역은 시간 축 상관도를 기반한 이전 프레임의 클러스터링 정보와 우리가 정의한 각 손가락 간의 거리 측정 방식을 이용하여 다섯 개의 각 손가락 영역으로 클러스터링 된다. 클러스터링된 각 손가락 영역은 앞서 보정된 깊이 정보를 이용하여 구부려지거나 펴진 두 가지 유형으로 나뉘게 되며 각 유형별로 서로 다른 방식의 손 끝 검출을 수행하여 다섯 개의 손 끝 좌표를 추출하며 각 좌표들간의 각도 값을 기반한 식별과정을 통해 최종적인 손 끝 검출이 이루어 진다.
성능평가를 위하여 깊이 센서와 동기화된 RGB 카메라를 통해 서로 다른 색상으로 손 끝이 태깅된 컬러 영상을 얻은 뒤, GMM(Gaussian mixture model)을 이용하여 실제 손 끝 좌표를 알아낸 약 1000장으로 이루어진 두 가지 테스트 시퀀스를 생성하였다. 실험결과 Intel®사에서 제공하는 PCSDK(Perceptual Computing SDK)에 비해 전반적으로 우수한 성능을 나타내는 것을 확인할 수 있었으며, 모바일 어플리케이션을 고려한 저 해상도에 대한 성능평가 역시 4배로 줄인 영상(80×60)에 대해 원본영상(320×240)과 거의 동일한 성능을 나타내는 것을 확인 할 수 있었다.
