The recognition of a finger movement has been a lot studied as the method of text input or UI manipulation for wrist-worn devices. In most cases, there has been some problem when users should wear a ring or a band to recognize their hand gestures. In this paper, we implement an efficient method for recognizing hand movements without additional devices on the fingers. For this object, finger movement information can be yielded by a video camera attached to the underside of the wrist. To discriminate fingers from arbitrary backgrounds in the wide range of illumination, it can be used that the distance of backgrounds is different from that of fingers and the amount of illumination is quite different according to the distance from the light source to the objects. For gesture recognition, input data into neural network can be acquired by dividing an image into 10$\times$10 tiles and averaging all the pixels in the tiles. By using subsampled images, a feedforward neural network is trained, and it is used as a classifier for consecutive image frame. Neural network's output is mapped into a message for UI, which means neural network determines a finger. MultiInput method uses a total reflected light for detecting a finger's degree of bending. This method in combination with multimodal feedback enables rhythm based text entry. To verify the effectiveness and efficiency of FreeFingers as a pointing device and a text entry device, a series of experiments were conducted and the results were compared with reference device.
손목시계형 정보 단말기의 문자입력 또는 UI 조작을 위한 방법으로 손가락의 움직임을 인식하는 방법이 많이 연구되어 왔다. 대개의 경우, 손가락 제스처 인식을 위해 손가락에 반지나 밴드를 착용해야 하는 문제점이 있다. 따라서 본 연구에서는 손가락에 부가적인 착용을 하지 않고 손가락 움직임 인식을 구현함을 목적으로 한다. 이를 위하여 손목 안쪽에 소형 카메라를 장치하고 손가락의 움직임을 파악한다. 다양한 환경에서 손가락과 배경을 효과적으로 분리하기 위해 배경과 손가락의 거리가 다르다는 점과 점광원에 대하여 사물의 반사량이 거리에 따라 크게 다름을 이용한다. 제스처를 인식하기 위해 분리된 전경을 10$\times$10 영역으로 분리하고 각각의 영역의 평균 밝기 값 중에서 정보량이 많은 25개 영역 만을 신경망의 입력으로 이용한다.
신경망의 출력 값은 UI 의 메시지로 맵핑이 되는데, 그 값은 각 손가락의 입력 여부를 판단하고, 손가락 내림의 정도를 서로 다른 입력 레벨로 인식하기 위해 25 개 영역의 명암 값의 총 합을 이용한다.
시스템의 인식률을 개선하고, 입력 시 입력 효율을 증가시키기 위해 시각, 촉각, 청각을 이용한 효과적인 피드백 방식을 개발하였다. 이러한 피드백을 이용한 간단한 실험이 실시되었으며, 실험 결과 청각, 촉각피드백이 시각피드백에 비해 우수함을 입증하였다. 손가락의 위치 또는 움직임 파악과 별도로 움직임 정보를 효과적으로 이용하기 위한 상호 작용 방식 디자인과 태스크 선정이 이루어졌다. 설계된 디자인과 태스크를 이용하여 참조장치와의 비교를 통한 사용성 평가를 실시 되었다.
