In a keyboard-based task, we experience the inefficiency when moving a hand to mouse and back occasionally. This causes time consumption and mental distraction. On the other hand, we use keyboard shortcuts to replace and accelerate mouse function. However, the shortcuts have a problem that hard to remember, and different over applications. In this paper, we introduce gesture recognition interface with keyboard embedded IR modules. The system replaces functions of mouse, hence reduces the inefficiency of moving hand position back and forth between keyboard and mouse. In addition, because of the characteristics of gesture, the system gives less cognitive load to user than shortcuts. In this paper, we demonstrate our approach to design the gesture recognizing keyboard’s sensor system, and the gestures. We conducted user study to verify intuitiveness of the proposed gestures and usability of the system. We also discuss other applications utilizing the proposed gesture recognizing system.
랩톱환경에서의 포인팅 디바이스는 주로 트랙패드와 포인팅 스틱으로 구성되어 있다. 트랙패드의 경우 키보드와 트랙패드 간에 손을 옮기는 시간이 필요하며, 포인팅 스틱의 경우 적응하는데 상대적으로 오랜 시간이 필요하다. 포인팅 디바이스로 입력 가능한 기능은 대부분 단축키로 입력가능하나, 단축키의 경우 같은 기능이 어플리케이션 마다 다르다는 단점이 있다. 한편 최근 가정 환경에서 많이 사용되는 멀티미디어 어플리케이션은 비교적 간단한 기능 입력 만을 필요로 하며, 사용자는 이러한 기능을 빠르게 입력하고자 하는 욕구가 있다. 이러한 점에 착안하여 우리는 랩톱 환경의 멀티미디어 어플리케이션에 적합한 키보드 삽입 형 IR 모듈을 이용한 제스처 인식 기반 인터페이스를 제안하고자 한다. 키보드 키 캡 사이에 있는 IR 센서 모듈이 사용자 손의 위치를 파악하여 제안하는 제스처의 입력을 인식하게 된다. 이 인터페이스 위에서 사용자는 제스처를 통해 필요한 기능을 입력할 수 있다. 제스처로 필요한 기능을 입력함으로써, 트랙패드로 손을 옮겨야 하는 비효율성을 줄이고, 포인팅 디바이스에서 반드시 필요한 커서를 움직이는 시간을 조작 시간에서 제외함으로써, 사용자는 보다 효율적인 입력을 할 수 있다. 또한, 어플리케이션 간에 같은 기능을 같은 제스처로 입력함으로써, 사용자는 이 인터페이스에서 보다 통일된 경험을 하게 된다.
