A gesture-based interface, in which the user specifies commands by simple drawings, offers an alternative to traditional keyboard, mouse, menu, and direct manipulation interface. A single intuitive gesture can simultaneously specify objects, an operation, and additional parameters, making gestures more powerful than the "clicks" and "drags" of the traditional direct manipulation interfaces. Gesture-based interfaces researched so far have needed a mouse or stylus pen as a gesture input device. However, the author strongly believe that the concept of making gestures with the human finger appeals more not only to experienced users but also to the novice users who are usually not accustomed to using computer devices.
This dissertation describes the finger mouse system(FMS) and finger gesture recognition system(FGRS). FMS emulates the pointing and selecting functions of a mouse by capturing the image of a hand and analyzing its motion and shape. FGRS provides the user with the capabilities of command input and direct manipulation by recognizing the gesture which is a sequence of points input by FMS. The author utilized syntactic pattern recognition technique for implementing FGRS and designed it for helping programmers build gesture-based applications easily.
In addition, the author introduce an example drawing program in order to demonstrate the practicality of the author‘s approach.
간단한 기호를 그려서 컴퓨터에 명령을 수행시킬 수 있는 제스처 기반의 인터페이스는 전통적인 키보드, 마우스, 메뉴 그리고 직접 조작 인터페이스를 대치할 수 있는 좋은 대안을 제시한다. 제스처 기반의 인터페이스는 단일 획으로 구성된 직관적인 제스처를 사용하여 대상과 동작 그리고 추가적인 파라미터를 동시에 표현 할 수 있으며 이러한 방법은 기존의 '선택'과 '끌기'의 전통적인 직접 조작 인터페이스보다 훨씬 강력한 기능을 제공한다. 지금까지 연구되어온 제스처 기반의 인터페이스들은 대부분 제스처 입력 도구로써 마우스와 펜 그리고 데이타 글로브와 같은 특수한 하드웨어를 필요로 한다. 하지만 본 저자는 인간의 손가락을 이용해서 제스처를 그리는 것이 컴퓨터에 숙련된 사용자뿐만 아니라 컴퓨터 하드웨어를 다루는데 익숙하지 않은 초보 사용자들에게 보다 더 유용하리라고 생각한다.
본 연구에서는 컴퓨터 시각 기술을 응용하여 기존의 인간 컴퓨터 인터페이스를 대치할 수 있는 직관적이고 사용자에 친숙한 인간 컴퓨터 인터페이스로서 인간의 손가락으로 그린 제스처를 사용하는 시스템을 설계하고 개발함으로써 전통적으로 인간과 컴퓨터의 상호 작? }및 의사 소통의 병목으로 작용해온 사용자로부터 컴퓨터 동작을 위한 명령의 입력 과정을 개선할 수 있는 방법을 제시한다.
본 논문에서는 Finger Mouse System(FMS)와 Finger Gesture Recognition System(FGRS)에 대해 기술한다. FMS는 손 영상을 입력받아 그 움직임과 모양을 분석 인식하여 기존의 마우스가 갖는 커서의 위치 지정과 선택 기능을 수행한다. FGRS는 FMS에 의해 입력된 점들의 집합으로 정의되는 제스처를 인식하고 그 의미하는 명령을 수행하고 직접 조작 기능을 제공한다.
본 연구에서는 컴퓨터 시각 분야의 새로운 파라다임인 Smart sensing 기법에 Kalman filter를 이용한 attention 제어 기법을 도입하여 필요한 계산량을 줄임으로써 신속하고 정확하게 제스처를 추적할 수 있었다. 또한 제스처의 구조적인 특징을 잘 반영할 수 있는 Syntactic 패턴 인식 방법을 적용하여 효율적인 제스처 인식 알고리즘을 제안하였으며 특히 제안된 알고리즘은 사용자의 의도를 가능한 한 빨리 알아차려서 실행하는 eager recognition에 적합한 특징을 갖는다.
본 논문에서 제안된 시스템은 객체 지향 기법에 의해 설계 구현되어 프로그래머가 쉽게 자신의 제스처 기반 인터페이스를 갖는 응용 프로그램을 작성할 수 있도록 되어 있다. 이에 덛붙여서 제안된 방법의 실용성을 보여주고자 Finger Draw라 명명된 예제 그리기 프로그램을 소개한다.
