In a smart home environment, users need a new interaction device to control the fully networked and intelligent appliances. One main requirement of spatial mouse, new interaction device, is the ability to identify objects that it is aiming at. Another is to provide an interface to control the applications or menus of the objects.
Among many possible technologies that can be employed for object recognition, possibly the best solution would be object recognition by machine vision. The problem, however, is that object recognition algorithms are not yet reliable enough or light enough for hand-held devices. This thesis demonstrates that a simple object recognition algorithm can become a practical solution when augmented by interactivity. The user draws a circle around a target using a spatial mouse, and the mouse captures a series of camera frames. The frames can be easily stitched together by computing optical flow on consecutive images from camera to give a target image separated from the background, with which we need only additional steps of feature extraction and object classification.
Using machine vision on the spatial mouse can provide a convenient interface like mouse of desktop computer to control the applications or menus of the objects that the users have identified. By the same optical flow method as mentioned above, the spatial mouse can control the mouse pointer on the computer display and command to the applications using click event and gestures.
We performed experiments of the spatial mouse, which is Circle & Identify (C&I), to address its feasibility for object recognition and control interface by machine vision.
유비쿼터스 개념의 홈 환경은 보다 지능적이면서도 자연스럽고 편리한 사용자 인터페이스를 필요로 한다. 이를 위해 제스처 인식, 음성 인식, IR센서 등을 이용한 공간 마우스 개념의 연구들이 활발히 진행되어 왔다. 본 논문에서는 사용자와의 상호작용을 통해 도움을 얻는 컴퓨터 비전을 활용한 공간 마우스의 사물 인식 방법을 제시한다. 일반적인 사물 인식 기법들은 많은 계산량을 필요로 하기 때문에 공간 마우스와 같은 소형 단말기에는 적합하지 않다. 본 논문의 사물 인식 기법은 로봇의 사물인식과는 다르게 사용자와 사물들간에 상호작용이 일어날 때 발생하는 사용자의 행위로부터 도움을 얻어 빠른 속도로 사물을 인식할 수 있는 장점을 가지고 있다.
또한, 지능적인 사물들은 컴퓨터와의 연계성이 있을 가능성이 크다. 인식한 사물을 조작하기 위해서 간편한 인터페이스는 공간마우스의 필수 요소이다. 본 논문의 공간 마우스는 이미지 모션 벡터를 이용한 마우스 포인터 컨트롤과 사용자의 제스쳐에 기반한 명령 전달을 위한 인터페이스를 제공한다.
본 논문은 제시된 물체 인식 기법과 마우스 포인터 조작의 가용성 검증을 위하여 실시한 실험결과를 제시한다.
