In this thesis, we propose a novel direct pointing method utilizing the on-screen reflection of commodity screens. A myriad of input methods, using user’s hands or eye gaze, have been proposed to interact directly with a screen. Such direct manipulation methods have several advantages in terms of designing the transfer function and using it with little adaptation time. However, they have side effects due to the two innate properties of a screen : public visibility of a screen; and decreasing performance with the distance between a user and a screen. This study presents a new interaction method using on-screen reflection that overcomes these limitations. When we compared the reflector-based authentication system to the existing touch-based system, we found that the password hacking success rate of the reflector is 20 times lower than the one of touch-based input. Moreover, We found our method with user’s reflection has the significantly lower error rate in far distance compared to widely used gaze input method. We expect our model can be applied to several forms of the computing environment with screens and would provide a better user experience.
본 논문에서는 화면 상의 반사를 이용한 새로운 직접 포인팅 방식을 제안한다. 화면과 상호 작용하는 방식으로 사용자의 손이나 눈의 시선을 사용하는 직접 입력 방식이 제안 되었고, 관련 연구들이 진행 되었다. 이러한 직접 입력 방식은 사용자가 화면상의 객체를 직접 조작할수 있게 하므로 사용자의 적응 시간이 적게 걸리고, 사용자의 움직임을 커서 움직임으로 매핑하는 전달 함수가 필요 없다는 측면에서 이점을 갖는다. 그러나 기존의 직접 입력 방식들은 화면의 정보가 공공에 노출되는 점과 사용자와 화면간의 거리에 따라 성능이 저하된다는 점에서 한계점을 가지고 있다. 본 연구는 이러한 스크린의 내재적 한계를 극복한 새로운 상호 작용 방법, 리플렉터를 제시한다. 리플렉터는 반사의 고유한 특성을 활용하여 스크린 위에 직접 입력하는 포인팅 방식이다. 사용자는 리플렉터 시스템을 통해서 (1) 시각적으로 노출되지 않고 (2) 거리 변화에 강건한 직접 입력을 할 수 있다. 기존 터치 기반의 비밀번호 입력 방식과 리플렉터 기반 입력 방식을 비교한 실험을 진행 하였을때, 리플렉터의 비밀번호 해킹 성공률이 터치에 비해 20배 낮다는 것을 발견했다. 또한 시선 추적 기반 입력 방식와 리플렉터 방식을 거리를 바꿔 가며 실험을 진행 하였을때, 시선 추적 방식에 비해 리플렉터의 오류율이 현저히 낮음을 발견 하였다. 리플렉터는 스크린을 탑재한 다양한 컴퓨팅 환경에 적용될 수 있으며, 기존의 입력 방식보다 더 나은 사용자 경험을 제공할 것으로 기대한다.
