Gestures are one of the most natural interaction skills of humans. The main objective of gesture interaction is to facilitate natural and easy communication with computers by making use of this basic human skill, without any specially designed device for human-computer interaction such as the mouse or keyboard. Since gesture interactions require advanced technology and extensive computing resources are required for computers to recognize actions of users, most studies have been focused on enabling technology. Thanks to countless research on technological development and the development of computing power, gesture interaction is no longer restricted to the world of science fiction.
Although gesture interaction has stepped into reality, there is still a long way to go to achieving ‘natural’. In their recent article, Malizia and Bellucci mentions that for gesture interaction to be natural, we should break down the technology-driven approach and “provide users with gestures they are more used to, taking into account their habits, backgrounds, and cultural aspects”. The question of ‘how’ to do this remains unanswered, and specific methods have yet to be introduced.
In this thesis, we introduce novel design methods to derive the most natural gestures from users in the early stage of the gesture interaction design process, and to offer valuable implications for designing natural and intuitive gesture interaction by understanding users in the context of both everyday and human-computer interaction.
First we introduce Interaction Probe method, which is aimed at designing gesture interaction based on manipulative gestures where the physical object is required as a medium of gestures. The method enables designers to understand a natural user-defined manipulative gesture set by establishing insights into users’ mental model according to medium characteristics. By applying Interaction Probe to design case of deformable user interfaces, we were able to gain useful design implications regarding form factor design as well as natural deformation-based gestures.
Then we introduce Performer & Recognizer method, which is aimed at designing gesture interaction based on communicative gestures where physical medium is not required. We verified its effectiveness by applying to the case study of designing freehand gesture interaction, and derived important design implications that were not covered by existing studies.
제스쳐는 인간이 갖고있는 가장 자연스런 상호작용 능력 중 하나이다. 제스쳐 인터랙션의 가장 큰 목표는, 이러한 인간의 기본 능력을 이용하여, 마우스나 키보드와 같이 컴퓨터와의 인터랙션을 위해 특별히 고안된 디바이스 없이도, 또한 컴퓨터 조작법을 따로 배우지 않고도 쉽고 자연스럽게 컴퓨터와 소통하는 것에 있다. 이는 상당수 제스쳐 인터랙션 관련 연구들이 최근에 내츄럴 유저 인터페이스 (Natural user interface, NUI) 라는 용어를 함께 사용하고 있는 것을 통해서도 알 수 있다.
제스쳐 인터랙션에 대한 연구는 꽤 오래 전부터 이루어져왔다. 1980년 발표된 Bolt 의 초기 연구인 ‘Put-That-There” 를 시작으로 30년 이상 동안 많은 연구들이 이루어지고 있다. 그러나 제스쳐 인터랙션은 높은 자유도의 사용자 행동을 컴퓨터가 인식하기 위해 많은 기술과 연산 자원을 필요하기 때문에, 지금까지 대부분의 연구가 새로운 기술 실현에 초점을 맞춰왔다. 2005년까지 발표된 제스쳐 인터랙션 관련 연구 중 절반 가량이 아무런 사용자 테스트 등의 평가 단계도 포함하지 않고 새로운 기술 실현에만 초점을 맞추었다고 하는 Karam의 통계자료는, 제스쳐 인터랙션이 그동안 기술 주도적으로 연구되어왔음을 잘 보여준다. 기술 개발에 대한 이러한 수많은 연구들과 향상된 컴퓨터 프로세싱 능력 덕분에, 오늘날 닌텐도 위, 마이크로소프트 키넥트 등의 사례에서 보듯이, 제스쳐 인터랙션은 더 이상 공상과학영화에 나오는 미래의 인터랙션이 아니라 현재의 인간-컴퓨터 상호작용 (human-computer interaction, HCI) 방식 중 하나로 자리매김하기에 이르렀다.
그러나 제스쳐 인터랙션은 이제서야 갓 연구실에서 현실로 나온 것으로, ‘자연스러운 인터랙션’ 이라는 목표에 이르기까지는 아직 갈길이 멀다. Malizia는 최근의 기고문에서, 제스쳐 인터랙션이 ‘자연스럽기’ 위해서는, 현재의 기술 중심 접근 방식을 벗어나, 사용자의 문화, 행동 양식, 습관이 반영된 사용자가 일상 생활에서 활용하는 익숙한 제스쳐를 제공해야 한다고 말하고 있다. 그러나 이를 어떻게 가능하게 할 것인가에 대한 대답, 즉 이를 위한 구체적인 디자인 방법론에 대한 연구는 아직까지 많이 이루어지지 않고 있다.
제스쳐는 논리적으로 도출하는 성격의 것이 아니다. 제스쳐는 사람들이 일상 생활을 경험함을 통해 자연스럽게 습득하게 되는 자연스런 언어의 일종으로, 그들이 속한 문화적 배경에 따라 영향을 받는다. Cassell은 그의 연구에서 모든 상황에 통용되는 공통의 제스쳐란 존재하지 않으며, 좋은 제스쳐란 작업 상황 및 사용자 특성에 따라 변화함을 지적했다. Norman 역시, 간단히 고개를 젓는 제스쳐에 대해서도 문화권에 따라 서로 다른 뜻을 지닌다는 예시를 듦으로써 사용자 문화 이해의 중요성을 강조하고 있다. 따라서 자연스런 제스쳐 인터랙션 디자인은 디자이너 개인의 직관이나 논리에 의해서가 아니라, 사용자에 대한 이해로부터 얻어질 수 있다.
컨텍스츄얼 디자인 (Contextual design),공감적 디자인 (Emphatic design), 참여적 디자인 (Participatory design) 등의 사용자 중심 디자인 (User-centered design) 방법론들은 사용자의 일상을 이해하기 위한 방법을 제공하고 있으며, 이를 통해 일상생활에서 사용자가 행하는 여러가지 제스처 들의 형태와 쓰임을 관찰할 수 있다. 그러나 수많은 제스쳐중 어떤 것이 어떤 HCI 태스크에 적합한지를 결정하는 것은 결국 디자이너의 몫이기 때문에, 어떤 제스쳐가 컴퓨터와의 인터랙션에 있어서 자연스러운지를 이해하는 것은 쉽지 않다.
통상적인 사용자 인터랙션 디자인의 경우, 프로토타이핑을 통한 사용자 테스트를 통해 디자인을 개선하고, 이를 반복함을 통해 디자인 완성도를 높여 나갈 수 있다. 그러나 제스쳐 인터랙션 디자인의 경우 시스템 구현의 복잡도가 높기 때문에 이러한 반복적 디자인이 어렵다. 이에 따라, 제스쳐 인터랙션을 쉽고 빠르게 프로토타이핑 하기위한 방법들이 연구되고 있으나, 오즈의 마법사 방법 (Wizard-of-Oz method) 과 같은 일부 저충실도 저기술 방법 (low-tech approach) 만이 디자이너에 의해 활용되고 있을 뿐이다. 특히 이러한 빠른 프로토타이핑 방법은 HCI 컨텍스트에서 사용자에게 무엇이 문제인지를 알게 해주지만, 그것을 어떻게 해결해야 하는지에 대한 답을 제공하지 않는다. 따라서 사용자의 일상에서의 제스쳐와 HCI 상황에서의 제스쳐에 대한 경험을 동시에 이해함으로써 이 둘 사이의 접점을 찾는 것이 중요하다.
본 연구에서는, 제스쳐 인터랙션 디자인을 위해 가장 자연스러운 제스쳐를 사용자로부터 도출할 수 있는 새로운 디자인 방법을 개발하였다. 디자인 초기 단계에서 사용자의 일상 생활의 제스쳐로부터 효과적으로 HCI 제스쳐로 이끌어냄으로써 보다 자연스럽고 직관적인 제스쳐 인터랙션을 위한 제스쳐 모음은 물론, 디자인 가이드라인 및 시사점을 이끌어낼 수 있도록 했다.
사람의 제스쳐를 크게 사물을 조작하는 조작적 제스쳐 (manipulative gestures) 와, 의사 소통을 위한 소통적 제스쳐 (communicative gestures) 로 나누고, 각각에 대해 사용자의 자연스런 제스쳐를 이해할 수 있는 디자인 방법으로 인터랙션 프로브 (interaction probe) 와, 퍼포머&레콕나이져 (performer & recognizer) 방법을 제안하고, 사례 연구를 통해 이를 검증하였다.
Interaction probe 방법은, 사물을 매개체로 한 조작적 제스쳐 인터랙션 디자인을 위한 방법이다. 조작적 제스쳐는 제스쳐를 보고 인식할 대상을 고려 하지 않고, 조작의 대상이 되는 사물의 조작적 특성에 대한 활용 가능성이 제스쳐를 결정한다. 따라서 사용자들이 사물의 재료적 특성을 활용하여 HCI 명령들을 수행하기 위해 어떤 직관적이고 자연스런 조작을 취할 수 있는지를 이해하는 것이 중요하다. 이러한 조작의 매개가 되는 사물의 특성에 따른 사용자의 행동을 이해하기 위하여, 실제 시스템을 구현하기 이전에 다양한 물리적 성질을 갖는 가상의 제스쳐 매개체를 interaction probe 로서 사용자에게 제공한다. 사용자는 이를 이용하여 HCI 커맨드에 대응되는 제스쳐를 정의하게 되고, 이 과정에서의 사용자의 행동을 관찰함으로써, 해당 매개에 대해 사용자가 갖고 있는 인터랙션 디바이스로의 멘탈 모델을 이해할 수 있다. 본 방법을 통해 매우 간단하고 빠르게 사용자의 직관적인 사용자 정의 제스쳐 모음을 (user-defined gesture set) 얻을 수 있으며, 이에 대한 정량 분석을 통해 사용자 행동 일치성을 검토할 수 있다. 또한, 다양한 물리적 성질의 매개체에 대한 사용자 행동을 분석하여 효과적인 매개체의 소재에 대한 임플리케이션을 얻을 수 있고, 사용자가 매개를 잡는 행동 패턴이나 특이한 행동 등을 관찰함을 통해 여러 가지 중요한 디자인 임플리케이션을 얻을 수 있다.
Performer & Recognizer 방법은, 소통적 제스쳐 인터랙션 디자인을 위해 사람과 사람 사이에서 이루어지는 인터랙션을 HCI 영역으로 자연스럽게 가져올 수 있는 방법으로, 자연스러우면서도 명확하고 인식가능한 제스쳐 모음 및 디자인 가이드라인을 얻을 수 있다. 이는 시스템 구현 이전에 사람이 시스템을 조작해서 피드백을 제공해주는 기존 오즈의 마법사 (Wizard-of-Oz method) 방법에서 착안하였다. 숙련된 연구자가 마법사 역할을 맡는 것과는 달리, 두 명의 사용자가 각각 한명은 제스쳐를 수행하는 ‘수행자 (performer)’ 역할을 맡고, 나머지 한 명은 performer 의 제스쳐를 보고 그에 맞게 시스템을 조작해서 피드백을 제공하는 ‘인식자 (recognizer)’ 역할을 맡는다. 이 둘은 팀을 이루어 직접 필요한 제스쳐와 피드백을 정의해 가면서 태스크를 수행하게 된다. 미리 디자인된 결과물에 대한 빠른 사용자 테스트에 목적이 있는 기존 오즈의 마법사 방법과는 달리, 두 명의 참가자 간에 제스쳐를 정의하고 이를 수정해 나가는 과정을 관찰하는데에 목적이 있다. 즉, 두 사람이 서로 자연스럽고 효과적인 제스쳐를 만들어가는 과정을 관찰함을 통해 자연스러운 제스쳐와 이에 대한 피드백에 대한 유용한 디자인 임플리케이션을 얻을 수 있다.
