Gesture-based interaction in interaction design has great potential due to its richness and naturalness. Prototyping of gesture-based interaction is important for exploring and developing ideas. However, prototyping of gesture-based interaction has been expensive and difficult for designers due to its technical complexity and a lack of suitable systems. The goal of this dissertation is to suggest and evaluate a series of gesture prototyping systems that allow designers to easily and quickly design, explore, and test gesture-based interactions.
Literature about the design process, design prototyping, gesture interface, and existing gesture interaction prototyping platforms was reviewed. I order to support prototyping by designers, interaction prototyping systems should provide both a high ceiling and a low threshold. Existing gesture authoring toolkits were not suitable for exploring various design ideas.
The general design directions for suggested systems were to utilize designers’ competence in visual language, to utilize familiarity with CAD systems, to support quick and easy design modification, and to provide versatile and detailed programming. A framework of design spaces of gesture-based interaction prototyping systems was proposed, and three systems were suggested based on the framework. The first system was developed to propose and evaluate the experimental concept of metaphor-based geometric gesture authoring and interaction itemization. The second and third systems were developed to propose prototyping systems solving realistic and practical design problems―cross-device gestures and IoT interactions.
EventHurdle was designed to allow hurdle-metaphor-based gesture authoring and interaction prototyping with itemized gesture events. Experiment participants highly valued that the system allowed iterative design explorations. M.Gesture was designed to define device gestures using multiple mobile devices. It used the metaphor of mass-spring to visualize the behavior of an accelerometer. Evaluation revealed that the system was easy to use and learn. Most participants could compose given gestures. The hybrid algorithm marked better recognition performances than conventional dynamic time warping. M.Connect provided a gesture-based IoT interaction prototyping environment for designers in conjunction with M.Gesture. High-level trigger-action rule creation allowed easy exploration of diverse ideas. Low-level programming raised the ceiling. Gesture attributes of input gestures were visually mapped on a space, and users could filter them by creating masks. The user study found that the system was easy to understand and use by previous users of Processing. It allowed a quick exploration of trigger-action combinations, while low-level coding provided specification of detail behaviors.
The suggested systems successfully supported gesture-based interaction prototyping. The hurdle-based visual gesture authoring system was proposed and facilitated intuitive gesture design and modification. The mass-spring visualization technique allowed users to visually understand the sensor’s behavior. Gesture attribute monitoring and filtering let users specify detail behaviors in response to gesture attributes. The visual trigger-action rule allowed users to explore diverse interaction ideas. The systems presented contribute to interaction design by allowing designer-friendly gesture design and interaction prototyping. Their designs and approaches can be applied to other types of interaction design and human-computer interaction.
제스처 기반 인터랙션은 자연스러운 입력 방식과 풍부한 표현을 갖춘, 큰 가능성을 갖고 있는 인터랙션 방법으로 주목받고 있다. 제스처 기반 인터랙션 아이디어를 효과적으로 탐색하고 발전시키기 위해서는, 디자인 초기부터 자유롭게 구상 개발 평가 할 수 있어야한다. 그러나, 제스처 기반 인터랙션 프로토타이핑은 어렵고 큰 비용이 요구된다. 그 이유 중 하나는 디자이너에게 맞춰 설계된 제스처 기반 프로토타이핑 도구가 부족하기 때문이라 할 수 있다. 이 문제를 해결하기 위해, 본 연구는 디자이너가 쉽고 빠르게 제스처 기반 인터랙션 아이디어를 탐색, 구현, 테스트해볼 수 있는 프로토타이핑 시스템을 제안하고 그 효과를 평가 하였다. 개발과 평가를 바탕으로 디자이너를 위한 제스쳐 기반 프로토타이핑의 프레임웍과 관련 도구에 시사점을 논하였다.
본 논문은 관련 연구 조사 분석, 제스쳐 기반 인터랙션 프로토타이핑 디자인 영역의 프레임웍, 그 프레임웍에 기반한 세 가지 사례 시스템의 개발과 평가, 개발 평가 결과를 바탕으로 한 연구 시사점 논의를 담고 있다.
관련 연구 조사 분석에서는 본 연구와 관련된 디자인 프로세스, 디자인 프로토타이핑, 제스처 인터페이스와 관련된 연구를 소개 하고, 기존 제스처 저작 시스템 및 인터랙션 프로토타이핑 시스템의 사례 분석 결과를 보고한다. 제스처의 정의와 인터랙션 프로토타이핑은 각각 상층 저작법 (high-level programming)과 하층 저작법(low-level programming)으로 분류 할 수 있다. 기존의 제스처 저작 도구들은 아이디어 쉽게 수정하도록 해주는 기능이 부족하여, 디자이너가 다양한 제스처 아이디어를 탐색하기에는 적합하지 않다. 디자이너를 위한 인터랙션 프로토타이핑 시스템은 프로토타이핑의 이점을 충분히 제공하기 위해 높은 천장과 낮은 문턱을 동시에 제공해야 한다는 요구 사항을 파악하였다.
제스쳐 기반 인터랙션 프로토타이핑의 요구사항 들은 다음과 같이 요약될 수 있다. 디자이너들이 갖고 있는 시각 언어 지식을 활용하도록 할 수 있도록 하는 것, 기존 디자인 도구 (예, 캐드 computer-aided design) 시스템에 대한 능숙함을 활용할 수 있도록 하는 것, 높은 천장과 낮은 문턱을 동시에 제공할 것, 반복적인 디자인 수정과 테스트를 지원하도록 하는 것 등이다.
제스처 인터랙션 프로토타이핑 시스템의 디자인 영역의 프레임웍을 정의하고, 이를 통해 세 가지 제스처 인터랙션 프로토타이핑 시스템을 제안하였다. 시스템의 디자인 영역 프레임워크는 크게 제스처의 궤적을 정의하는 작업과 제스처, 인터랙션을 매핑하는 작업, 인터랙션을 테스트하는 작업으로 구성되었다. 각 작업 별로 대상이 되는 제스처 또는 인터랙션의 종류에 따라 다양한 디자인 영역이 정의되었다. 각 작업은 상층 저작법과 하층 저작법으로 나누어 두 저작법의 장점을 극대화 할 수 있는 방안을 모색하였다.
앞서 정의된 디자인 영역의 프레임웍을 기반으로 세 제스처 인터랙션 프로토타이핑 시스템이 제안되었다. 첫 시스템은 메타포 기반의 기하학적인 제스처 저작 방식과 자동 코드 생성 기법을 활용한 실험적인 하층 저작법을 활용하여, 이벤트허들(EventHurdle) 시스템을 제안하고 이를 평가하였다. 다음 단계에서는 첫 단계의 연구를 기반으로 더 현실적이고 실질적인 디자인 문제를 다루는 두 개의 시스템 (M.Gesture 와 M.Connect)을 추가로 제안하였다. 엠제스처(M.Gesture)는 상층 저작법과 하층 저작법을 결합하여 여러 모바일 기기를 활용한 제스처를 디자인하는 시스템이고 엠커넥트(M.Connect)는 여러 사물인터넷(internet of things) 기기의 조작을 제스쳐 기반 인터랙션으로 프로토타이핑 해 볼 수 있는 시스템이다.
이벤트허들은 허들(hurdle) 메타포를 활용한 제스처 저작과 아이템화된 제스처 기반 인터랙션 프로토타이핑을 위한 시스템이다. 플래시 (Adobe Flash) 플러그인으로 개발하였으며, 캐드와 유사한 인터페이스를 통해 디자이너가 익숙한 방식으로 제스처를 디자인하고 편집할 수 있다. 완성된 제스처는 그 안에 인식 코드가 포함된 시각적인 아이템으로 만들어진다. 사용자는 시각적인 제스처 아이템을 가져와 쉽게 인터랙션을 프로토타이핑할 수 있다. 사용자 평가를 통해 이벤트허들이 디자이너들에게 쉽게 받아들여 지고 반복적인 디자인 탐색을 지원하는 것으로 평가 되었다.
엠제스처는 여러 모바일 기기를 활용하여 가속도 센서 기반 제스처를 저작 하는 시스템이다. 제스처 인식을 위한 가속도 센서의 특성을 시각적으로 드러내기 위해 질량 스프링(mass-spring) 메타포를 사용하였다. 허들 메타포를 조합하는 하층 저작법과 사용자의 제스처 시연을 통해 학습하는 상층 저작법을 결합하여 제스처를 저작하도록 하였다. 사용자 평가를 통해 엠제스처가 쉽게 이해하고 배울 수 있는 것으로 평가되었다. 대부분의 실험 참가자들이 주어진 제스처 저작 작업을 성공적으로 수행할 수 있었다. 상층 정의법과 하층 정의법이 결합된 엠제스처의 제스처 인식 성능은 기존의 상층 정의법인 동적 시간 정경법(dynamic time warping) 보다 빠르고 정확했다.
엠커넥트는 엠제스처와 함께 사용하여, 디자이너가 제스처 기반 사물인터넷 인터랙션을 프로토타이핑 하도록 도와주는 시스템이다. 상층 저작법인 트리거 액션 규칙(trigger-action rule) 저작을 통해 쉽게 다양한 인터랙션 안을 탐색해 볼 수 있도록 하였다. 하층 저작법으로 텍스트기반 프로그래밍을 지원하여 높은 천장의 프로토타이핑을 지원 하였다. 또한 입력된 제스처의 속성을 시각화하여 보여줌으로써 사용자들이 이를 공간적으로 이해하도록 하였다. 시각화 지도 위에 직접 필터를 생성하여 제스처의 속성에 따라 다른 인터랙션을 쉽게 구성할 수 있도록 하였다. 사용자 실험에서 엠커넥트는 기존 프로세싱 사용자가 쉽게 이해하고 사용할 수 있음을 확인하였다. 실험참가자들은 트리거 액션 규칙을 저작하는 상층 정의법을 통해 쉽고 빠르게 다양한 인터랙션 조합을 테스트 해볼 수 있었으며, 동시에 하층 정의법을 통해 세밀한 인터랙션을 정의할 수 있었다.
본 연구에서 제안한 시스템들이 제스처 기반 인터랙션의 프로토타이핑을 성공적으로 지원함을 확인하였다. 허들 기반 시각적 제스처 저작 방식을 제안하여, 직관적인 제스처 정의와 수정을 지원하였다. 질량스프링 메타포를 통해 사용자가 센서의 특성을 시각적으로 이해할 수 있도록 하였다. 제스처 속성을 시각화하고 필터 할 수 있는 기능을 제공하여 사용자가 속성에 대응하는 세밀한 인터랙션을 설정하도록 하였다. 조건 수행 방식을 시각적으로 정의할 수 있게 하여 사용자가 다양한 인터랙션을 탐색해 볼 수 있도록 하였다.
본 연구에서 제안한 시스템들을 프로토타이핑 용도 외의 목적으로 전용하는 방식에 대한 논의가 이뤄졌다. 사용자들이 자신 만의 제스처를 정의하고 이를 사물 인터넷 환경에서 기기를 제어하는 사용자화 도구로 사용하는 방안이 논의되었다. 또한 제안된 시스템들을 개발 도구로 활용하는 방안이 논의되었다. 마지막으로 기하학적인 요소를 활용하여 동적 데이터의 패턴을 저작하는 방식의 장, 단점이 논의되었다. 향후 과제로 제스처 궤적 외의 추가적인 제스처 정보를 활용하는 저작 방식을 제안하는 연구와 본 연구에서 제안한 센서 외에 추가적인 센서를 이용하는 저작 방식을 제안하는 연구가 있을 수 있다.
제안한 시스템은 디자이너 친화적인 제스처 저작 방식과 원활한 인터랙션 프로토타이핑 지원을 통해 인터랙션 디자인 분야에 기여할 것이다. 연구에서 제안한 시스템의 디자인과 접근법과 사용자 연구 결과는 구체적으로는 디자이너를 위한 프로토타이핑 도구 연구, 폭 넓게는 인터랙션 디자인과 인간 컴퓨터 상호작용의 연구와 개발에 다양한 시사점을 제공할 것이다.
