In recent years, conventional mobile devices have been designed to offer more expressive interac-tions by including sensors for touch, light, proximity, acceleration, direction, and spatial orientation. A tre-mendous amount of Human Computer Interaction (HCI) research has leveraged these capabilities to create new input methods and has explored the design space to maximize these channels. For instance, researchers have introduced a number of pressure-sensitive input methods for mobile devices by adding additional hardware. This hardware-augmentation approach, however, results in more expensive costs and some sen-sors are impractical for small form factors (e.g., wristwatches, glasses, and music players) due to limited computing power, the number of sensors, and the interaction area available. In this context, we present a new approach, called PseudoSensor, which emulates otherwise inaccessible input modality by repurposing the existing sensors in mobile devices. In order to demonstrate our concept, eight applications are intro-duced in this thesis. NailSense and CamPress are interaction techniques that repurpose a camera sensor to emulate a pressure sensor. MicPen and PseudoButton are software solutions that repurpose a microphone to determine pressures exerted by users. ForceTouch and VibPress are software techniques that repurpose an accelerometer sensor to determine the level of pressure users apply to a mobile device. MagGetz and Mag-Pen are software techniques that repurpose a magnetometer sensor to determine the level of pressure users exert on various types of input widgets. These applications explore the possibilities of emulating an input modality, focusing especially on emulating pressure sensors, which current mobile devices do not possess. By testing a series of applications and showing the results of user studies, we demonstrate the feasibility of our approach and the fact that the empirical evidence indicates high levels of performances. Finally, we dis-till our concept into a unified guideline and formalize it using some basic elements.
The proposed techniques and the implications of the user studies are not limited to the mobile con-text or to pressure emulation. Any type of device with limited sensor resources can utilize our technique and be described using our format. For instance, wearable devices with limited sensor resources (e.g., smart watches, glasses, and rings) can exploit our techniques to expand input channels and overcome constraints. The goal of this thesis works in parallel with the long-term goals of HCI in general, which is the attempt to minimize the barrier between the human cognitive model and the understanding of a computer. In particular, this thesis seeks for a way, using available resources, to expand the input channels of mobile devices and finally, to build a unified guideline. Ideally, our guideline will help designers and researchers devise better use for the resources available to them. We believe that our approach can provide them with several ad-vantages. For the developer, it should be possible to design more flexible and reusable solutions when faced with insufficient sensor resources or suboptimal conditions. In the research fields, this is meaningful work because we provide a unique and solid solution that repurposes sensors and offers a unified guideline in an unexplored domain, which can be applied to a broad range of HCI.
최근의 휴대기기는 사용자에게 더욱 풍부한 입력채널을 제공하기 위해 터치, 빛, 거리, 움직임, 방향 등을 인지할 수 있는 다양한 센서를 구비하고 있다. 이러한 배경에서 많은 연구자들은 다양한 센서 자원을 활용한 새로운 입력 방법을 소개하고 있으며, 입력 모달리티(modality)를 학술적으로 이해하고 사용하기 위한 방법론을 구성하고 있다. 예를 들어, 최근의 연구자들은 압력인식을 가능하게 하기 위해 휴대용 기기에 압력 센서 하드웨어를 부착시킨 다양한 압력 기반 상호작용 방법을 소개하였다. 하지만, 이러한 하드웨어 증강 방식의 경우 구현과 관리에서의 비용을 증가시키며, 일부 하드웨어의 경우 부족한 연산 능력과 작은 형태적 크기를 가지는 디바이스 (e.g., 디지털 손목시계, 안경, 반지, 및 음악 플레이어) 에 적용되기 어렵다는 단점이 있다.
이러한 배경에서 본 연구는 사용 가능한 센서들을 재목적화(repurposing)하여 존재하지 않는 입력 모달리티(modality)를 에뮬레이션(emulation)하는 방법을 제시하고자 한다. 본 논문에서 예시된 VibPress 기술은 모바일 기기 내부에 구비된 가속도센서를 이용하여 인접 오브젝트에 흡수된 진동 에너지를 측정하고, 이를 통해 압력을 유추해내는 소프트웨어 기술이다. 이 밖에 본 연구에서는 손톱의 색상변화를 내장된 카메라로 측정하여 압력을 유추해 내는 NailSense 기술, 펜촉이 터치스크린을 지나갈 때 생성되는 소리를 분석하여 압력을 인식하는 MicPen 기술, 자력의 변화를 통해 압력 상호작용을 인식하는 MagGetz 기술 등 모바일 기기에 구비되어 있는 센서를 재목적화 하여 압력 모달리티를 에뮬레이션하는 다양한 예를 소개한다. 본 연구에서는 모바일 기기와 압력 센서를 키워드로 이러한 방법을 탐구하고 있으나, 제시된 기술들과 실험으로 도출된 결과는 압력 에뮬레이션이나 모바일 컨텍스트에 한정되지는 않는다. 즉, 센서 자원이 부족한 모바일 기기 (e.g., 디지털 시계, 안경, 반지 등)나 다른 영역 (e.g., 로봇, 차량)에 적용되어 입력채널을 확장하거나 제약을 극복하는데 사용될 수 있다.
본 연구는 최종적으로 제시된 다양한 애플리케이션을 기반으로 한 통합 가이드 라인를 구성한다. 이렇게 구성된 센서 재목적화 방법론은 다양한 측면에서 디자이너와 연구자들에게 도움이 될 수 있다. 디자이너에게는 충분하지 못한 자원 환경이나 준 최적(suboptimal) 상황(context)에서 좀더 유연하고 재사용 가능한 해결책을 제공할 수 있으며 기존의 센서 방법론과 함께 사용되어 입력 성능(performance)를 향상시킬 수 있는 단서를 제공할 수 있다. 연구영역에서는 현재까지 논의되지 않은 센서 재목적화 영역을 탐구하여 새로운 가이드라인을 구성했다는 점에서 향후 HCI 분야에서 유용한 선행, 기초자료가 될 수 있을 것이다.
