Advances in technology brought powerful and connected computers to our pockets, and the touchscreen has been the main interface for these computers. The touch input, however, is limited in its expressivity, only allowing a 2D position of a finger contact as input. As mobile devices are handling more tasks than ever before, the limited expressivity of the touch input requires users to use on-screen buttons to switch between touch modes.
In fact, our natural finger touch is rich and continuous. A finger touch can express different intentions and nuances by controlling normal and tangential forces, and we also feel the response of an object through the touch. This thesis describes our exploration of using normal and tangential forces to enrich touch interaction. I present 1) ForceTap, a method to enrich tap gesture with a normal force, 2) ForceDrag, an interaction technique to use a normal force as a drag gesture modifier, 3) Force Gestures, a set of touch gestures enriched with normal and tangential forces, and 4) a method to detect and use multi-point tangential force input. Evaluations showed that the normal and tangential forces could successfully enrich touch interaction, however, also found that the lack of physical movement during the force interaction creates frustration and high physical demand. We developed a haptic feedback technique that uses vibration to create an illusion of compliant feeling on a rigid surface. Experiments showed that the illusion was perceived as a real movement and reduced task load of multi-dimensional force interaction.
컴퓨팅 기술의 발전으로, 우리는 강력하고 네트워크에 연결된 모바일 컴퓨터를 주머니에 넣고 다닐 수 있게 되었다. 하지만 이런 모바일 컴퓨터의 주 인터페이스로 사용되는 터치스크린은 손가락의 접촉 위치라는 2차원 정보만을 입력으로 사용하기에, 터치스크린 위에서의 손가락의 평면적인 움직임 외에 다양한 조작을 지원하지 못하고 있다.
이 연구는 우리가 실제 물체를 조작할 때와 같이, 손가락의 터치 위치 뿐 아니라 손가락이 표면을 터치할 때 가해지는 수직 및 수평 힘을 이용하여 기존의 터치 제스처보다 다양한 조작을 수행할 수 있는 인터랙션 방법의 활용을 탐구하였다. 손가락이 화면을 탭 할 때의 세기를 인식하고 이용하는 방법, 수직 힘을 이용하여 드래그 제스처의 모드를 다양하게 활용하는 방법, 수직 및 수평 힘을 모두 활용하는 방법을 구현하고 실험을 통하여 각 인터랙션 방법의 사용성을 분석하였다. 이 과정에서, 단단한 표면을 미는 조작이 부자연스럽고 피로할 수 있음을 발견하였고, 이를 해결하기 위해 수평 방향의 힘이 가해질 때, 표면이 밀리는 것과 같은 진동 피드백을 재생함으로써 단단한 표면이 말랑말랑한 것과 같이 느껴지는 햅틱 피드백 방법을 구현하였다. 또한, 수평 힘 인터랙션을 수행하는 사용자 실험을 통해 햅틱 피드백이 있을 때 피로도 및 이질감이 줄어드는 것을 확인하였다.