In this thesis, we propose a design of informative haptic patterns which convey symbolic meanings and its transferring system framework. Previous works like Vibetones or Braille are not very suitable to deliver information because they make people feel difficult to connect a meaning like a word or action with a pattern. In this thesis, we suggest the method that we can make a symbolic pattern with extracting shape similarity of a symbolic graphical icon. Also we propose the system framework which can display it in touch, and then evaluate the patterns with user tests. As a result, the haptic patterns were recognizable and the framework works well for them. Also, in the learning period, people take less time to memorize with the symbolic haptic patterns. When we compare random haptic patterns and the symbolic ones which made with shape similarity, two groups of users show significant difference (p=0.00656$\lt$0.05). We concluded that those symbolic haptic patterns, which we call HIcon (Haptic Icon), are effective to transfer meanings and easy to memorize. The end of this work we describe an example of HIcon application.
본 논문에서는 촉감을 활용하여 시각 장애인만이 아니라 일반인도 간단한 메시지를 전달할 수 있는 패턴과 그 전달 프레임워크을 제작하였다. 최근 들어 촉감 인터페이스에 관한 관심이 늘어나고 있다. Immersion 사에서 개발한 Vibetones 및 Hapticon 등의 촉감 응용 연구는 오락적 기능은 물론이고, 촉감 을 통한 정보 및 메시지 전달 서비스의 실현 가능성을 보여주고 있다. 그러나 위의 연구들은 주로 진동 제시장치를 사용하고 있어, 하나의 단어 수준의 하나의 의미 단위를 명확히 전달하기에는 매우 어려운 구조이다. 시각장애인 들이 사용하는 점자도 오랜 학습과 숙련이 필요하다는 점을 감안한다면, 일반인을 대상으로 하는 정보 전달용 촉감 패턴은 의미와 패턴간의 관계를 쉽게 연상할 수 있도록 설계해야 한다. 사용자 인터페이스 분야에서, 이러한 연상적 함의관계를 가장 잘 표현하는 것 중 하나는 아이콘으로, 그 형태를 단순화시켜 촉감으로 변환하는 방법으로 촉감 패턴을 제작한다면 좋은 결과를 얻을 수 있을 것이라 가정하였다. 또한 인간은 실제로 인지과정에서 여러 감각을 종합하게 되므로, 일반인이 촉감의 전체적 형태를 기반으로 시각적 이미지를 함께 학습하여, 이후 촉감으로 느껴진 형태로 시각적 형태를 연상하여 의미가 자연스럽게 전달되도록 의도하였다.
인간의 몸에서 촉각적으로 가장 민감한 부위 중 하나는 손가락 끝 부분이다. Weinstein 의 연구에 따르면, 약 2mm 이상의 거리를 둔 두 점을 손가락으로 감지할 수 있다. 따라서 손가락의 감각인지 능력에 적합하도록 펜 인터페이스의 손가락 끝이 닿는 부분에 각 액츄에이터의 거리가 3mm 가 되도록 설계된 핀 배열 방식의 질감 제시 장치를 부착하여 UMPC 와 USB 로 통신하도록 설치한 촉감 패턴 전달용 환경을 제안하고, ETRI 에서 개발한 Ubi-Pen 제시장치를 이용하였다. 전체 패턴이 동시에 반복운동 하도록 설계하였으며, 관련연구 결과를 토대로 2Hz 간격으로 제시하는 방법을 선택하였다. 촉감 패턴을 제작하기 위해 시각 아이콘을 정의하는 과정에서, 핀 배열에서 이미지를 연상할 수 있도록 하기 위해 점에서 형태를 연상하는 별자리의 구성 원리를 조사하여 정리하고 메타포로 차용하여 촉감 패턴 학습을 위한 시각-촉감 아이콘의 시각적 이미지를 정의하고, 이 과정에서 생성된 핀 배열을 의미 전달용 촉감 패턴의 형태적 요소로 사용하였다. 위의 결과물로 만들어진 촉감 아이콘-패턴 및 시각-촉감 이미지-아이콘을 포괄하여 HIcon (Haptic Icon)이라 명명 하였다.
상기된 환경에서 실험한 결과, 5 개의 촉감 패턴을 학습 없이 약간의 연습을 통해 장치에 익숙해진 후 제시했을 때 피험자들은 평균 83% 정도의 인식률 을 보였으며, 7 개의 패턴을 제시하고 의미와의 연관 관계를 학습한 후, 촉감 패턴만을 제시하고 그 촉감의 의미를 선택하도록 한 결과 평균 74%정도의 정답률을 보였다. 학습 단계에서 원래 이미지 소스인 아이콘과 촉감 패턴의 핀 위치가 함께 표기된 그림을 제시하느냐, 핀의 위치를 점으로 제시하느냐 에 따라 학습 시간 및 정답률에 유의미한 차이가 나타났다. (p=0.00656$\lt$0.05) 각 패턴 하나를 인지하는 데 걸린 시간은 평균 8.68 초였으며, 7 점 구트만 척도 기법에 의해 측정된 피험자들의 만족도는 평균 5.8 정도로 높은 편이었다. 또한 피험자들은 실험 후 본 패턴의 GUI 및 촉감 아이콘으로서의 활용 가능성에 대해 대부분 긍정적인 반응을 보였다. 이 결과는 이미지 소스의 형태를 기반으로 한 촉감 패턴이 단어 단위의 의미를 단일 촉감으로 나타낼 수 있다는 사실을 입증하며, 또한 촉감 패턴의 유래를 나타내는 그림과 함께 학습할 경우 사용자의 연상과 이해를 도와 학습 효율성을 높이고, 따라서 더욱 빨리 적응할 수 있도록 해 준다는 사실을 드러낸다. 일반적으로 '직관적'이라는 의미는 이해하기 쉽고 기억하기 쉬워 빨리 사용에 친숙해 질 수 있다는 뜻으로, 본 촉감 패턴은 연상을 통해 이러한 사항을 만족하도록 설계되었다. 본 논문 에서 제작한 촉감 패턴은 추상적인 의미를 단어 단위로 한 패턴과 연결시켜, 글자 하나를 한 패턴으로 나누어 제시하거나, 파형을 제시하는 시간이 걸리는 다른 연구들에 비해 상대적으로 짧은 시간 내에 전달할 수 있는 장점을 가진다.
이러한 촉감 패턴은 짧은 시간에 간단한 의미를 전달하는 촉감 문자, 촉감 이모티콘, 촉감 Caller ID, 촉감 알림 신호 등으로 응용할 수 있다. 또한 PDA 나 Tablet PC, UMPC 등 펜 인터페이스를 활용하는 시스템에서 펜에 제시 장치를 삽입함으로써 스크린상의 GUI 와 연계하여 촉감 아이콘을 지원하는 시스템을 만들 수 있다. 위와 같은 환경에서 HIcon 을 이용하는 사용자들은 스크린을 보면서 작업하다 다른 곳을 보면서도 촉감으로 아이콘을 구분해 시스템을 조작할 수 있으며, 응용 예로써 PDA 와 펜 인터페이스를 이용해 본 촉감 패턴을 스케쥴러 알림 신호용으로 이용하는 서비스를 제작하고 있다. 본 논문에서 기술한 촉감 패턴이 더욱 널리 사용되기 위해서는 손가락으로 촉감을 인지하는 데 익숙하지 않은 일반인들을 고려하여 핀 배열의 행 별로 순차적 제시를 하거나 파형으로 핀을 동작하여 변화를 주는 등 전달 직관성을 높이기 위한 연구를 계속할 필요가 있다.
