With the widespread adoption of touchscreens, and the importance of haptic interaction on the touch surface has become significant, much effort has been made to reproduce the haptic properties of virtual objects on the surface. However, many researchers have focused primarily on how to reproduce a single piece of information (either geometry or texture) with a single tactile feedback (either friction or mechanical vibration), while real objects have multiple tactile factors. Recently, several researchers have proposed the concept of simulating multiple tac-tile information at the same time, but there is a limitation that it is difficult to transfer multiple information com-pletely due to insufficient consideration of masking effect. Masking effect means that the perception of one stim-ulus is affected by other stimulus. When two stimuli are provided at the same time, the absolute threshold (absolute limen: AL) or the difference threshold (difference limen: DL) of each stimulus are changed due to the masking effect. If the masking effect is not properly taken into account when designing multiple types of tactile feedback, the information delivered to the user will significantly be distorted. Since absolute and difference threshold are the most fundamental resource in haptic feedback design, their changes induced by masking effects must be con-sidered precisely. To this end, in this dissertation, a hybrid tactile feedback concept that utilizes both electrovi-bration (EV) and mechanical vibration (MV) to simultaneously reproduce geometry and texture information on a flat touch surface is proposed. From a completely different point of view compared to other studies, the disserta-tion focuses on the bi-directional masking effect in the hybrid tactile feedback and discusses ways to overcome it. First, the experimental setup to generate both electrovibration and mechanical vibration was constructed and, through analytical and quantitative evaluation, it was confirmed that the hybrid tactile feedback could be uni-formly provided on the entire surface in response to the user’s active touch. Psychophysical experiments were designed to observe the masking effect contributes to the change in absolute and difference threshold of each of electrovibration and mechanical vibration. The masking effect of mechanical vibration on the perception of elec-trovibration, and the opposite case were investigated. In this dissertation, the masking effect on both sides (mask-ing effect on the perception of EV by MV, MV by EV) is defined as a “bi-directional masking effect”. As a result, it was found that the absolute threshold of the electrovibration was increased by more than 10 dB depending on the frequency (120 ? 270 Hz) and intensity (10 ? 20 dB SL) of the masking stimulus, mechanical vibration. In addition, the absolute threshold of the mechanical vibration increased in a significantly larger extent by the masking stimulus, electrovibration. On the other hand, it was confirmed that the difference threshold of each of elec-trovibration and mechanical vibration has a constant value (1.21 dB for the electrovibration, 1.98 dB for the me-chanical vibration) regardless of the frequency and intensity of the masking stimulus. Based on these observations, additional psychophysical experiments were performed to obtain the masking function of the absolute threshold for both electrovibration and mechanical vibration, and then, the generalized form of the masking function was derived. The masking function exists in the form of a conditional equation, which is defined as different functions in two sections separated by a specific intensity. Considering the masking functions, a rendering algorithm is proposed such that two types of tactile feedback can transmit two independent tactile information (e.g. geometry and texture). In addition, it was mathematically proved that the proposed algorithm can be universally applied to the common situation of combining two stimuli. Finally, through user test, it was verified that it is possible to reproduce both geometry and texture information simultaneously by applying the proposed rendering algorithm in the hybrid tactile feedback design. We contend that this approach is the first in-depth investigation of hybrid (or multiple) tactile feedback design. Therefore, the findings of this dissertation will be a key criterion for the design of a more realistic haptic interface. In addition, the proposed rendering method is not limited to the com-bination of EV and MV (geometry and texture), and can be widely applied to other combination of tactile feedback or tactile factors. Based on this dissertation, we expect that numerous studies for pursuing realistic haptic interac-tion with virtual environment will be conducted more actively.
터치 스크린의 광범위한 보급과 함께 터치 표면에서의 햅틱 상호작용에 대한 중요성이 크게 대두되면서, 표면 상에서 가상 물체의 정보를 재현하기 위한 많은 노력이 이루어지고 있다. 그러나, 실제 사물이 형상과 질감 정보를 모두 가지고 있는 반면, 많은 연구자들이 마찰력 또는 진동 둘 중 한 가지의 피드백 수단을 사용하여 형상 또는 질감 정보 둘 중 한 가지의 정보만을 표현하기 위한 방법에 주로 집중해왔다. 최근 몇몇 연구자들이 두 가지 촉감 정보를 재현하기 위해 두 가지의 촉각 피드백을 동시에 사용하는 개념을 제안하였으나, 마스킹 효과에 대한 고려가 부족하여 두 가지의 촉감 정보를 온전히 전달하는 데에는 한계가 있었다. 마스킹 효과란 한 자극의 인지가 다른 자극에 의해 영향을 받는 것을 의미한다. 여러 가지 자극이 동시에 제공될 때에는 마스킹 효과로 인해 각 자극의 절대역치 (absolute threshold, AL) 및 차이식역 (difference threshold, DL)에 변화가 생긴다. 즉, 마스킹 효과가 적절히 고려되지 않을 경우, 의도된 (또는 설계된) 자극의 강도와 실제로 인지되는 자극의 강도가 달라지는 현상이 발생한다. 햅틱 피드백의 설계에 있어서 절대역치와 차이식역은 가장 기본적인 기준이 되므로, 마스킹 효과로 인한 이들의 변화는 반드시 적절히 고려되어야만 한다.
본 논문에서는 터치 표면 상에서 형상 정보와 질감 정보를 동시에 제공하기 위해 역전기적 진동(electrovibration)과 기계적 진동 (mechanical vibration)을 함께 사용하는, 즉, 복합 촉각 피드백 컨셉을 제안한다. 타 연구와 다른 관점으로, 복합 촉각 피드백 상황에서 역전기적 진동과 기계적 진동이 서로 간에 영향을 미치는 이른바 “양방향 마스킹 효과”에 집중하고, 이를 극복할 수 있는 방안에 대해 논의한다. 역전기적 진동의 인지에 있어서는 기계적 진동이 마스킹 효과를 유발하고, 동시에 기계적 진동의 인지에 있어서는 역전기적 진동이 마스킹 효과를 유발할 것이다. 먼저, 마스킹 효과에 의한 역전기적 진동 및 기계적 진동의 절대역치와 차이식역의 변화를 정신물리학 실험을 통해 관찰하였고, 두 자극에 대한 절대역치는 모두 마스킹 자극의 함수임이 확인되었다. 반면, 차이식역은 마스킹 자극과 무관하게 일정한 값을 가지는 것을 확인하였다. 이러한 실험결과에 착안하여, 절대역치에 대한 마스킹 함수를 모델링하기 위한 추가 실험을 수행하였고, 각각의 마스킹 함수의 일반적인 형태를 도출하였다. 이를 기반으로, 마스킹 함수를 구성하는 변수의 조합에 따른 양방향 마스킹 효과를 극복하기 위한 조건 및 방법을 일반화된 알고리즘의 형태로 제안하였다. 제안하는 렌더링 알고리즘을 적용할 경우 형상과 질감 정보가 왜곡 없이 동시에 재현 가능함을 실험적으로 확인하였다.
본 논문에서는 양방향 마스킹 효과를 조사하고, 극복하는 방법을 최초로 제안하였으며, 이는 추후 더욱 사실감 있는 햅틱 인터페이스의 설계에 있어서 주요한 지침으로써 활용될 것이다. 본 논문에서 제안하는 접근방법과 렌더링 알고리즘은 형상과 질감 정보의 재현 또는 역전기적 진동과 기계적 진동의 조합에 국한되는 것이 아니라, 형상과 질감이 아닌 다른 두 가지 촉감 정보의 재현, 또는 역전기적 진동과 기계적 진동이 아닌 다른 두 가지 피드백 수단의 조합에 대해서도 광범위하게 적용될 수 있다. 본 논문의 결과를 기반으로 하여, 실재감 있고 직관적인 햅틱 상호작용을 추구하는 다양한 후속 연구들이 활발히 이루어지기를 기대한다.