Tactile sensations play a major role in recognizing the existence and shape of virtual objects. Haptic rendering algorithms can create a sense of touch to provide the presence of virtual objects in XR applications. In addition, contact-based end-effectors such as gripper VR controllers or pen-type haptic devices are used for object interaction, and they can provide vibrotactile sensation and kinesthetic sensation. However, they have limitations on the user's hand posture and motion when the hand tracker is coupled to contact-based haptic devices. Recently, mid-air haptic technology combined with motion tracking technology produces a vibrotactile sensation to the user's unadorned hands without any contact-based end-effectors. This dissertation introduces the concept of materialized virtual touch related to collision presence and shape presence resulting from touching a virtual object. To introduce materialized virtual touch in XR applications, we develop mid-air haptic algorithms to create the presence of tactile touch in time-critical applications such as particle simulation and volume data exploration. First, we propose a tactile rendering algorithm to estimate the target pressure field using amplitude modulation. Second, we present the tactile pattern rendering to provide a shape perception from the cross-sectional data of the volume. For both applications, we verify that our algorithm runs at reliable refresh rates under the XR environment, and that the materialized virtual touch can provide collision and shape perception through user studies.
촉각은 가상 물체의 존재감과 모양을 인식하는 데 있어 주요한 수단이며, 가상현실 및 증강현실 어플리케이션에서는 실재감을 제공하기 위해 햅틱 렌더링 알고리즘을 통해 사용자 손에 촉각을 생성한다. 접촉 기반의 그립형 컨트롤러 혹은 펜 형태의 햅틱 장치를 이용한 가상 물체 상호작용은 사용자에게 진동이나 역감을 제공할 수 있어 확장현실 상호작용에 이용되나, 손 추적기와 함께 연동할 시 자유로운 손 자세와 움직임을 제공하는데 한계가 존재한다. 최근에는 공중 햅틱 기술을 손 추적 기술과 접목해 접촉 기반의 엔드 이펙터가 없이도 사용자의 맨손에 진동감과 같은 촉각을 생성할 수 있게 되었다. 본 학위논문은 위와 같이 가상 물체 접촉에 의해 발생하는 충돌 존재성과 형상 존재성에 관련한 물질화된 가상 터치 개념을 도입하고 햅틱 알고리즘을 통해 구현한다. 물질화된 가상 터치를 확장현실 어플리케이션에 도입하기 위해 본 학위논문은 구체적으로 입자 시뮬레이션 및 볼륨 데이터 탐색과 같이 시간 중요도가 높은 실시간 어플리케이션에서도 안정적이고 부드러운 촉감을 사용자에게 생성하기 위한 알고리즘을 제안한다. 첫 번째로 진폭 변조 기법에 의해 강체-유체 상호작용으로 도출한 목표 압력장을 추정하는 촉각 렌더링 알고리즘을 제안하였으며 두 번째로 사용자가 접촉하는 볼륨의 단면 데이터에 대응하는 촉각 패턴 렌더링 알고리즘을 제시하여 사용자가 해당 단면의 형상을 인식할 수 있도록 한다. 두 가지 기법 모두에서 제안한 촉각 렌더링 알고리즘이 확장현실 환경에서 원활한 업데이트 레이트로 촉각을 제공하며 물질화된 가상 터치로부터 접촉과 형상의 인식을 가능케 한다는 것을 확장현실 어플리케이션에 대한 사용자 평가를 통해 검증하였다.
