The importance of haptic sensation in recognizing and understanding spatial information is well understood, and a lot of virtual reality and telepresence applications have introduced haptic technologies from early on. Although these attempts were effective in reinforcing the presence of virtual or remote targets, providing haptic feedback of inconstant dynamic environments still remains a challenging topic. In this study, we address the current challenges and demands of haptic telepresence systems by improving and integrating two independent approaches: real-time haptic rendering of unstructured spatial data and collaborative interaction with a remote partner. Contact information, which is a key element of haptic rendering, is directly estimated from streaming point cloud data without surface reconstruction for securing a real-time manner. On top of that, haptic guidance cues which restrict or promote the user’s motion can be activated by both pre-defined triggers and impromptu intervention from a helper. Since these physical and virtual constraints are defined by heterogeneous representations according to their respective characteristics, we also provide an integrated interface that simplifies proxy optimization regardless of the details underneath each representation. Based on the aforementioned ideas, we implement a proof-of-concept prototype and conduct a user study to evaluate the effectiveness and performance of the proposed approach. As a result, we confirm that our proposed approach is capable of stable haptic interaction with real-world spatial data and also improves the performance of remote exploration tasks significantly. With an adequate level of spatial sensing and haptic display technologies, we believe that this integration of physical and virtual constraints can give a meaningful clue for perceiving and exploring remote environments.
인간이 사물의 형태적 정보를 인지하고 이를 이해하는 데에 있어서 촉각은 매우 중요한 역할을 담당한다. 이를 근거로 다수의 가상현실 및 원격 상호작용 시스템은 촉각 렌더링 기술을 적극적으로 도입해오고 있으며, 실제로 이러한 접근 방식이 가상 환경 또는 원격지에 위치한 상호작용 대상의 실재감 증진에 있어서 가시적인 성과를 보이고 있다. 하지만 통제된 환경에서의 상호작용과는 달리 예측이 어려운 동적 환경에 대한 촉각 피드백을 제공하기 위해서는 아직 기술적으로 해결해야 할 과제가 많이 남아있는 실정이다. 이에 본 연구에서는 동적 환경에 대한 실시간 촉각 렌더링과 보조자와의 협력적 상호작용이라는 두 가지의 독립적인 접근 방식을 발전시키고 융합하여 보다 효율적인 원격 상호작용 시스템을 실현하고자 한다. 본 연구에서 활용되는 실제 환경에 대한 공간 정보는 포인트 클라우드의 형태로 취득되며, 표면 재구성 과정을 거치지 않고 비구조적 데이터로부터 접촉면에 대한 정보를 직접 추정하여 촉각 렌더링에 사용함으로써 변화하는 대상에 대한 실시간성을 확보한다. 그리고 작업 환경에 실재하지 않는 가상의 제약 조건은 증강현실 및 제스처 인식 기술에 기반하여 사용자의 특정 동작을 유도하거나 방지하는 역할을 담당하며, 여기에는 공간상의 고정된 특징점을 기준으로 동작하는 가이드뿐만 아니라 보조자가 직관적 판단 하에 상호작용에 개입할 수 있는 협력 가이드도 포함되어 있어서 예측하기 어려운 상황에도 유연하게 대응할 수 있다. 이러한 실제 및 가상의 상호작용 요소들은 각각의 특성에 따라 이질적인 데이터 구조로 정의되지만 이들을 추상화한 통합 인터페이스를 제공함으로써 응용 계층에서 각 요소의 세부적인 정의에 구애되지 않고 원활한 충돌 검사 및 촉각 렌더링이 이루어지도록 지원한다. 마지막으로 제안한 기법의 효용성을 검증하기 위하여 취득한 공간 정보에 대한 촉각 렌더링 성능과 가이드 유형에 따른 원격 작업 수행 능력의 변화를 분석하였으며, 그 결과 본 기법이 실시간 상호작용을 위해 주어진 조건 하에서 실제 환경의 형상을 충실히 전달함과 더불어 유의한 작업 성능 향상을 가져온다는 사실을 확인할 수 있었다. 향후 충분한 수준의 공간 인식 및 촉각 디스플레이 기술이 결합된다면 본 연구에서 제시한 통합적 접근 방식이 원격 환경을 탐색하고 인지하는 활동에 있어서 의미 있는 단서를 제공할 수 있을 것으로 기대한다.
