When we view digital contents such as pictures and 3D virtual scenes through 2D displays, the visual information needs to be projected beforehand onto a physical screen such as a tablet glass or projection screen.
In the context of interaction on a surface where the user’s interaction space is restricted to 2D space, the haptic interaction point (HIP) and the proxy point cannot reach the virtual geometry and are blocked by the physical screen. Because the conventional concept of penetration depth is no longer applicable to surface interaction, calculation of the interaction force between the HIP and virtual geometry needs to be remodeled.
To resolve this issue, we define a force computing model for surface haptic interaction based on how humans perceive the surface geometry while actively scanning real objects - human users tend to rely on the gradient (or slope) feature of the geometry when manually exploring the geometry.
Based on earlier work on lateral haptics, we first propose and validate the gradient-based haptic rendering using an active force display in the context of interaction with 2D digital images. To obtain the geometric configuration of the object with respect to the image plane or display plane, we employed a computer vision technique to estimate homographic information that describes a mapping from the object coordinate to the target image coordinate. Experimental results showed that participants could understand the presented virtual scene with their tactual experiences.
We then propose a novel tactile rendering algorithm for simulating 3D geometric features, such as bumps, on flat touch surfaces using a friction-based electrovibration display, which is a new type of lateral haptic display. Relating the gradient feature of geometry with friction, we hypothesized and validated that the object geometry could be inversely simulated on flat surfaces with friction variation. From a scalability perspective, we propose a generalized model from a psychophysical experiment so that it can be replicated by other friction-based haptic displays that can render resistive lateral force.
We conclude this dissertation with a discussion of further work and limitations of the proposed approach and a set of applications where the proposed algorithm could be used.
최근의 터치 태블릿은 2차원 입력 (예, 손가락 터치)을 기반으로 하여3차원 공간과의 다양한 상호 작용을 가능하도록 하고있다. 그러나 이러한 2차원 입력 기반의 시스템에서는, 3차원 공간을 탐색하고 해당 공간의 가상물체와 햅틱 상호작용 시에도 2차원 커서(cursor)에 의존해야한다는 제한이 있다.
햅틱 렌더링 관점에서 이러한 차이는 사용자의 터치에 의해 결정되는 햅틱 상호작용 점(haptic interaction point, HIP) 과 프록시 (proxy) 포인트가 가상 물체의 표면이 아닌 물리적 디스플레이 표면에 위치하는 특수적인 상황으로 볼 수 있다. 즉, 기존의 3차원 force 디스플레이의 경우 장치의 workspace와 가상환경이 같은 위치에 놓여져 있는 (collocated) 반면, 평면 디스플레이 위에서의 햅틱 상호작용의 경우 사용자의 workspace와 가상환경이 물리적 디스플레이에 의해 분리되어있어, 기존 햅틱 렌더링에서 널리 사용되는 침투(penetration) 깊이 개념을 추가적 입력/가공 없이는 사용할 수 없게 된다.
이러한 맥락에서 본 논문에서는 사용자가 표면에 투사(projection)된 가상 물체의 표면을 2차원 평면을 통해서 만질 때, 사용자와 물체의 geometry간의 접촉 모델을 재 정의하고 이에 따른 힘 계산 방법을 새롭게 제시한다. 이 과정에서 사람이 표면의 실제 물체의 표면을 따라 만질 때 기울기 또는 gradient 정보를 사용하는 인지적 특성을 활용하였고, gradient 정보가 저항력 (혹은 마찰력)과 연결됨에 착안하여, 본 논문에서는 역으로 물체의 기하정보를 표면에서 저항력 기반으로 생성해내는 방법론을 제시한다.
이를 위해 우선 일반적인 상용 햅틱 힘 디스플레이를 이용하여 표면에서 저항력을 기반으로 기하 정보 재생성 가능성을 검증하였다. 이후 electrovibration 디스플레이를 이용하여, 제어입력 (인가 전압)에 따른 인지 마찰력과의 관계를 실험적으로 규명하고, 이를 이용해 임의의 기하 정보를 표면에서 생성, 평가하는 일련의 연구를 수행하였다.
또한 제안하는 렌더링 방법론이 보다 일반적으로 활용될 수 있도록, 단일 2D 디지털 이미지 상에서 모델 정보에 기반하여 접촉 지점의 기울기 기하 정보를 법선 벡터 형태로 추출하는 방법론을 제시한다. 본 방법론은 이미지 (디스플레이) 평면과 가상 공간 내 위치한 물체 표면 사이의 상대적인 물리적 변환을 예측하는 컴퓨터 비젼의 방법론을 활용한다.
마지막 장에서는 제안하는 투영 공간에서의 가상 물체와의 햅틱 상호작용이 사용될 수 있는 분야를3D graphics, AR와 같은 다양한 HCI 관점에서 논의한다.
