Simulation is an emerging technology and it has many advantages for research, training, and performance assessment. It helps to evaluate the performance of trainees with unbiased assessment and feedback. The experiment with the simulator is performed repeatedly at any time, and the simulator provides the appropriate complexity and difficulty of training according to the current level of trainees. However, developing the useful simulators is very difficult. Especially for the soft object, we should consider the deformations which are computationally expensive. Moreover, if simulators have to support both graphic and haptic rendering and to handle large volume data, implementing the real-time simulators is too hard.
In this thesis, we propose a new model called dual deformable model which is suitable for developing practical simulators with the soft object. Unlike the conventional methods for deformable modeling, we design our new model with the concept that sense of vision is different from sense of touch in real world. Our proposed model employs two internal sub-models: one for visual feedback and the other for haptic feedback. Therefore, we can apply two different algorithms which are optimized for visual feedback and haptic feedback. We are also able to employ surface data or volume data for graphic rendering and haptic rendering at the same time. Although we use two internal sub-models to represent one object, with interaction between graphic model and haptic model, dual deformable model is recognized as one object which can show realistic deformation and utilize internal information.
In the implemented system of dual deformable model, we applied Mass-spring model for graphic rendering and S-chain model for haptic rendering to the virtual liver object extracted from Visible Korean Human (VKH) dataset. And we used surface data for Mass-spring model and volume data for S-chain model to speed up the system because internal information is very important for haptic rendering but deformation with only surface data is advantageous for graphic rendering. Since graphic model can interact with haptic model, graphic model utilize volume information from haptic model. We exploited normalized contact area forces which are calculated from volume model and forwarded to surface model to reflect internal information.
Through the implementation, we verified that dual deformable model can handle the virtual soft objects composed of about 20,000 elements in real time and that the user feels the two internal sub-models as only one object although dual deformable model employs two internal sub-models. In conclusion, we expect that dual deformable model exploits the limited resources of target systems effectively according to the characteristics of the applications and that dual deformable model can be used for the simulators which require realistic deformation and volumetric haptic rendering of high resolution virtual object in real time.
시뮬레이션은 연구, 교육, 성능 평가 등의 영역에서 많은 장점을 지니고 있으며 훈련자에 대한 편향되지 않은 평가와 피드백을 얻도록 도와준다. 또한 반복적인 작업을 어느 때이든 수행할 수 있도록 해주고 훈련자의 현재 수준에 맞는 복잡도와 난이도를 제공해준다. 하지만 유용한 시뮬레이터를 개발하는 것은 매우 어려우며 특히 부드러운 물체의 경우 계산 비용이 큰 변형도 고려해야 한다. 더욱이 시뮬레이터가 그래픽과 햅틱 렌더링을 모두 지원해야 하거나 큰 볼륨 데이터를 처리해야 한다면 실시간 시뮬레이터를 작성하는 것은 더욱 어렵게 된다.
본 논문에서 우리는 부드러운 물체를 대상으로 하는 실용적인 시뮬레이터 작성에 적합한 이중 가변형 모델을 제안한다. 가변형 모델링에 대한 기존의 방법들과 달리 우리는 실 세계에서 시각이 촉각과 다르다는 점을 새 모델에 적용하였다. 제안된 모델은 두 가지 내부 부속 모델을 이용할 수 있다. 한 모델은 시각 피드백을 위한 것이고 다른 하나는 촉각 피드백을 위한 것이다. 따라서 우리는 시각 피드백과 촉각 피드백에 적합한 두 가지 다른 알고리즘을 적용할 수도 있고 그래픽 렌더링과 햅틱 렌더링을 위해 표면 데이터 또는 볼륨 데이터를 동시에 활용할 수도 있다. 이처럼 두 가지 내부 부속 모델을 사용함에도 불구하고 그래픽 모델과 햅틱 모델의 상호 작용을 통해 이중 가변형 모델은 사실적인 변형과 내부 정보를 활용할 수 있는 하나의 물체로 인식된다.
이중 가변형 모델의 구현 시스템에서 우리는 VKH 데이터 셋에서 추출된 간에 그래픽 렌더링을 위해 Mass-spring 모델을 적용하였고 햅틱 렌더링을 위해 S-chain 모델을 적용하였다. 햅틱 렌더링의 경우 내부 정보가 매우 중요하지만 그래픽 렌더링의 경우는 표면 정보만을 이용하는 것이 유리하기 때문에 시스템의 속도를 향상시키기 위해 우리는 Mass- spring 모델의 경우는 표면 데이터를 사용하였고 S-chain 모델의 경우는 볼륨 데이터를 사용하였다. 그러나 그래픽 모델이 내부 정보가 없는 표면 모델을 사용하였기 때문에 보다 사실적인 변형을 위해 우리는 햅틱 모델의 볼륨 정보를 활용하였다. 이를 위해 볼륨 모델로부터 계산된 접촉 영역 힘들을 정규화한 후 표면 모델로 전달하여 활용하였다.
구현을 통해 우리는 이중 가변형 모델이 20,000 요소 정도로 구성된 가상의 부드러운 물체를 실시간으로 처리하고 두 가지의 내부 부속 모델을 사용함에도 불구하고 사용자가 두 내부 부속 모델을 한 물체로 인식함을 확인하였다. 이중 가변형 모델이 애플리케이션의 특성에 따라 목표 시스템의 제한된 자원을 효율적으로 사용하고 이를 통해 실시간으로 고해상도 가상 물체의 현실적인 변형과 볼륨 햅틱 렌더링이 필요한 영역에 기여할 수 있을 것으로 기대한다.
