This dissertation presents a new model which can simulate the haptic behavior of deformable volumetric objects in real-time and suggests various real-time haptic rendering method. We call this model shape-retaining chain-linked model or S-chain model. Most biomedical objects are deformable and highly non-homogeneous. For realistic haptic rendering of these objects, it is necessary to consider a high-resolution volumetric model consisting of hundreds of thousands of volume elements whose material properties can be different from those of others. Main difficulty in the haptic rendering of these high-resolution volumetric objects is to compute and generate stable feedback force from the objects that have hundreds of thousands of volume elements within a haptic update time (1msec). In our model, springs are used in order to represent material properties of volume elements like a mass-spring model. One of the key differences between the S-chain model and a mass-spring model is that our model is not formulated through employing a dynamically coupled force-deformation relationship. Our deformed configuration is computed by propagating outward the unabsorbed human operator’s input from the interaction point as if a chain is pulled or pushed. The deformed configuration is then used to compute the object’s internal potential energy that is reflected to the human operator. This simple nature of our model allows the much faster calculation of the deformation and the feedback force from the volumetric deformable object than the conventional model (an FEM or a mass-spring model). In most haptic rendering technique, the interaction between human operator and virtual object occurs at a single point at a time. Since the interaction occurs at a single node, the simulation of the interaction is relatively straightforward. However, in reality, the very interface of the contact where one touches is often not a point but a portion of an area. Moreover, it is very common to have more than one contact area simultaneously. Area-based haptic rendering is suggested that enables a human operator to distinguish hard regions from softer ones by providing the tactile and kinesthetic feeling. A new haptic rendering algorithm to deal with multiple-contact points or multiple-contact areas is proposed. We construct a real-time palpation simulator that allows surgeons to employ a palpation method during laparoscopic surgery. In this simulator, a volumetric liver model obtained from CT (Computer Tomography) data is used to a target organ. In our simulator, feedback force is calculated according to the material property of the volumetric liver model and human operator’s interaction with the volumetric model. Experiments are conducted with homogenous and non-homogenous volumetric cubic objects and a volumetric human liver model obtained from CT data at a haptic update rate of 1000Hz and a graphic update rate of 100Hz to show that our model can be utilized in the real-time volume haptic rendering. Comparative study is also conducted to show that the feedback force from the S-chain model is realistic. Through these experiments and study, we show that our model and our suggested haptic rendering methods provide a realistic haptic feeling for the human operator in real-time.
대부분의 생물의학의 물체(biomedical object)들은 변형가능하고, 비균질의(non-homogeneous) 특성을 갖는다. 이런 물체들을 표면과 내부까지 햅틱 렌더링 하기 위하여는 수십만개 이상의 작은 볼륨 요소(volume element) 들로 이루어진 모델을 매우 짧은 시간 (1msec) 에 계산하여야 한다. 본 연구에서는 가 변형 볼륨 물체의 햅틱(haptic) 거동을 실시간으로 모사할 수 있는 새로운 모델 (Shape-retaining Chain Linked Model)과 실시간으로 가 변형 볼륨 물체를 햅틱 렌더링(haptic rendering) 할 수 있는 방법을 제시한다. 본 모델에서는 볼륨 요소들의 물리적 특성을 표현하기 위하여 질량-스프링 모델과 같이 스프링을 사용하였다. 본 모델로 표현된 물체들의 변형은 마치 체인들이 밀리거나 당겨지는 것 처럼 계산된다. 그리고 변형을 계산한 후, 물체안의 위치에너지를 계산하여 사용자가 받는 힘으로 변형하고 사용자에게 되돌려 준다. 이런 특성은 기존의 모델보다 볼륨 물체의 변형과 볼륨 물체로부터 사용자가 받는 힘을 훨씬 더 빠르게 계산할 수 있게 해 준다.
본 논문에서는 제안된 모델을 촉진 시뮬레이터에 적용하여 보았다. 촉진 시뮬레이터에서 사용자와 물체와의 상호작용은 한 점(point) 이 아니고 면적(area)에서 발생한다. 그러므로 본 논문에서는 면적에서 상호 작용하는 경우, 손가락 끝의 재질 감과 힘을 전달해 주어 사용자가 딱딱한 부분과 부드러운 부분을 한번 누름으로써 구별할 수 있게 하는 면적 기반 햅틱 렌더링 기법(Area-based haptic rendering) 을 제시한다.
복강경 수술은 복강경 수술 도구와 사람의 몸의 상호작용이 여러부분에서 발생한다. 그러므로 본 논문에서는 제안된 모델을 여러부분에서 interaction 이 일어나는 상황(예,복강경수술) 에 적용하여 보았다. 그리고 제안된 모델과 제안된 햅틱렌더링 기법들을 이용하여 복강경 수술 동안에 촉진을 모사할 수 있는 실시간 촉진 시뮬레이터 (palpation simulator) 를 구축하였다. 촉진 시뮬레이터를 구축하기 위하여 CT (Computer Tomography) 에서 얻은 볼륨 간모델이 대상 장기로 사용되었다.
제안된 모델이 실시간 볼륨 물체를 실시간으로 햅틱 렌더링할 수 있는지 균질의 물체와 비균질의 특성을 주어 실험을 하였다. 그리고 우리모델과 FEM 과의 비교 실험을 통하여 제안된 모델이 실시간으로 실제적인 햅틱 거동(haptic behavior)를 전달해 줌을 알수 있었다. 그리고 택타일 (tactile) 정보와 근 감각 힘 (kinesthetic force)을 동시에 전달할 수 있는 장치와 면적 기반 햅틱 렌더링 기법을 연동하여 면적 기반 햅틱 렌더링 기법이 촉진 시뮬레이터에 적용되어 만족할 만한 성능을 얻을 수 있음을 보였고, 이를 멀티 컨택(multi-contact) 햅틱 렌더링 으로 확장하여 멀티 컨택 햅틱 렌더링이 공동작업을 필요로 하는 의료 수술 작업을 모사하기에 유용함을 보였다. 그리고 제안된 모델과 제안된 햅틱 렌더링 방법은 촉진 시뮬레이터에 적용되어 만족할 만한 성능을 얻을 수 있었다.
