This thesis aims to provide a real-time bone-drilling simulation with haptic feedback for comprehensive dental implant surgery training. The present study discusses real-time approaches for visualization of sequential bone removal, stable haptic feedback during the drilling or probing of bone, and consistent haptic feedback during and after bone drilling. To generate realistic haptic feedback for bone drilling, we control the bone removal rate and the magnitude and amplitude of drilling vibration. Although this study is primarily concerned with the simulation of bone drilling, this study can also be applied to other studies such as those on machining simulation or virtual sculpting.
Bone is represented by volume data (bone volume) in a three-dimensional discrete regular grid so as to visualize sequential bone removal. Each voxel has a density property that describes the degree of bone removal. Whenever a drill collides with bone voxels, their density values decrease. Collision detection between the bone volume and the drill is performed accurately using a bounding sphere and a signed distance field of the drill bit. A triangular mesh is extracted from the volume data using a surface reconstruction algorithm and is displayed via a graphics rendering pipeline.
A contact force between the bone and drill is resolved by a penalty-based point-contact model. A point shell covers voxels on the bone surface. An approximated normal vector generated from the bone volume is assigned to each point shell point. Point shell points track the modification of the bone volume; if a voxel of the bone volume is cut out, the point shell point for this voxel is removed, and a boundary-fill algorithm is applied to cover the hole of the point shell. When a point shell point is in collision with the drill bit (i.e., the queried distance value is negative), a penalty force is computed. We approximately compute the contact force by summing all penalty forces for the colliding point shell points. In addition, since a haptic device can display limited stiffness, an abrupt change in the contact force causes instability of the haptic device. Thus, the feedback force, which is conveyed to the user, is indirectly computed by virtual coupling.
For realistic haptic feedback of bone drilling, we control three parameters: the bone removal rate and frequency and amplitude of vibration. The rotational speed of the drill is controlled by adjusting the bone removal rate. A sinusoidal force is combined with the feedback force to generate vibration. These parameters can be tuned by dental implant surgery experts in real time.
A dental implant simulator for bone drilling and bone grafting training was developed using the presented algorithms. To evaluate the realism of the simulator, 12 dentists with different degrees of experience completed a questionnaire after they received training on the simulator for 10 minutes. Three (25%) of the participants strongly agreed that the haptic feedback of the burr drill was realistic, eight (66.7%) agreed, and one (8.3%) had a neutral opinion. On the other hand, participants found that their hand positions were not natural while manipulating the virtual surgical instruments using the haptic device due to the limitations of the haptic device.
본 논문은 치과 임플랜트 수술 시뮬레이션을 목적으로 뼈 드릴 링(bone drilling)을 위한 실시간 햅틱 시뮬레이션 알고리듬을 제안한다. 제시하는 방법은 1) 드릴의 움직임에 따라 단계적으로 뼈가 절삭되는 것을 시각화 하며 2) 드릴로 뼈를 절삭할 때와 끝난 후에도 일관되고 안정적인 햅틱 피드백을 제공한다. 또한 3) 뼈 제거 속도(Bone removal rate)와 드릴의 진동을 제어해서 사실적인 드릴의 햅틱 피드백을 만들어 낸다. 제시하는 방법은 기계 절삭이나 가상 조각에도 응용이 가능하다.
뼈의 단계적인 절삭을 시각화를 위해서 뼈는 내부 정보를 가진 볼륨으로 표현된다. 뼈 볼륨의 각 복셀은 뼈의 변형 상태를 나타내는 속성(밀도 값)을 가지며 드릴과 복셀이 충돌할 때마다 밀도 값이 줄인다. 뼈 볼륨과 드릴의 충돌 검출을 위해서 시뮬레이션이 시작하기 전에 드릴의 날 부분에 한정하여 바운딩 구(Bounding sphere)와 디스턴스 필드(Distance field)를 생성하여 드릴과 뼈 볼륨의 정교한 충돌처리를 수행한다. 바뀐 뼈 볼륨은 표면 재생성 알고리듬을 통해서 표면 모델로 재 생성되어 화면에 가시화 된다.
드릴과 뼈 사이에 발생하는 접촉힘(Contact force)은 점 접촉 모델(Point contact model)을 사용하여 계산된다. 이를 위해 뼈의 볼륨을 감싸는 포인트 쉘을 생성하고 각 포인트쉘 포인트에는 뼈 볼륨으로부터 근사화된 표면의 법선 벡터를 할당한다. 뼈의 복셀이 깎여 나가는 경우에는 깎여 나간 복셀에 속해있는 포인트 쉘 포인트를 삭제하고, 깎여 나간 복셀을 시작으로 경계 채우기 알고리듬(Boundary-fill)을 적용하여 포인트 쉘을 갱신한다.
매 햅틱 사이클마다 드릴 날의 바운딩 구안에 있는 포인트 쉘 포인트에 대해서 수술도구의 디스턴스 필드 값을 질의해서 벌칙힘(Penalty force)를 구하고 이 힘을 합산해서 접촉힘을 계산한다. 하지만 강성 표현이 제한된 햅틱 장비는 변화가 심한 접촉 힘을 표현하기 어렵기 때문에 장비가 쉽게 불안정해 진다. 이를 해결하기 위해서 정적인 가상 커플링(virtual coupling)을 사용하여 피드백 힘을 간접적으로 계산한다.
우리는 드릴에 의해 제거되는 뼈의 양을 조절하여 드릴의 회전 속도에 따른 차이를 시뮬레이션 하였으며 유저에게 전달되는 피드백 힘에 사인파 힘(Sinusoidal force)을 더하여 햅틱 장치를 진동하도록 하였다. 뼈 제거 속도(Bone removal rate)와 진동의 주기와 크기는 의사들의 정성적인 판단에 따라 조정된다.
우리는 앞에서 설명한 방법을 적용하여 bone drilling과 bone grafting을 훈련할 수 있는 치과 임플랜트 수술 시뮬레이터를 개발하였다. 이 시뮬레이터의 타당성을 평가하기 위해서 다양한 경험을 가지는 12명의 의사들이 우리의 시스템으로 10분간 훈련을 받고 설문지를 작성하였다. 결과적으로 버드릴(burr drill)의 햅틱 피드백의 사실성에 대해서는 3명 (25%)참여자가 “강하게 동의함(Strongly agree)”을 8명(66.7%)의 참여자가 “동의함(Agree)”을 1명(8.3%)의 참여자가 “중립(Neutral)”으로 판단하였다. 반면에 햅틱 장치의 한계로 수술 도구를 조작할 때 손의 위치가 자연스럽지 못하다는 평가를 받았다.
