Laparoscopy has become one of the most popular surgical techniques since the 1990s. Due to small incision, patients can regain health without much trauma and hospitalization; however, the operating surgeons suffer from several difficulties such as limited range of motion and loss of tactile sensation compared to open surgery. One of the important issues for successful surgery is the cooperation between the operating surgeon and the assistant as it is directly related to how the surgeon can perform surgical tasks. Novice assistants often suffer from the difficulty in properly positioning the laparoscope and the hand tremor caused by fatigue. To resolve these difficulties, some laparoscopic assistant robot systems were developed.
Despite the applicability in real surgeries, these systems reveal some common limitations that should be resolved. First, these systems are known to occupy a voluminous space in the operating room and the external motion of links tends to interfere the surgeon and surgical staff. Second, a considerable number of commands are needed to control the assistant robot, while only a handful of voice commands are sufficient with a human assistant. In order to resolve these issues, this dissertation investigates (a) a compact laparoscopic assistant robot, KaLAR, and (b) intelligent interaction scheme of KaLAR based on a surgery task model.
The compact laparoscopic assistant robot, KaLAR, was developed by adopting the bending mechanism. The developed KaLAR system can generate 3-DOF motion, including 2-DOF internal bending motion and 1-DOF external linear motion. Since the robot itself functions as a laparoscope, a small CCD camera module and a bundle of optical fibers were integrated as part of the system. The KaLAR’s performance and applicability in real surgery were verified through solo-surgery of $in vivo$ porcine cholecystectomies.
The intelligent interaction for a surgical assistant robot means that an operating surgeon can perform the surgery with minimum control burden to cooperate with the assistant robot. As a practical approach, the interaction scheme based on a surgery task model was proposed. The surgery task model is defined as a structured form of surgical knowledge that is necessary for a surgeon to perform a specific surgery, and the task model consists of a surgical procedure model, input information for identifying the current surgical states, and action strategy at each surgical stage.
The surgical procedure model represents the sequential information of the surgery. In order to extract the surgical procedure model dealing with both the surgical basic flow and the variation of the surgery, the surgical procedure model is arranged on the basis of the key stages. The sequence of the key stages implies the surgical basic flow and the peripheral stages take charge of the variation of the surgery. The input information highly depends on the surgical procedure model because it is necessary to identify the current surgical stage from the others. To implement the surgical procedure model of cholecystectomy and to extract the input information, 21 cases of human-assisted human cholecystectomies were decomposed into surgical stages and the relations among the stages were analyzed. In order to deal with the uncertainty of the surgical procedure model, the interaction functions were introduced in the model and their exact values were obtained from the analyzed data. It was shown that the key stages-based surgical procedure model could estimate the key surgical stages correctly even in case that the surgical procedure, which was not used to build the procedure model, is applied.
With regard to the action strategy, it is highly related to the characteristics of an assistant robot, which the surgery task model will be applied to. KaLAR’s action strategy is defined as a viewing strategy to show the surgical site. The viewing strategies at surgical stages in cholecystectomy were classified into a site-keeping mode and a tool-tracking mode. To obtain the optimal view direction at each surgical stage for the site-keeping mode, the motion of the laparoscope during in vivo porcine cholecystectomy were measured by the three 4-DOF measuring devices. The motion data were divided into sequence of the surgical stages and the quantitative values of the viewing directions were obtained. In case of tool-tracking mode, it was shown that the tip position of the primary surgical instrument is the major target to track.
This surgery task model of cholecystectomy was integrated with the KaLAR system and it is expected to alleviate the surgeon control burden to control the KaLAR system. It is believed that the proposed interaction scheme is one of the most practical methods to achieve the seamless interaction between a surgeon and a surgical assistant robot.
복강경 수술(Laparoscopy)은 작은 구멍을 통해서 복강 안을 관찰할 수 있게 해 주는 복강경(Laparoscope)과 얇고 가느다란 수술 도구를 이용하여 진행되는 수술로, 수술 후 회복이 빠르고 상처가 작다는 장점으로 인하여 현재 가장 중요한 수술기법 중에 하나가 되었다. 수술 중 절개부위가 작기 때문에, 환자에게는 장점이 많지만, 수술을 집도하는 의사는 수술 도구의 움직임이 제한 되고 수술 중 느낄 수 있는 감각이 제한되어 수술이 어려워지는 단점이 있다. 또한, 복강경을 통해서 획득되는 영상이 가장 중요한 정보매체이기에, 복강경을 조종하는 보조의사의 능력과 그 보조의사와의 협업이 매우 중요한 요소가 된다. 수술 중의 안정된 수술 영상을 제공하고, 보조의사를 대체하기 위하여 다양한 복강경 수술용 보조로봇이 개발되었다. 하지만, 기존의 보조로봇들은 크기가 커서 사용하기에 불편하였으며, 수술 중 로봇을 제어하기 위해서 매우 많은 명령을 내려야 하는 문제점이 도출되었다. 이를 해결하고자, 본 학위 논문에서는 (a) 소형 복강경 수술용 보조로봇(KaLAR)을 개발하였고, (b) 수술 작업 모델에 기반한 지능형 인터랙션 기법을 개발하였다.
소형 복강경 수술용 보조로봇(KaLAR)을 개발하기 위해서 여러 개의 짧은 링크들로 이루어진 굽힘 장치를 이용하여 로봇의 끝 단이 굽혀지도록 하였으며, 이를 통해 로봇 자체의 움직임 특히 복부 밖에서의 움직임을 크게 줄일 수 있었다. KaLAR는 2자유도의 굽힘 장치와 1자유도의 선형 구동기로 이루어져 있으며, 끝 단에 카메라와 조명 장치가 장착되었다. 이러한 KaLAR의 성능은 돼지를 이용한 동물 실험을 통해서 확인되었으며, 실제 수술에도 충분히 사용될 기구적 형상과 제어 성능을 갖는다는 것을 알 수 있었다.
수술용 보조로봇을 지능적으로 제어한다는 것은 수술을 집도하는 의사가 최소의 제어부담만을 가지고 수술을 임하게 도와주는 것을 의미한다. 이를 위하여 의사가 보조로봇에게 많은 명령을 내리지 않아도 되도록 만들기 위하여, 수술 작업 모델(Surgery Task Model)에 기초한 인터랙션 기법을 제안하였다. 수술 작업 모델은 수술 중에 보조의사(또는 KaLAR)에게 필요한 정보를 모아서 체계화한 정보로서, 수술 절차 모델(Surgical Procedure Model)과 행동 전략(Action Strategy), 필요입력 정보(Input Information)로 나뉘어서 정의되었다.
수술 절차 모델을 구축하기 위하여, 3명의 의사가 집도한 21 건의 담낭절제술(Cholecystectomy)를 각 단계로 나누었으며, 모든 수술에서 발견되는 중요 단계(key stage)를 추출하여 이를 기반으로 하여 절차 모델을 구축하였다. 수술 절차 모델에서 발견된 모호함을 해결하기 위해서 의사와 최소의 인터랙션을 수행하기 위한 인터랙션 함수를 도입하여 구축하였다. 행동 전략은 이렇게 얻어진 각각의 수술 단계에서의 보조 로봇이 취해야 할 행동을 의미하며, KaLAR 시스템의 주요 역할이 수술부위를 비추는 것임을 고려하면 행동 전략은 어떤 부위를 비추어야 하는 것으로 정의될 수 있었다. 수술 중 촬영된 영상을 분석하여, 각 수술 단계에서의 행동 전략은 크게 수술 환부를 안정적으로 보여주는 전략과 자동 추종 전략으로 나뉘었다. 각 단계별 수술 환부의 위치를 측정하기 위하여 측정을 위한 4자유도 장치를 개발하였으며, 이를 이용한 돼지 실험을 통해 각 단계에서의 대표적인 수술 환부 위치를 추출하였다. 자동 추종 전략의 경우에는, 실제로 수행된 수술 영상 2건을 분석하여 얻어졌으며 오른쪽 수술 도구의 끝단에 가까운 부분을 추종하는 것이 가장 좋음을 보였다. 필요한 입력 정보로는 기존의 KaLAR시스템에서 사용될 수 있는 입력 방식만을 사용하였으며, 음성 명령과 복강경 영상 데이터를 분석하여 획득되었다.
이렇게 얻어진 담낭절제술의 수술 작업 모델은 KaLAR 시스템에 통합되었으며, 수술 작업 모델을 기반으로 한 인터랙션 기법이 가능함을 보일 수 있었다. 이와 같이 수술 작업 모델 기반의 지능형 인터랙션을 이용하는 것이 지능형 수술용 보조로봇을 개발하기 위한 가장 현실적이고 가능성 높은 방법이라고 생각된다. 복강경 자체의 성능은 돼지를 이용한 임상실험을 통해서 검증되었지만, 수술 작업 모델 기반의 인터랙션 기법의 성능과 가능성도 명확히 검증하기 위해서는 추가적인 임상실험이 수행되어야 할 것이다.
