Recently, a lot of flexible surgical robots are being developed as robot platforms that are expected to overcome the limitation of traditional endoscopic procedures and rigid surgical robots. Most of them use a tendon-sheath mechanism (TSM) because it can flexibly work in limited space and provide an efficient power transmission. However, hysteresis from several nonlinearities such as friction, backlash existing in TSM brings many challenges for precise control of the surgical instrument.
To reduce the hysteresis in TSM, plenty of studies for reducing the hysteresis have been devoted. Based on the system dynamics, mathematical hysteresis model can be presented and applied to model-based feed-forward con-trol approach. However, this hysteresis model will be changed if the configuration of sheath changes. So, it was only valid for one particular configuration. To overcome some of these challenges, image-based hysteresis reduc-tion method with feedback-approaches using an endoscopic camera has been proposed. Moreover, to use the feed-back information for from an endoscopic camera, pose estimation algorithms are also being actively studied. In these case, two major approaches are introduced, one is with markers and the other is without markers. In the case of using markers, markers are easy to be obscured by surgery debris, and it is likely to reduce the performance of compensator. In addition, it is cumbersome to attach specific markers to all surgical instruments. On the other hand, when the marker is not used, the hand-craft features such as edge of surgical instrument, the precise mathematical geometric, and the kinematic models that are hard to obtain are needed. Above all, although a position estimation method without using markers has been proposed, there are not many studies that apply this to actual compensator.
In this paper, the hysteresis compensator with learning-based pose estimation is proposed. This compensator reduces the hysteresis by controlling an amount of the position command, similar to the visual-feedback that phy-sicians instinctively use with their eyes. Unlike the previous studies, this proposed method is based on a feedback approach that utilizes an endoscopic camera without using markers. In order to estimate the actual angle of joint at surgical instrument, we proposed the learning-based pose estimation (LBPE). This method is a combination an image-based pose estimation (IBPE) and kinematic-based pose estimation (KBPE). In the image-based pose esti-mation, it used a siamese convolutional neural network (SCNN) to extract the feature space that determines a similarity between two images. In kinematic-based pose estimation, it estimates the actual joint angle only using a desired angle, velocity and acceleration using a multi-layer perceptron. Based on kalman filter concept, KBPE and IBPE are combined to make LBPE and it will be apply into the proposed hysteresis compensator. To validate the proposed method, the testbed designed considering several requirements of the actual flexible surgery robots and surgical instrument of K-FLEX system are utilized. As a result, the proposed hysteresis compensator has reduced the hysteresis to less than $10^\circ$ in various sheath configuration. In addition, we confirmed that the learning-basedpose estimation is sufficient to apply to the proposed compensator in the image with clinical background. This result shows the proposed method will improve the control performance of flexible endoscopic surgery robot. Furthermore, it can be extended to be applied to a robot system using visual servoing.
기존의 유연 내시경 및 복강경 수술 로봇들의 단점을 극복하기 위해 많은 유연 내시경 수술 로봇들이 개발되고 있다. 현존하는 대부분의 유연 수술 로봇들은 제한적인 공간에서 유연하게 움직임이 가능하고 멀리서도 동력전달이 가능한 텐던-시스 메커니즘을 사용하고 있다. 하지만, 마찰력, 백리시, 예측하기 어려운 비선형적 요소, 수술 중 달라지는 시스의 형태 등으로 인해서 히스테리시스가 발생한다. 히스테리시스는 수술 로봇의 정밀한 제어를 방해하고 장기간 수술을 할 경우, 의사들의 피로도를 증가시킨다.
이러한 히스테리시스 문제를 해결하기 위해 히스테리시스 모델 기반의 오프라인 보상 방법, 내시경 카메라의 비전 정보를 활용한 온라인 방식의 보상 방식에 대한 시도가 이루어지고 있지만, 전자의 경우 시스의 형태에 따라 히스테리시스 모델이 달라진다는 한계가 있고 후자의 경우 마커를 이용하여 실제 도구의 위치를 추정하는 방법을 사용하고 있다. 마커를 사용할 경우, 실제 수술의 적용에 있어서 모든 수술 도구에 마커를 부착시켜야 하는 어려움이 있고, 수술 중 마커가 가려져서 성능이 저하될 우려가 많다. 이러한 이유로, 마커의 사용 없이 수술 도구의 현재 위치를 추정하는 연구도 활발히 진행되고 있다. 하지만, 실제 수술 로봇에 적용시켜 수술 도구의 히스테리시스를 줄인 연구는 많지 않다.
본 논문에서는 학습 기반 위치 추정 기법을 이용한 온라인 방식의 히스테리시스 보상기를 통해서 다양한 시스의 변화에서도 히스테리시스를 감소시키는 방법을 제안한다. 제안하는 히스테리시스 보상기는 기존의 의사들이 시각 피드백을 이용하여 히스테리시스를 보상하는 방식과 유사하게 위치 지령을 더 보상해줌으로써 히스테리시스를 보상해주는 개념이다. 이때 보상하는 정도는 제안하는 학습 기반 위치 추정방법을 통해서 얻은 관절의 실제 위치와 목표하는 위치의 차에 비례하도록 주어진다. 위치 추정 방법에 있어서는 카메라를 이용한 이미지 기반 위치 추정 방식과 기구학 정보를 이용하여 관절 각도를 추정하는 방식을 융합한 방식을 활용한다. 이미지 기반 방식의 경우 샴 심층 컨볼류션 신경망을 이용하며, 이미지 검색의 개념과 같이 가장 유사한 이미지를 찾는 과정을 통해서 현재의 관절 각도를 추정하는 방식으로 어떠한 마커 정보도 활용하지 않았다. 기구학 기반의 방식은 기존의 기구학을 기반으로 제어하여 얻은 데이터를 딥 네트워크를 이용하여 모델을 만들고 이를 이용해서 실제 각도를 추정하는 방식이다. 결과적으로 두 방식은 칼만필터의 기본 원리를 이용하여 융합하여 활용된다. 제안하는 방법의 유효성을 검증하기 위해서, 실제 유연 수술 로봇과 유사한 테스트베드와 유연 수술 로봇 K-FLEX의 수술 도구를 이용하여 실험을 진행하였다. 결과적으로 다양한 시스의 형태에서 모두 $10^\circ$ 근방까지 히스테리시스가 감소됨을 보였다. 제안한 방법론은 실제 유연 수술 로봇의 제어 성능을 높이고 나아가 비주얼 서보잉을 이용한 로봇 시스템에서도 활용될 수 있다.
