Endoscopic Retrograde Cholangiopancreatography (ERCP) is a procedure used to diagnose and treat problems in bile duct or pancreatic duct. One of the most difficult tasks in the procedure is when the tip of endoscope enters the duodenum, where the surgeon needs to insert a catheter through the endoscope into the bile duct or pancreatic duct inside the major duodenal papilla. It is very difficult for the surgeon to insert catheter into the duct system in correction direction because the limited view of endoscopic camera. The surgeon relies almost on the endoscopic camera view to find the exact position of the major papilla and based on experience he determines the direction to insert the catheter into the common duct system through the major papilla. Furthermore the blood vessels under the surface of duodenum can be easily damaged when the surgeon tries to cut into the major papilla. So it would be helpful if the doctor can see duct system and blood vessels in endoscopic image.
This paper proposes a method for registering 3D organ models on 2D endoscopic image during intraoperative ERCP procedure. To register 3D organs model on 2D endoscopic image, the relative position and orientation of endoscopic camera in the organs coordinate system need to be known because a virtual camera need to follow the real endoscopic camera to render these 3D model on top of endoscopic image correctly. The method proposed in this paper is a feature-based camera tracking method. The user is required to choose one first reference frame in the endoscopic video, and provide some correspondences between a virtual image of major papilla and this reference frame to initialize the camera pose of the first chosen frame. The first chosen frame then becomes a reference frame. The tracking then is done automatically in the following frames. After the camera tracking is triggered, the current camera frame is compared with the first reference frame and the previous frame to find the correspondences between them. Based on these correspondences, the camera position and orientation is estimated. The proposed method can be run in real-time with stable camera tracking help visualize hidden organs or blood vessels behind the surface of duodenum so as to provide a better view for surgeons.
내시경적 역행성 담체관 조영술은 담체관을 진단하고 병변을 치료하는 시술이다. 본 시술에서 가장 어려운 점은 십이지장 부근에서 내시경 끝을 삽관할 때 카테타를 담관 또는 체관 안으로 적절하게 삽입하는 것이다. 내시경 카메라의 제한된 시각적 정보만으로 정확한 방향에 카테타를 삽입하는 것이 어려우며, 따라서 현재 실제 시술에서 의사는 제한된 시각적 정보와 미리 축적된 경험을 기반으로 카테타를 삽입하고 있다. 게다가, 십이지장 밑의 부분에 존재하는 큰 혈관은 유두부 절개시에 쉽게 손상될 수 있기 때문에 유의하여야 한다. 이러한 상황에서, 내시경 이미지에 총담관의 위치와 주요 혈관의 위치에 대한 영상 정보를 제공하게 되면 더욱 안전하고 성공적인 시술을 이끌어 낼 수 있게 된다.
본 논문은 내시경적 역행성 담체관 조영술 도중에, 3차원의 가상 장기 모델을 2차원의 내시경 영상에 정합하는 영상정합 방법을 제안한다. 3차원 가상 모델을 2차원 내시경 이미지에 정합하기 위해서는 가상 카메라 모델이 실제 내시경 카메라의 위치를 추종해야 하기 때문에, 내시경 카메라의 상대적 위치를 알아야 한다. 본 논문에서는 특징점을 기반으로 카메라를 추종하는 방법을 택했으며, 카메라의 위치를 초기화 하기 위해서 사용자는 시술 도중 유두부 관찰이 가능할 때, 화면을 정지하고 미리 생성된 가상 모델과 특징점들을 지정하는 과정을 거치게 된다. 해당 과정을 거친 이후의 가상 모델은 내시경 영상에 맞게 추종하게 되며 최종적으로 유두부를 절개하고 카테타를 삽관할 때, 미리 생성된 담췌관 모델과 혈관 등의 정보가 내시경 영상에 함께 정합이 된다. 이와 같이 제안된 방법은 실시간으로 동작이 가능하기 때문에, 의사로 하여금 안정하게 유두부 뒤에 존재하는 장기와 혈관에 대한 정보를 제공 받을 수 있도록 하였다.
