High-quality visual feedback is important for an immersive medical simulation. There are several researches about rendering visual feedback in medical simulation based on deep learning and procedure images. These methods, however, are focusing on static surgeries with narrow variety of scenes. Endoscopy procedure includes dynamic movements of endoscopy, so it has wide variety of scenes. This paper proposes a deep learning based rendering method to provide photo-realistic visual feedbacks for users in endoscopy simulation. A transformation network based on generative adversarial networks (GAN) is designed and trained to learn a mapping function from simulation depth map to realistic visual feedbacks. Mapping function from real endoscopy procedure images to depth map is learned in the first place, and then the goal function is learned as an inverse function. Realism of visual feedbacks that generated by the proposed method are evaluated with NR-IQA method.
고품질의 시각 피드백은 의료 시뮬레이션의 몰입도를 증대하기 위해 중요한 요소이다. 시각 피드백의 현실감 있는 렌더링을 위해 시술 영상과 심층 학습을 통한 방법이 제안되어 왔다. 그러나 기존의 방법들은 시뮬레이션 장면의 다양성이 낮은 정적인 수술만을 대상으로 하였다는 한계가 존재한다. 내시경 시술은 내시경의 동적인 움직임과 내장 벽의 큰 변형으로 인해 장면의 다양성이 높다. 본 논문에서는 이러한 내시경 시술 시뮬레이션에서 사용자에게 현실적인 시각 피드백을 제공하기 위해 심층 학습 기반의 렌더링 방법을 제안한다. 현실감 있는 이미지를 생성하는 생성적 적대 신경망 기반의 인공 신경망을 설계하고, 내시경 시뮬레이션에서 촬영한 깊이 지도를 현실감 있는 이미지로 바꾸는 변환 함수를 학습한다. 용이한 학습을 위해 실제 내시경 시술 이미지에서 깊이 지도로의 변환 함수를 우선적으로 학습하고, 이의 역함수를 학습하는 방식을 사용한다. 무기준 영상 화질 평가 방법을 통해 학습이 완료된 인공 신경망을 통해 생성된 이미지의 현실성을 검증한다.
