서지주요정보
Realistic visual rendering of endoscopy simulation using GAN (generative adversarial network) and real procedure images = 실제 시술 영상과 생성적 적대 신경망을 이용한 내시경 시뮬레이션의 현실감 높은 시각 렌더링
서명 / 저자 Realistic visual rendering of endoscopy simulation using GAN (generative adversarial network) and real procedure images = 실제 시술 영상과 생성적 적대 신경망을 이용한 내시경 시뮬레이션의 현실감 높은 시각 렌더링 / Hyeokjun Kweon.
저자명 Kweon, Hyeokjun ; 권혁준
발행사항 [대전 : 한국과학기술원, 2020].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8035922

소장위치/청구기호

학술문화관(도서관)2층 패컬티라운지(학위논문)

MME 20018

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

리뷰정보

초록정보

High-quality visual feedback is important for an immersive medical simulation. There are several researches about rendering visual feedback in medical simulation based on deep learning and procedure images. These methods, however, are focusing on static surgeries with narrow variety of scenes. Endoscopy procedure includes dynamic movements of endoscopy, so it has wide variety of scenes. This paper proposes a deep learning based rendering method to provide photo-realistic visual feedbacks for users in endoscopy simulation. A transformation network based on generative adversarial networks (GAN) is designed and trained to learn a mapping function from simulation depth map to realistic visual feedbacks. Mapping function from real endoscopy procedure images to depth map is learned in the first place, and then the goal function is learned as an inverse function. Realism of visual feedbacks that generated by the proposed method are evaluated with NR-IQA method.

고품질의 시각 피드백은 의료 시뮬레이션의 몰입도를 증대하기 위해 중요한 요소이다. 시각 피드백의 현실감 있는 렌더링을 위해 시술 영상과 심층 학습을 통한 방법이 제안되어 왔다. 그러나 기존의 방법들은 시뮬레이션 장면의 다양성이 낮은 정적인 수술만을 대상으로 하였다는 한계가 존재한다. 내시경 시술은 내시경의 동적인 움직임과 내장 벽의 큰 변형으로 인해 장면의 다양성이 높다. 본 논문에서는 이러한 내시경 시술 시뮬레이션에서 사용자에게 현실적인 시각 피드백을 제공하기 위해 심층 학습 기반의 렌더링 방법을 제안한다. 현실감 있는 이미지를 생성하는 생성적 적대 신경망 기반의 인공 신경망을 설계하고, 내시경 시뮬레이션에서 촬영한 깊이 지도를 현실감 있는 이미지로 바꾸는 변환 함수를 학습한다. 용이한 학습을 위해 실제 내시경 시술 이미지에서 깊이 지도로의 변환 함수를 우선적으로 학습하고, 이의 역함수를 학습하는 방식을 사용한다. 무기준 영상 화질 평가 방법을 통해 학습이 완료된 인공 신경망을 통해 생성된 이미지의 현실성을 검증한다.

서지기타정보

서지기타정보
청구기호 {MME 20018
형태사항 72 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 권혁준
지도교수의 영문표기 : Doo Yong Lee
지도교수의 한글표기 : 이두용
학위논문 학위논문(석사) - 한국과학기술원 : 기계공학과,
서지주기 References : p. 69-72
주제 Medical simulation
Visual feedback
Deep learning
Generative adversarial networks (GAN)
Rendering
의료 시뮬레이션
시각 피드백
심층 학습
생성적 적대 신경망 (GAN)
렌더링
QR CODE qr code