Image restoration and enhancement are one of the subjects widely studied in computer vision for many years. Recently, even more research has been proposed with the rise of deep learning and generative models. In this dissertation, we focus on single image completion and single image reflection removal problem. The image completion method inpaints the specific area of the image that is assigned by a user. The reflection removal technique automatically detects and removes the reflection area when images were taken with a glass. Therefore, this dissertation contains the subject from the classical single image completion method to the GAN-based reflection removal method that automatically detects and removes the unnecessary reflection area. In particular, to make the best use of deep learning-based methods, we utilize a physically-based rendering for generating training images and validate its effects. At the end of this dissertation, we propose shape-focused guidance for learning the properties of reflection removal better with physically-based rendered reflection training images and validate its effect both numerically and visually.
이미지 복원 및 향상 기술은 컴퓨터 비전 분야에서 다양하게 연구되어 온 분야 중 하나이다. 최근 딥러닝 기술의 부상과 생성모델의 발전으로더욱 많은 연구가 진행되고 있다. 본 논문에서는 이미지 복원 기술들 중에서도 사용자가 원하는 특정 부분을 복원해 주는 이미지 완성/복원 기술과유리창 너머의 풍경을 카메라로 찍은 경우 함께 찍히게 되는 반사를 자동으로 제거해주는 반사 제거 기술에 집중한다.이에 따라 본 논문은 고전적인 단일 이미지 내에서의 이미지 복원기술부터 최신 생성적 적대 신경망을 활용하여 유리로 인한 반사를 자동으로 감지하고 이를 제거해 주는 연구까지포함한다.특히 신경망 기반 기술을 최대로 활용하기 위하여 훈련이미지 생성시에 물리기반 렌더링을 활용하였고 또한 그에 맞는 네트워크 디자인과 손실함수를 제안하여 그것의 유용함을 보였다. 논문 말미에는 확장된 물리기반 렌더링 훈련 이미지를 최대한 학습하기 위한 모양 중점 가이던스(shape-focused guidance)를 제안하여 반사상 제거 네트워크 학습에 수치적으로 또 시각적으로도 도움이 됨을 보였다.
