Image inpainting, one of the most important problems in the field of image restoration, is a technology that fills in masks as naturally as possible, considering the surrounding local information and the global context. Since the development of deep learning, the performance of inpainting has improved rapidly, and the problem situation has become challenging, such as increasing the mask. In that process, it relies more on the results of the generative model and often results different from what users expect in real applications. On the other hand, reference image-based restoration methods have been proposed to solve the problem in a reliable and user-intended manner as there is less information available in the input image even in other single-image tasks. Super-Resolution is one example of the task using reference images, which achieved a greater performance improvement than the conventional ones. Therefore, given the reference image, it is expected that accurate inpainted results can be obtained as the user intended. However, since inpainting should obtain information from the reference image about the masked region in the input image, it is much more difficult to use references than in the case of super-resolution, which simply uses a method of calculating the similarity. Therefore, the existing reference-based inpainting methods have a large limitation in that the reference and input image pairs are almost from the same scenes. Therefore, in this thesis, we propose a method for training a transformer-based model with novel reference attention modules applied on the synthesized reference datasets to be applied in more generalized situations in which the reference images and input images can be allowed to be partially similar. We confirm that the proposed network can successfully utilize reference images as a guide on synthetic datasets to fill the missing regions of the input images and that it outperforms single-image inpainting and video inpainting models even on untrained real datasets.
이미지 복원 분야에서 가장 중요한 문제 중 하나인 인페인팅은 이미지에 마스크가 있을 때 이를 주변 정보들과 전체적 맥락을 고려하여 최대한 자연스럽게 채워 넣는 기술이다. 딥러닝의 발전 이후로 인페인팅의 성능은 빠른 속도로 향상되며, 문제 상황도 함께 점점 마스크가 커지는 등 도전적으로 변하게 되었는데, 그 과정에서 자연스럽게 생성 모델의 결과에 점점 의존하게 되며, 실제 상황에서 사용자가 기대하는 것과는 종종 다른 결과를 낳게 되었다. 한편, 다른 이미지 복원 문제에서도 입력 영상에서 활용할 수 있는 정보가 적어짐에 따라 신뢰할 수 있으며 사용자가 의도한 방식으로 문제를 해결하기 위해 참조 영상 기반의 복원 방식이 제안되었다. 대표적으로 참조 영상을 활용하는 초해상화 문제가 있으며, 이는 기존의 단일 이미지 초해상화보다 큰 성능 향상을 보였다. 따라서 인페인팅에서도 참조 영상의 도움을 받게 된다면 사용자가 원하는 정확한 인페인팅 결과를 얻을 수 있을 것으로 기대된다. 하지만 인페인팅은 마스킹 된 부분에 대해 참조 영상에서 정보를 얻고자 하기 때문에 단순히 유사도를 계산해서 참조 영상의 도움을 받을 수 있는 초해상화보다 그 활용이 훨씬 어려운 상황이다. 그래서 기존의 참조 영상 기반 인페인팅 문제는 참조 영상과 입력 영상이 거의 동일한 장면이라는 큰 제약이 존재한다. 따라서 본 연구는 이러한 제한적인 상황보다 좀 더 일반화된 상황에서 적용될 수 있도록 합성된 참조 데이터셋에서 참조 어텐션 모듈이 적용된 트랜스포머 기반 모델 학습 방법을 제안한다. 제안된 네트워크가 합성 데이터셋에서 성공적으로 참조 영상을 가이드로 활용하여 마스크를 복원하는 것을 확인할 수 있었으며, 학습되지 않은 실제 데이터셋에서도 이미지 인페인팅과 비디오 인페인팅 모델과 비교하여 더 우수한 성능을 보이는 것을 확인하였다.
