This paper tackles the automatic colorization task of a sketch image given an already-colored reference image. Colorizing a sketch image is in high demand in comics, animation, and other content creation applications, but it suffers from information scarcity of a sketch image. To address this, a reference image can render the colorization process in a reliable and user-driven manner. However, it is difficult to prepare for a training data set that has a sufficient amount of semantically meaningful pairs of images as well as the ground truth for a colored image reflecting a given reference (e.g., coloring a sketch of an originally blue car given a reference green car). To tackle this challenge, we propose to utilize the identical image with geometric distortion as a virtual reference, which makes it possible to secure the ground truth for a colored output image. Furthermore, it naturally provides the ground truth for dense semantic correspondence, which we utilize in our internal attention mechanism for color transfer from reference to sketch input. We demonstrate the effectiveness of our approach in various types of sketch image colorization via quantitative as well as qualitative evaluation against existing methods.
본 연구에서는 이미 색상이 지정된 기준 영상의 스케치 이미지 자동 색상화 작업에 대해 설명한다. 스케치 이미지의 색칠은 만화, 애니메이션 및 기타 컨텐츠 작성 응용 프로그램에서 수요가 높지만, 스케치 이미지의 정보 부족으로 어려움을 겪고 있다. 이 문제를 해결하기 위해 참조 이미지는 신뢰성 있고 사용자 중심적인 방식으로 색상화 과정을 생성할 수 있다. 그러나 주어진 참조를 반영하는 컬러 이미지에 대한 실측 자료뿐만 아니라 의미론적으로 의미 있는 이미지 쌍이 충분히 있는 훈련 데이터 세트를 준비하기는 어렵다 (예: 참조용 녹색 자동차가 제공된 원래 파란색 자동차의 스케치 색칠). 이 과제를 해결하기 위해 기하학적 왜곡이 있는 동일한 이미지를 가상 참조로 사용할 것을 제안하며, 이를 통해 컬러 출력 이미지에 대한 실측 정보를 확보할 수 있다. 더욱이, 그것은 자연스럽게 고밀도 의미론적 대응에 대한 기초적 진실을 제공하며, 우리가 참조에서 스케치 입력으로 색상을 전달하기 위해 내부 주의 메커니즘에서 활용한다. 기존 방법에 대한 정성적 평가뿐만 아니라 정량적 평가를 통해 다양한 유형의 스케치 이미지 색화에 대한 접근 방식의 효과를 입증한다.
