Sketches reflect the drawing style of individual artists; therefore, it is important to consider their unique styles when extracting sketches from color images for various applications. Unfortunately, most existing sketch extraction methods are designed to extract sketches of a single style. Although there have been some attempts to generate various style sketches, the methods generally suffer from two limitations: low quality results and difficulty in training the model due to the requirement of a paired dataset. In this paper, we propose a novel multi-modal sketch extraction method that can imitate the style of a given reference sketch with unpaired data training in a semi-supervised manner. Our method outperforms state-of-the-art sketch extraction methods and unpaired image translation methods in both quantitative and qualitative evaluations.
스케치는 아티스트 개개인의 특수한 화풍과 특색을 반영한다, 이러한 특성 때문에 컬러 이미지에서 스케치를 추출할 때 아티스트의 다양하고 특수한 화풍을 고려하는 것이 중요하다. 하지만 기존의 대부분의 스케치 추출 방법은 한가지 스타일의 화풍만 추출하도록 설계되어 있다. 다양한 스타일의 화풍으로 스케치를 생성하려는 시도가 있었지만, 이러한 방법은 일반적으로 생성되는 스케치의 퀄리티가 낮거나, 학습을 위해서 쌍을 이루는 데이터 세트가 필요하기 때문에 모델 훈련이 어렵다는 두 가지 한계가 있다. 이 논문에서는 쌍을 이루지 않은 데이터를 활용한 학습을 통해 주어진 레퍼런스 스케치의 스타일을 준지도 방식으로 모방할 수 있는 새로운 멀티모달 스케치 추출 방법을 제안한다. 이 방법은 정량적, 정성적 평가 모두에서 기존의 스케치 추출 기술들과 다른 비지도 및 준지도 이미지 생성 방법보다 우수한 성능을 보인다.
