This paper considers conditional image generation that merges the structure of one object with the style of another. In short, the style of an image has been substituted or replaced by the style of another image. An architecture for extracting the structure of one image and another architecture for merging the extracted structure and the style of another image is considered. The proposed ImaGAN architecture consists of two networks: (1) style removal network R that removes style information and leaves only the edge information and (2) the generation network G that fills the extracted structure with the style of another image. This architecture allows various pairing of style and structure which would not have been possible with image-to-image translation method. This architecture incurs minimal classification error compared prior style transfer and domain transfer algorithms. Experimental result using edges2handbags and edges2shoes dataset reveal that ImaGAN can transfer the style of one image to another without distorting the target structure.
이 논문은 한 이미지의 모양과 다른 대상의 스타일을 병합하는 조건부 이미지 생성 방법에 대해 다루었다. 즉, 한 이미지의 스타일이 다른 이미지의 스타일로 모양을 유지한채 대체되었다. 추출 된 모양과 다른 이미지의 스타일을 병합하기 위해서 하나의 이미지로부터 모양을 추출하기 위한 네트워크와 다른 이미지의 스타일을 합치기 위한 네트워크가 고려되었다. 제안 된 ImaGAN 아키텍처는 (1) 스타일 정보를 제거하고 모서리 정보 만 남기는 스타일 제거 네트워크 R와 추출 된 구조를 다른 이미지의 스타일로 채우는 생성 네트워크 G로 구성된다. 이 아키텍처는 이미지-이미지 변환 방법으로는 불가능했던 스타일 이미지와 모양 이미지의 다양한 조합을 허용한다. 이 아키텍처는 이전 스타일 전송 및 도메인 전송 알고리즘과 비교하여 최소의 분류 오류가 발생한다. edges2handbags 및 edges2shoes 데이터셋을 사용한 실험 결과는 ImaGAN이 대상 모양을 왜곡시키지 않고 이미지의 스타일을 다른 이미지로 전송할 수 있음을 보여준다.
