The task of image-based virtual try-on aims to transfer a target clothing item onto the corresponding region of a person, which is commonly tackled by fitting the item to the desired body part and fusing the warped item with the person. While an increasing number of studies have been conducted, the resolution of synthesized images is still limited to low (e.g., 256×192), which acts as the critical limitation against satisfying online consumers. We argue that the limitation stems from several challenges: as the resolution increases, the artifacts in the misaligned areas between the warped clothes and the desired clothing regions become noticeable in the final results; the architectures used in existing methods have low performance in generating high-quality body parts and maintaining the texture sharpness of the clothes. To address the challenges, we propose a novel virtual try-on method called VITON-HD that successfully synthesizes 1024×768 virtual try-on images. Specifically, we first prepare the segmentation map to guide our virtual try-on synthesis, and then roughly fit the target clothing item to a given person’s body. Next, we propose ALIgnment-Aware Segment (ALIAS) normalization and ALIAS generator to handle the misaligned areas and preserve the details of 1024×768 inputs. Through rigorous comparison with existing methods, we demonstrate that VITON-HD highly surpasses the baselines in terms of synthesized image quality both qualitatively and quantitatively.
이미지 기반 가상 시착은 대상 의류 아이템을 사람에게 자연스럽게 입힌 이미지를 생성하는 것을 목표로 하며, 이는 일반적으로 아이템을 원하는 신체 부위에 맞게 변형하고 합치는 방식으로 수행된다. 이에 대한 많은 연구가 수행되어 왔지만 합성된 이미지는 낮은 해상도(256×192)에 국한되어 온라인 소비자를 만족시키기에 한계가 존재한다. 이러한 해상도의 한계는 다음과 같은 문제에서 기인한다: 해상도가 증가할수록 신체에 맞게 변형된 옷과 옷에 해당하는 영역 사이의 오정렬된 영역에서 아티팩트가 발생한다. 기존 방식에서 사용되던 모델 구조는 고해상도에서 신체 부위를 제대로 생성하지 못할 뿐 아니라 대상 의류 아이템의 질감을 유지하지 못한다. 본 논문에서는 1024×768 해상도의 가상 시착 이미지를 성공적으로 생성하는 새로운 가상 시착 방법을 제안한다. 구체적으로, 가상 시착 이미지 생성에 도움을 주기 위하여 분할 맵을 먼저 생성한 후 대상 의류 아이템을 해당 부위에 맞게 변형한다. 다음으로, 오정렬 영역을 처리하고 입력 이미지의 상세 정보를 유지하는 ALIAS(ALIgnment-Aware Segment) 정규화 및 생성기를 제안한다. 기존 방식들과의 엄밀한 비교를 통하여 본 논문에서 제안한 VITON-HD가 합성 이미지 품질 측면에서 질적, 양적으로 보다 높은 성능을 냄을 보인다.
