Image-based virtual try-on aims to synthesize an image of a person wearing a given clothing item. To solve the task, the existing methods warp the clothing item to fit the person’s body and generate the segmentation map of the person wearing the item before fusing the item with the person. However, when the warping and the segmentation generation stages operate individually without information exchange, the misalignment between the warped clothes and the segmentation map occurs, which leads to the artifacts in the final image. The information disconnection also causes excessive warping near the clothing regions occluded by the body parts, so-called pixel-squeezing artifacts. To settle the issues, we propose a novel try-on condition generator as a unified module of the two stages (i.e., warping and segmentation generation stages). A newly proposed feature fusion block in the condition generator implements the information exchange, and the condition generator does not create any misalignment or pixel-squeezing artifacts. We also introduce discriminator rejection that filters out the incorrect segmentation map predictions and assures the performance of virtual try-on frameworks. Experiments on a high-resolution dataset demonstrate that our model successfully handles the misalignment and occlusion, and significantly outperforms the baselines.
2D 이미지 기반의 가상 의류 착용 이미지 합성은 입력으로 주어진 사람 이미지에 주어진 옷을 합성하는 것을 목표로 한다. 이를 수행하는 과정에 있어 기존 방법들은 최종 이미지 생성 이전에 옷 이미지를 사람 신체에 맞게 변형하고 해당 옷을 입은 사람의 분할 이미지를 예측하여 생성하는 과정을 거친다. 그러나 상호 간 정보 교환 없이 각각 작동되는 옷 변형 과정과 분할 이미지 생성 과정으로 인해 변형된 옷과 분할 이미지 사이에 정렬 오류가 발생하게 되고, 이는 최종 생성 이미지에 이상 현상을 야기한다. 또한, 두 과정 사이의 이러한 정보 분리는 팔, 머리카락 등의 신체 부위가 옷과 중첩되는 영역에서 옷 변형이 과하게 일어나는 픽셀 압축 현상을 불러 일으킨다. 상술한 문제들을 해결하기 위해 본 논문은 옷 변형 과정과 분할 이미지 생성을 하나로 통합한 가상 의류 착용 이미지 합성 조건 생성기를 제안한다. 제안된 조건 생성기 내부에 사용된 정보 융합 블록은 두 과정 사이의 중간 결과 정보를 서로 교환하는 역할을 수행하며 이를 통해 정렬 오류와 픽셀 압축 현상을 만들어 내지 않는 효과를 보인다. 더불어 최종 생성 이미지의 품질을 보장하기 위해 GAN에서 사용되는 판별기를 활용하여 잘못된 분할 이미지를 생성 단계 이전에 걸러내는 판별기 반려를 제안한다. 고해상도 데이터셋에 대한 실험을 통해 제안된 모델이 정렬 오류 제거와 중첩 처리를 성공적으로 수행하여 기존 방법보다 높은 성능을 보이는 것을 확인했다.
