In this paper, we consider reconstructing a natural 3D garment according to any pose from a single human image. Previous works had limitations in that 3D garment and body can only be generated in a state being attached to each other, so when changing the pose, the garment depend on motions of the body. Also, they generated garment that corresponded only to the input pose. To address these problems, we propose generating a garment sewing pattern from a single image. By predicting sewing patterns instead of 3D garments and simulating the sewing patterns, we can generate 3D garments that can change with any pose. There are two processes to predict a garment sewing pattern from a single image. First, we use T-pose prediction network to transform the avatar and garment of an input image into T-pose that best represents the shape of the garment. Next, we use sewing pattern parameters network to extract garment sewing pattern parameters from a T-pose garment image. In addition, we construct the dataset of garment images in various poses and their corresponding garment sewing patterns. we visualize sewing patterns predicted through our framework and also conduct an ablation study on the effect of components of our framework.
본 연구는 의상을 착용한 인물의 단일 이미지로부터 어떠한 자세에 따라 자연스러운 3차원 의상을 생성하는 것에 대해 고려한다. 기존 연구들은 의상과 몸이 함께 붙어있는 상태로 생성되어 자세를 변화 시킬 때 의상이 몸에 의존하게 되고, 입력 이미지 자세에 국한 되는 의상의 모습을 생성하는 제한점들이 있었다. 이 문제들을 해결하기 위해, 우리는 의상을 착용한 단일 이미지로부터 의상 바느질 패턴을 예측하는 것을 제안한다. 3차원 의상 대신 바느질 패턴을 예측하고, 해당 바느질 패턴을 의상 시뮬레이션 함으로써, 다양한 자세에 따른 3차원 의상을 생성할 수 있게 된다. 임의의 자세를 가진 이미지에서 바느질 패턴을 예측하기 위해 입력 이미지가 가지는 자세에서 의상의 형태를 가장 잘 나타내는 T자 자세의 의상 형태로 예측하는 자세 예측 네트워크와 해당 네트워크의 결과로 생성된 T자 자세의 의상으로부터 바느질 패턴 생성을 구성하는 매개변수들를 예측하는 네트워크를 사용한다. 또 이를 학습 시키기 위한 자세에 따른 의상이미지 데이터셋도 새롭게 구성하였다. 본 프레임워크의 결과로 예측된 바느질 패턴을 시각화하고, 네트워크의 구성요소가 결과에 미치는 영향에 대한 실험도 진행하였다.
