The fields of SocialVR, performance capture, and virtual try-on are often faced with a need to faithfully reproduce real garments in the virtual world. One critical task is the disentanglement of the intrinsic garment shape from deformations due to fabric properties, physical forces, and contact with the body. The task is complicated further by a high diversity of shapes and designs in the domain. We propose to use a garment sewing pattern, a realistic and compact garment descriptor, to facilitate the intrinsic garment shape estimation in face of design diversity. We introduce a new large-scale dataset of 3D garments with sewing patterns, which includes more than 20000 unique garment designs sampled from 19 different types using our novel pipeline for generating design-diverse garment datasets. Each garments is draped on T-pose and on posed body model, with unique pose chosen for each garment. The pipeline includes a flexible description structure for specifying parametric sewing pattern templates and the automatic generator to produce garment 3D models with little-to-none manual intervention.
We use this dataset to train NeuralTailor, a novel Deep Learning framework for reconstructing 2D garment sewing patterns from the 3D point clouds of garments. We suggest a novel architecture based on point-level attention for set regression with variable cardinality, and an additional simple but effective edge pairs classifier for recovering stitching information. NeuralTailor successfully reconstructs sewing patterns and generalizes to garment types with pattern topologies unseen during training, hence covering a larger design domain than presented in the training data.
*Translated using automatic translation service 자동 번역 서비스를 사용하여 번역
SocialVR, 퍼포먼스 캡처, 가상 시착 분야는 가상 세계에서 실제 의상을 충실하게 재현해야 하는 경우가 많습니다. 한 가지 중요한 작업은 직물 특성, 물리적 힘 및 신체와의 접촉으로 인한 변형으로부터 고유한 의복 모양을 푸는 것입니다. 작업은 영역에서 모양과 디자인이 매우 다양하여 더욱 복잡해집니다. 우리는 디자인의 다양성에 직면하여 본질적인 의복 형태 추정을 용이하게 하기 위해 현실적이고 간결한 의복 서술자인 의복 재봉 패턴을 사용할 것을 제안한다. 다양한 디자인의 의류 데이터 세트를 생성하기 위한 새로운 파이프라인을 사용하여 19가지 유형에서 샘플링된 20000개 이상의 독특한 의류 디자인을 포함하는 봉제 패턴이 있는 3D 의류의 새로운 대규모 데이터 세트를 소개합니다. 각 의복은 T-포즈와 포즈를 취한 신체 모델에 드레이프되며 각 의복에 대해 고유한 포즈가 선택됩니다. 파이프라인에는 매개변수 재봉 패턴 템플릿을 지정하기 위한 유연한 설명 구조와 수동 개입이 거의 또는 전혀 없는 의복 3D 모델을 생성하는 자동 생성기가 포함됩니다.
우리는 이 데이터 세트를 사용하여 의복의 3D 포인트 클라우드에서 2D 의복 재봉 패턴을 재구성하기 위한 새로운 딥 러닝 프레임워크인 NeuralTailor를 훈련합니다. 우리는 가변 카디널리티가 있는 집합 회귀에 대한 포인트 수준 주의와 스티칭 정보 복구를 위한 추가 단순하지만 효과적인 가장자리 쌍 분류기를 기반으로 하는 새로운 아키텍처를 제안합니다. NeuralTailor는 재봉 패턴을 성공적으로 재구성하고 훈련 중에 볼 수 없는 패턴 토폴로지를 가진 의복 유형으로 일반화하므로 훈련 데이터에 제시된 것보다 더 큰 디자인 영역을 다룹니다.
