As interest in AR/VR increases with the advent of telepresence and metaverse, 3D human restoration research for the development of 3D avatars is actively underway. In addition, 3D restoration research can be applied to the fashion e-commerce market, and in this regard, there is a 3D VT(=virtual try-on) solution. The multi-view capture/scan method used for 3D VT could not be extended to the real industry because it took time. However, with the advent of deep learning, it was possible to shorten the time as garments in 2D images could be quickly reconstructed to 3D. Research in this field has been steadily conducted, but the results of existing studies have limitations that they are unnatural because they depend heavily on input images. And the problem can be divided into ’unnatural wrinkles and shapes’ and ’blurry or distorted texture’. We aim to develop an improved 3D garment digitization solution by overcoming the limitations of existing 3D garment restoration techniques. First of all, problems with unnatural wrinkles or shapes can be solved by creating natural 3D garments in any pose using ’sewing patterns’, which is the development of actual garments. In the case of a problem in which a blur or distorted texture is generated, it can be improved by predicting the original patterns before being distorted and then filling it in the sewing pattern. In addition to this, we developed an automatic texture garment data generator, which we used to build our own dataset required for training and experiment.
텔레프레젠스와 메타버스의 등장으로 AR/VR에 대한 관심이 높아짐에 따라, 가상 환경 속 3D 아바타의 개 발을 위한 3D 인간 복원 연구가 활발히 진행되고 있다. 3D 복원 연구는 패션 전자상거래 시장에도 적용될 수 있으며, 이와 관련하여 3D VT(=virtual try-on) 기술이 등장하였다. 기존 3D VT을 위해 사용되었던 멀티 뷰 캡처/스캔 방식은 시간이 걸리기 때문에 실제 산업에 확장할 수 없었다. 그러나 딥 러닝이 적용되면서, 2D 이미지 속 의복을 3D 상에서 빠르게 복원이 가능해짐에 따라 시간을 단축할 수 있었다. 해당 방향의 연구는 과거부터 꾸준히 진행되어 왔지만 기존 연구의 결과들은 입력 이미지에 대한 의존도가 크다 보니 부자연스럽다는 한계가 있었는데, 이는 크게 ‘틀에 찍어낸 듯한 옷의 주름과 모양’ 그리고 ‘흐릿하고 왜곡된 무늬’로 나눌 수 있었다. 이에 따라 우리는 기존의 3차원 의복 복원 기술의 한계를 극복하여 개선된 3D 의류 디지털화 솔루션을 개발하는 것을 목표로 하였다. 먼저 부자연스러운 옷의 주름이나 모양에 관한 문제는 실제 옷의 전개도인 ‘바느질 패턴’을 사용하여, 어떤 자세에서도 자연스러운 3D 옷을 생성함으로써 해결할 수 있었다. 흐릿하고 왜곡된 무늬가 생성되는 문제의 경우, 왜곡되기 전의 원본 무늬를 예측한 후, 바느질 패턴 안에 채워줌으로써 개선할 수 있었다. 이 외에도 텍스처 의복 데이터 셋 자동 생성기를 개발하고, 이를 이용하여 학습에 필요한 데이터 셋을 직접 구축하여 모델 학습에 사용하였다.
