When an avatar is generated using 3D human scan data, the avatar looks similar to the human. However, since it is made of a single mesh, it is impossible to simulate clothing and body parts, so there is an unnatural problem in the movement of the avatar. In this study, the mesh from scan data is divided into several meshes through a garment analysis method, and the missing mesh parts are estimated and extracted. The proposed method is divided into garment data analysis and garment fitting using the garment analysis results. The garment analysis is divided into 3D scan data: garment segmentation, body pose and shape estimation, inner texture and skin color extraction. During the garment segmentation, we propose a layered look ensemble model that is transfer learned using LIP+ dataset that has been hierarchically classified according to the order in which it was worn. During the body pose and shape estimation, we propose a body estimation method that optimizes the part with a large error by updating the weight through an iterative method. We implement the method for inner wear texture and color estimation in order to obtain the information of overlapped and lost parts. In fitting the garment, the garment is fitted to the body model based on the result of the garment analysis. The method proposed in this study increases the accuracy of segmentation of the scan data over the outer and inner and optimizes the body model estimation of the scan data.
삼차원 사람 스캔 데이터를 이용하여 아바타를 생성하면, 아바타의 외형은 사람과 유사하다. 하지만 하나의 메시로 이루어졌기 때문에 의복과 신체 부분별 시뮬레이션이 불가능하여, 아바타의 움직임이 부자연스러운 문제가 있다. 본 연구에서는 스캔 데이터의 의복 분석 기법 개발을 통해 스캔 데이터 메시를 여러 메시로 나누고, 소실된 메시 부분을 추정 및 추출한다. 제안하는 기법은 스캔 데이터 의복 분석과 의복 분석결과를 활용한 의복 피팅으로 나누어진다. 의복 분석과정은 세부적으로 삼차원 스캔 데이터에 대해 의복 분할, 신체 자세 및 형상 추정, 내의 텍스쳐와 피부 색상 추출로 나누어진다. 의복 분할 과정에서는 레이어드 룩을 분할을 위해, 상의를 입은 순서에 따라 계층적인 분류를 한 LIP+ 데이터셋을 바탕으로 전이학습시킨 레이어드 룩 혼합 분할기를 제안한다. 신체 자세 및 형상 추정에서는 반복법을 통해 가중치를 갱신하여, 오차가 심한 부분을 최적화하는 신체 추정 방법을 제안한다. 스캔 당시 겹쳐져 소실된 부분의 정보를 획득하기 위해 내의 텍스쳐와 피부 색상 추출 방법을 구현한다. 의복 피팅에서는 의복 분석 결과를 바탕으로 신체 모델에 의복을 피팅한다. 본 연구에서 제안하는 기법은 스캔 데이터의 외투와 내의의 분할 정확도를 증가시키고 스캔 데이터의 신체 모델 추정을 최적화시킨다.
