We propose a novel method for generating a texture map for a 3D human model from a single image. Generating the texture map for a 3D human model from a single image is challenging because the image provides only partial information. To generate a plausible texture map, occluded textural patterns, which are invisible in the source image, need to be synthesized with relevance to the visible region of the image. Moreover, the generated texture map should be semantically aligned with the UV space of the template mesh. To generate a complete texture map from a single image while overcoming the aforementioned challenges, we propose a novel texture synthesis method that incorporates networks for sampling and refinement. The sampler network fills in the occluded regions of the source image in texture space using the information from the visible region. The refinement network refines and adjusts the sampled texture to create a detailed and aligned texture in the UV space of the template mesh. We conducted experiments to show that our method outperforms previous methods qualitatively and quantitatively.
본 논문은 단일 이미지로부터 3D 인물 텍스처 맵을 생성하는 새로운 방법을 제안한다. 단일 이미지의 제한적이고 부분적인 정보만을 제공받을 수 있기 때문에, 단일 이미지로부터 3D 인물 텍스처 맵을 생성하는 것은 쉽지 않다. 적절한 텍스처 맵을 생성하기 위해선 입력 이미지에서 누락된 텍스처 패턴을 주어진 부분과의 연관성을 바탕으로 생성해야 하며 나아가 생성된 텍스처 맵은 템플릿 모델의 UV와 의미론적으로 정렬되어야 한다. 본 논문에선 이를 샘플링과 정교화 네트워크를 통해 극복하는 방법을 제시한다. 샘플러 네트워크는 입력에서 누락된 부분을 주어진 부분으로부터 참조하여 샘플링함으로써 부족한 정보가 메꿔진 텍스처를 생성한다. 이후 샘플링된 텍스처는 정교화 네트워크에 의해 템플릿 모델의 UV에 정렬되도록 정제되고 조정된다. 실험을 통해 본 논문에서 제안한 방법이 정성적 그리고 정량적 측면에서 앞선 연구의 결과를 능가한다는 것을 검증하였다.
