In image-based modeling and rendering, once the geometrical model is obtained, it is a key step to recover the information about the surface properties, such as color, shininess or roughness, represented by the texture map. The realism of a 3D model strongly depends on the quality of its texture map. Even with a rough approximation of the geometry of the reconstructed object, it has been proved that texture maps effectively enhance the visual realism of the model. In the construction of a texture map, multiple observations of a same region of the object surface are available; correctly combining them to retrieve all the information contained in those observations is key to the final realism of the model.
In this thesis, the issues involved in texture recovery are presented and an effective method addressing the problem of texture recovery from multiple images is proposed. The proposed method consists in an effective weight optimization method that iteratively improves the weights in order for the estimated texture to match the observed images better.
During the process, image resampling is required in several steps. In order to alleviate the aliasing effect caused by undersampling, anti-aliasing filtering must be considered. The need to process multiple images and patches demands for an important speed rate, but not at the cost of quality sacrifice. A fast resampling methods based on a Gaussian kernel is proposed in order to reduce the computational burden without penalizing the quality of the resampled images.
In the experiments performed on several datasets, the proposed method shows the ability to correctly recombine the multiple inputs preserving the details available in each of the images and smoothly blending them to avoid boundary discontinuities.
영상 기반 모델링 및 렌더링에서 물체에 대한 깊이 정보를 담고 있는 기하학적인 모델이 획득되었을 때, 색상이나 반짝임 또는 거친 정도 같은 물체 표면의 성질을 표현하는 텍스처 지도를 복원하는 일은 매우 중요한 과정이다. 이것은 3차원 모델의 사실성이 그 텍스처 지도의 질에 상당히 의존하기 때문이다. 심지어 복원된 물체의 기하학적인 정보가 매우 많이 근사화되었더라도, 잘 표현된 텍스처 지도는 단순화된 3차원 모델의 시각적인 사실성을 효과적으로 개선할 수 있다는 점은 많은 연구들로부터 입증되어 왔다. 따라서 물체 표면 상의 같은 영역에 대한 여러 시점에서의 영상들이 사용 가능할 때, 이 영상들을 가지고 표면에 대한 모든 정보를 복구하는 일은 3차원 모델링의 핵심 부분이라 할 수 있다.
이 논문에서 우리는 다중 시점 영상들로부터 텍스처 지도를 복원할 때 나타나는 문제들을 나열하고, 이 문제들을 해결하기 위한 효과적인 알고리즘을 제안한다. 여기서 제안된 알고리즘은 획득된 다중 시점 영상들을 좀 더 잘 정합하기 위해 필요한 영상 간 가중치를 효과적으로 할당하는 반복적인 최적화 방법을 포함한다.
텍스처 지도를 복원하는 동안, 몇몇 단계에서 영상의 재표본화 과정이 필요하다. 이 재표본화 과정은 저표본화에 의해 야기되는 앨리어싱 현상을 완화시키기 위해서 안티 앨리어싱 필터링을 반드시 고려해야 한다. 또한 다수의 영상들과 패치들을 처리하기 위해서는 화질의 저하 없이 처리 시간을 높일 방법을 모색해야 한다. 우리는 이 같은 문제점들을 해결하기 위해 가우시안 커널에 기반한 빠른 속도의 재표본화 방법을 제안한다.
몇몇 데이터들을 가지고 실행한 실험에서 우리는 제안된 방법이 각 영상 내의 상세한 부분들을 훼손하지 않고 부드러운 블렌딩을 통해 패치 간 경계 부분에서의 끊김 현상도 제거할 수 있음을 확인할 수 있다.