Recent advances in computer vision and graphics have enabled unprecedented levels of realism in photorealistic rendering, opening new dimensions in entertainment, education, and industrial applications. Rendering refers to a process of creating digital images of an object or a scene from 3D data using computers and algorithms. The 3D data includes 3D geometry, lighting conditions, shading information, and camera parameters of the object or the scene. Image-based modeling is the inverse process of rendering, i.e., reconstructing 3D data from 2D images. The 3D data to be recovered can be 3D geometry, reflectance of a surface, camera viewpoints, or lighting conditions. In this dissertation, three image-based modeling problems are discussed. First, image-based modeling using flash photography captures 3D geometry and reflectance of a static object using a single camera and a flashlight attached to the camera. An alternating and iterative optimization framework is proposed to jointly solve for several unknown properties such as 3D geometry and reflectance. Second, image-based modeling at microscale reconstructs 3D normals and reflectance of a surface at microscale. A specially designed acquisition system, as well as an image-based modeling algorithm for microscale material appearance, are proposed. Lastly, image-based modeling for human hair describes a novel 3D reconstruction algorithm for modeling high-quality human hair geometry. We believe that our work on these advanced image-based modeling problems will boost hyper-realism in computer graphics.
컴퓨터 비전과 컴퓨터 그래픽스 분야의 최근 기술 발전은 지금껏 보지 못한 새로운 수준의 리얼리즘을 가능하게 하고, 이는 엔터테인먼트, 교육 등의 산업 분야에 새로운 지평을 열었다. 렌더링은 컴퓨터와 알고리즘을 이용하여 3D 데이터로부터 2D 디지털 영상을 만들어내는 과정을 뜻한다. 여기서 3D 데이터는 물체의 3D 형상, 조명 환경, 음영 정보, 카메라 파라미터 등을 포함한다. 이미지 기반 모델링은 렌더링의 역과정, 즉 2D 영상으로부터 3D 데이터를 복원하는 것을 말한다. 복원되는 3D 데이터는 3D 형상, 표면 반사 함수, 카메라의 시점, 또는 조명 환경 등이 될 수 있다. 본 박사 학위 논문은 세 가지 이미지 기반 모델링 문제를 다룬다. 첫 번째, 플래시 영상을 이용한 이미지 기반 모델링에서는 하나의 카메라와 그에 부착된 플래시 조명을 이용하여 물체의 3D 형상과 반사 함수를 측정하는 문제를 다룬다. 이를 위해 3차원 형상과 반사 함수 등 여러 개의 미지 파라미터를 측정하기 위한 교차적이고 반복적인 최적화 기법을 제안한다. 두 번째, 마이크로 스케일에서의 이미지 기반 모델링에서는 표면의 3D 법선 벡터와 그 반사 함수를 마이크로 스케일에서 측정하는 문제를 다룬다. 여기서는 마이크로 스케일 재질 표현을 위한 이미지 기반 모델링 알고리즘과 함께 마이크로 스케일 데이터 획득을 위해 특별히 디자인된 측정 시스템을 소개한다. 마지막으로 사람 머리의 이미지 기반 모델링에서는 고품질 머리카락 3D 형상을 모델링하기 위한 3D 복원 알고리즘을 소개한다. 이러한 고급 이미지 기반 모델링 문제들은 컴퓨터 그래픽스 분야의 극사실적 리얼리즘을 가능하게 할 것으로 기대한다.
