As many new technologies related to imagery displays such as TV’s, movies, and photo sharing online community are introduced, population of interests has grown excessively large and it became easy to share personal digital images and their manipulated versions such as image synthesis and 3D reconstruction. In this thesis, we introduce a novel idea of a unified framework for both 2D face synthesis and 3D model reconstruc-tion for facial images. The main goal of our 2D face synthesis problem is to synthesize two input faces that depict different textures and structures (e.g., human vs. statue) with the least artifact. In order to achieve such task, we borrow the idea from the image completion methods to model our problem as MRF graph labeling of texture patch transfer. The proposed method allows us to obtain pleasing results for various inputs of facial images. For 3D face reconstruction, we propose a novel method for the single view 3D reconstruction by fol-lowing the fundamental framework of the patch transfer algorithm. Even though the state-of-the-art methods provide desired output of 3D face models, these often require user input. However, assuming that a large data-base of general 3D face models is provided, this thesis shows an automatic reconstruction of 3D face model through the MRF model based learning algorithm. Although it may seem that the two problems of image syn-thesis and 3D reconstruction are fundamentally different, this thesis explains how the two problems are con-nected and thus can be modeled in a unified framework. It also shows theoretical analysis of the results ob-tained from the proposed system. Finally, the thesis provides stereoscopic view of the reconstructed 3D face models to validate our system and provide a new possibility for various image display applications including the 3D display.
현대 기술의 많은 발전으로 영상 기술이 쉽게 일반 사람들에게도 보급화가 되었다. 스마트폰, 소셜 네트워크, 혹은 3D 영화와 같은 기술들이 발전함에 따라 사람들의 관심이 영상에 집중되기 시작하였다. 스마트폰의 경우 빠르게 자신 혹은 주변 사람들의 얼굴을 찍어 변형 시켜보기도 하고 닮은 꼴을 찾는 엔터테인먼트 어플리케이션이 인기를 끌고 있으며, 온라인상에서 자신이 직접 촬영한 사진 혹은 그림을 편집함으로써 재미난 결과를 공유하고 있다. 또한 3D 영화와 3D TV가 소개되면서 자신들의 얼굴을 3D로 복원시킬 수 있는 어플리케이션들이 등장하고 있다. 하지만 연구를 하는 단계에서는 얼굴 영상 편집과 3D복원은 다른 문제로 취급을 하며 서로 다른 방법들을 제시하고 있는 것이 현실이다. 본 논문에서는 이러한 두 가지의 다른 문제를 하나의 문제로 보고 하나의 해답을 제공하는 새로운 방법을 연구하며 제시하고 있다. 영상처리에서 최근 들어 새롭게 이용되고 있는 패치기반으로 영상의 텍스쳐 혹은 구조를 설명하며, 이러한 패치들을 사용하여 새로운 영상을 합성 혹은 편집을 하게 된다. 본 논문에서는 패치기반으로 영상의 구조적 정보를 전달하는 과정에서 텍스쳐만을 새롭게 재구성하는 것이 아닌 3차원 정보도 함께 재구성을 할 수 있다는 가능성을 보여주고 있다. 두 개의 서로 다른 텍스쳐를 가지는 얼굴 영상을 패치기반으로 재구성함으로써 한 얼굴의 텍스쳐를 가지며 다른 얼굴의 구조를 갖는 새로운 영상을 얻을 수 있는데, 이러한 과정에서 만약 한 얼굴의 3차원 정보를 미리 알고 있다면 똑같이 패치기반으로 다른 얼굴에 3차원 정보를 재구성 할 수 있다는 연구를 본 논문에서 제시하고 있다. 이렇게 복원된 얼굴의 3차원 정보를 가지고 또한 최근에 가장 많이 사용되는 3D 디스플레이 기술 중에 하나인 스테레오 영상을 생성을 할 수 있게 된다. 본 논문은 두 가지의 다른 문제인 영상 합성 문제와 3차원 복원의 문제를 예제를 이용한 패치기반의 구조적 영상 재구성으로 제시하고 있다.
