Augmented reality is a technique that enhances user experience by adding virtual images to the real world environment. In augmented reality, rendering virtual objects realistically is an important challenge for users to feel like the real world. Today, environmental mapping with light estimation is often used, but this method has some limitations. Estimating light sources is an ill-posed problem, and extracting accurate environment maps is difficult. Although the exact environment map is extracted, it is also difficult to generate realistic images with environment mapping compared to other physically-based rendering techniques. This dissertation presents a way to generate rendering results in the augmented reality system without the light estimation process using deep learning. Given background images and 3d modelings, features are extracted and combined. Then from the combined feature, our network creates images that render 3d models in the background. This method enables an expression of complex light interactions and the generation of realistic images compared to previous methods based on light estimation.
증강 현실 기술은 실제 세계의 환경에 가상의 이미지 등을 추가하여 사용자 경험을 증진시키는 기술이다. 증강 현실 기술에서 사용자가 실제 세계처럼 느끼기 위해서는 가상 물체를 사실적으로 렌더링하는 것이 중요한 과제이다. 현재는 광원 추정을 통한 환경 맵 렌더링 방식을 사용하는 경우가 많으나 이 방법은 몇 가지 한계점이 있다. 광원 추정은 정확한 환경 맵을 추출하는 것은 어려운 문제이며, 또한 환경 맵을 추출하더라도 다른 물리 기반 렌더링 기법에 비해 사실적인 이미지를 만들기 힘들다. 본 학위 논문에서는 심층 학습을 이용해 광원 추정 과정 없이 증강 현실 시스템에서의 렌더링 결과를 생성하는 방법을 제시한다. 주어진 배경 이미지와 3차원 모델로부터 각각 특징을 추출한다. 그리고 추출한 특징들을 합하여 새로운 특징을 만들고 그로부터 배경 속에 3차원 모델을 렌더링한 이미지를 생성한다. 이 방법을 이용하면 복잡한 빛의 상호작용을 표현할 수 있기 때문에 기존의 광원 추정 기반 방식에 비해 사실적인 이미지를 생성하는 것이 가능하다.
