In augmented reality (AR), photorealistic rendering of virtual contents inserted into the physical world is one of the key factors for providing immersive experiences to users. Especially, estimating and applying a real-world lighting condition enable virtual objects to have realistic shading and shadow effects through the physical process of the light. As a result, users can have perception of realism and presence of the virtual objects. However, it is a challenging problem to estimate incident lights without using special gadgets such as a camera with fish-eye lens. Moreover, inferring dynamically changing illumination is highly difficult, which is often found in an AR environment. Although previous approaches from computer graphics and vision areas effectively solved an inverse rendering problem, including lighting estimation, using various computational algorithms, most of them required high computation costs, thus causing difficulties in their application to AR. To effectively handle such challenging problem, this dissertation proposes real-time methods for estimating a lighting condition in AR. To be specific, it contains progressively developing methods, including the deep learning-based approach to estimate omnidirectional incident lights by observing the reflected lights from a reference object, outdoor lighting estimation using global-scene data such as street-view images and 3D geometry, and more practical lighting estimation which is robust to the general input images captured in various indoor and outdoor scenes. Through these methods, this dissertation finds a more optimized and effective light-estimating method to enhance the visual coherence between the real world and the virtual objects, which finally allows users to have realistic AR experiences.
증강현실에서 사용자에게 몰입감있는 경험을 제공하기 위해서는 실제 환경에 삽입된 가상의 콘텐츠를 사실적으로 렌더링하는 것이 핵심 요소 중 하나이다. 특히 현실 공간의 조명 조건을 파악하는 것은 빛의 물리적인 작용을 가상 객체에 적용함으로써 주변의 실제 객체들과 비슷한 음영 및 그림자 효과를 만들어낼 수 있게 한다. 이는 가상의 객체가 해당 물리 공간에 실제로 존재하는 듯한 사실감을 사용자에게 제공한다. 하지만, 360 카메라와 같은 특수한 장비 없이 전방향에서 들어오는 빛을 정확하게 추정하는 것은 많은 제약이 따른다. 더욱이, 증강현실의 특성상 동적으로 변하는 조명 조건을 실시간으로 획득하는 것은 굉장히 어려운 일이다. 기존의 컴퓨터 그래픽스 및 비전 분야의 연구들은 이미지 기반의 계산적 알고리즘들을 통해 조명 조건 추정과 같은 역방향 렌더링 문제를 해결하였지만, 대부분의 방법들은 많은 계산량을 요구하기에 증강현실에서 활용되기 어렵다. 이를 해결하고자 본 박사 학위 논문에서는 증강현실에 적합한 실시간 조명 조건 추정 방법들을 다룬다. 구체적으로는 딥러닝을 기반으로 실제 공간의 특정 물체로부터 반사되는 빛을 분석하여 전방향 입사광을 추정하는 방법, 광범위한 거리뷰 이미지 및 지형 데이터 기반의 정확도 높은 실외 조명 조건 추정 방법, 증강현실 기기로부터 들어오는 일반적인 실내외 환경에서의 입력 이미지로부터 안정적이면서 정확도 높게 조명을 추정하는 방법 등을 다룬다. 위의 점진적인 연구들을 통해 증강현실에 더욱 최적화된 조명 조건 추정 방법을 발전시키고, 최종적으로는 실제 환경과 이질감 없는 가상객체 렌더링을 수행함으로써 사실적인 증강현실을 가능하게 하고자 한다.
