Unlike research on deep learning methods limited to the existing image environment (indoor or outdoor), this study aims to estimate suitable light sources from both indoor and outdoor environment images through one deep learning method. The network configuration consists of two steps: the Crop-to-PanoLDR network that estimates lighting conditions suitable for indoor or outdoor scenes from a single image as LDR environment maps, and the LDR-to-HDR network creates HDR environment maps which contain light information from LDR environment maps. Through such a process, the HDR environment map generated from a single image is applied when rendering a virtual object in a virtual environment to check the direction of light and ambient light. In order to verify the Crop-to-PanoLDR network, we trained this network with only the indoor scene images, only outdoor scene images and both indoor and outdoor scene images then compared the results. In addition, the effect of the presence of a classification head that classifies indoor and outdoor scenes in the Crop-to-PanoLDR network on training results was evaluated. Also, a user test was conducted to compare the estimated HDR environment map with the existing research results.
기존의 이미지 환경 (실내 혹은 실외)에 국한된 딥러닝 방법의 연구와 달리 본 연구에서는 하나의 딥러닝 방법을 통해 실내와 실외 환경 이미지 모두에서 알맞은 광원을 추출하는 것을 목표로 한다. 네트워크의 구성은 단일 이미지로부터 실내 혹은 실외 환경에 맞는 광원을 LDR 환경 맵으로 추출하는 Crop-to-PanoLDR 네트워크와 추출된 LDR 환경 맵을 빛의 정보를 담은 HDR 환경 맵으로 생성하는 LDR-to-HDR 네트워크 두 단계로 구성된다. 이와 같은 과정을 통해 단일 이미지로부터 생성된 HDR 환경 맵은 가상환경에서 가상 객체를 렌더링할 때 적용되어 가상 객체에 비춰지는 빛의 방향과 주변광 등을 확인하게 된다. Crop-to-PanoLDR 네트워크의 검증을 위하여 실내 환경 데이터만 학습한 결과와 실외 환경 데이터만 학습한 결과, 실내와 실외 환경의 모든 데이터를 학습한 결과를 비교하여 검증하였다. 또한, Crop-to-PanoLDR 네트워크에서 실내와 실외 환경을 구분하는 classification head의 유무가 학습 결과에 미치는 영향을 실험, 검증하였다. 최종적으로 생성된 환경 맵을 기존의 연구 결과와 비교 실험하는 사용자 테스트를 진행하였다.
