The process of decomposing target images into their internal properties is a difficult task due to the inherent ill-posed nature of the problem. The lack of data required to train a network is a one of the reasons why the decomposing appearance task is difficult. In this paper, we propose a deep learning-based reflectance map prediction system for material estimation of target objects in the image, so as to alleviate the ill-posed problem that occurs in this image decomposition operation. We also propose a network architecture for Bidirectional Reflectance Distribution Function (BRDF) parameter estimation, environment map estimation. We also use synthetic data to solve the lack of data problems. We get out of the previously proposed Deep Learning-based network architecture for reflectance map, and we newly propose to use conditional Generative Adversarial Network (cGAN) structures for estimating the reflectance map, which enables better results in many applications. To improve the efficiency of learning in this structure, we newly utilized the loss function using the normal map of the target object.
대상 영상을 내부 성질로 분해하는 과정은 그 과정 본연의 제한이 적은 특성 때문에 어려운 일에 속합니다. 그 중 학습에 필요한 데이터가 부족한 것도 어려운 이유 중 하나입니다. 이 논문에서는 영상 내 대상 물체의 재질 인식을 위한 딥러닝 기반 반사도 맵 (Reflectance Map) 예측 시스템을 제안하여, 본 영상 분해 작업에서 발생하는 제한이 적은 문제를 완화시켜 보고자 하였습니다. 또한 예측한 반사도 맵을 이용한 양방향 반사도 분포 함수 (BRDF) 매개변수 예측, 환경 맵 예측 및 재질 분류 방법을 제안합니다. 본 딥러닝 네트워크의 학습에 합성 데이터 셋을 사용하여 데이터 부족 문제를 완화하였습니다. 기존에 제안되었던 딥러닝 기반 반사율 분포도 예측 구조를 벗어나 조건적 적대적 생성 신경망 (cGAN) 구조를 활용하여 기존 방법에 비하여 더 높은 해상도를 가지는 반사율 분포도를 예측해 낼 수 있었고, 이를 이용하여 여러 적용 분야에서 좋은 결과를 이끌어 내었습니다. 또한 본 구조의 학습의 효율을 높이기 위해 대상의 법선도를 활용한 손실함수를 새롭게 이용하였습니다.
