The utilization of auxiliary features such as geometric buffers G-buffers and path descriptors P-buffers has greatly enhanced the denoising process in Monte Carlo (MC) techniques. However, recent methods let the neural network to implicitly learn how to exploit these auxiliary features, which may result in suboptimal utilization of each type. To address this issue, we propose a denoising framework that incorporates explicit pixel-wise guidance for leveraging auxiliary features. Our approach involves training two separate denoisers, each trained with a specific auxiliary feature G-buffers or P-buffers. We then employ an ensembling network to generate per-pixel ensembling weight maps, which serve as guidance for determining the dominant auxiliary feature for reconstructing each individual pixel. These weight maps are used to combine the outputs of the two denoisers. Additionally, we propagate the pixel-wise guidance to the denoisers by jointly training them with the ensembling network, encouraging the denoisers to focus on regions where G-buffers or P-buffers are more relevant for denoising. Our experimental results demonstrate significant improvement in denoising performance compared to a baseline model that utilizes both G-buffers and P-buffers.
기하 정보나 광선 경로 정보와 같은 렌더링 보조 피처들은 몬테카를로 노이즈 제거에 상당한 성능 향상을 가져다주었다. 그러나 최근 기법들은 노이즈 제거 딥러닝 모델의 학습 과정에서 보조 피처 활용에 대한 정보를 주지 않아 보조 피처들을 효과적으로 활용하기 어렵다. 이러한 문제를 해결하기 위해 본 연구는 픽셀 단위로 보조 피처 활용에 대한 가이던스를 제공하는 노이즈 제거 기법을 소개한다. 먼저 기하 정보와 광선 경로 정보를 서로 다른 노이즈 제거 모델 학습에 각각 활용한다. 그런 다음 앙상블 네트워크를 통해 각 픽셀당 앙상블 가중치 맵을 얻는다. 이 맵은 각 픽셀을 복원하는 대에 어떤 보조 피처를 우세하게 활용해야 하는지를 나타내는 가이던스로서 역할을 한다. 해당 가중치 맵을 통해서 두 개의 노이즈 제거 모델의 결과를 앙상블하여 최종 노이즈 제거 결과를 얻는다. 이에 더해 픽셀 단위 가이던스를 노이즈 제거 모델에 전파하기 위해 노이즈 제거 모델과 앙상블 모델을 동시에 학습하여, 기하 정보 혹은 광선 경로 정보가 상대적으로 중요한 영역에 노이즈 제거 모델이 집중하도록 한다. 기하 정보와 광선 경로 정보를 동시에 활용하는 기존 노이즈 제거 모델들에 제안하는 프레임워크를 적용하여 수치와 시각적 성능이 개선됨을 확인하였다.
