Monte Carlo rendering is considered to be de facto standard of photorealistic rendering as it can simulate any light interaction. However, Monte Carlo rendering suffers from noise when there are insufficient samples. The origin of Monte Carlo noise comes from point sampling random parameters which are given as input. In this context random parameter filtering(RPF) identifies Monte Carlo noise and removes them by using joint bilateral filters with consideration of dependency between scene features such as color, world space coordinate, normal, and texture with random parameters which is measured by mutual information, a widely used concept in information theory. RPF shows remarkable result
even when there are samples as small as 8 per pixel without adaptive sampling. However, RPF takes a lot of time because it has to take thousands of neighbor Monte Carlo samples, compute their mutual information, and filter each sample in a pixel one-by-one.
In this paper, we propose Pixel-based random parameter filtering. Instead of running random parameter filering algorithm per sample, we modified it to run per pixel. Calculation of mutual information, which has to be done sample-by-sample because of the necessity to analyze effects of random parameters on each sample, can be significantly reduced by taking superresolution approach. Our results show orders of magnitude speed acceleration with little loss in quality.
몬테카를로 렌더링(Monte Carlo rendering)은 광역 조명(Global illumination)을 위하여 가장 일반적으로 사용되는 방식으로써, 물리적으로 올바른 가상의 이미지를 얻기 위하여 사용된다. 빛은 주변 사물과 반사, 굴절, 산란 등을 포함한 여러가지 복잡한 상호작용을 하기 때문에 렌즈, 시간, 지역조명 등 다차원 적 요소를 고려해 샘플링 하여 실제의 적분 값을 추정하게 된다. 이러한 고려 요소들은 임의의 분포를 갖고 이것은 분석적으로(analytic) 해결할 수 없기 때문에 샘플 수가 적을 경우 올바른 적분 값에 충분히 근접하지 못하여 그 결과 이미지의 노이즈가 생긴다. 더 많은 샘플링을 하기 위해서는 더 많은 계산 자원을 필요로 하는데, 계산 자원에는 한계가 있기 때문에 한정된 샘플을 분석하여 더 좋은 적분 값을 추정하는 기술, 즉 이미지를 필터링 하는 기술들이 지금까지 활발히 연구되어 왔다.
임의 인자 필터링(Random Parameter Filtering)은 최신 몬테카를로 노이즈 제거 기술 중 하나로써, 가중 연결 양방향 필터(weighted joint bilateral filter)를 사용해 노이즈를 제거한다. 좌표, 표면의 수직 방향, 텍스쳐 등 추가적인 지형 정보를 사용하여 연결 양방향 필터의 가중치를 구하되, 색깔 및 추가적 지형 정보와 시간, 렌즈, 영역 조명과 같은 임의 인자와의 상관관계를 고려한다. 이 기술의 강점은 모든 관계의 분포를 블랙박스로 가정하기 때문에 어떤 관계에든 일반적으로 적용할 수 있다는 점과 픽셀당 8개 정도의 샘플로도 훌륭한 필터링 결과를 보인다는 점이다.
그러나 임의 인자 필터링은 일반적으로 사용하기에 느리다는 단점이 있다. 처음 제시된 논문에서와 같이 픽셀당 샘플이 8개 밖에 없을 때는 속도가 허용범위 이내이지만 픽셀당 더 많은 샘플이 있을 경우, 속도가 점점 더 느려지며, 느려지는 폭이 점점 더 증가한다.
본 논문은 이러한 임의 인자 필터링의 문제를 해결하기 위해 픽셀 기반 임의 인자 필터링(Pixel-based Random Parameter Filtering)을 설명한다. 필터링을 위한 이웃 샘플의 검출 및 필터링이 모두 샘플 하나하나 마다 따로 이뤄져서 계산 복잡도가 픽셀당 샘플수에 비례하는 원래의 임의 인자 필터링과 달리, 픽셀 기반 임의 인자 필터링은 해당 동작들이 픽셀 단위로 이뤄진다. 따라서, 계산 복잡도가 오로지 픽셀의 수와 필터링 창 크기에만 비례하게 되어 픽셀당 샘플 숫자가 많아져도 크게 느려지지 않는다. 가중 연결 양방향 필터를 위한 가중치 계산에는 색과 지형 정보, 그리고 임의 인자 사이의 관계를 구하는 전송 정보(mutual information)의 계산이 필요한데, 이는 반드시 샘플 단위로만 이뤄져야 하기 때문에 이 부분은 픽셀 기반으로 동작 할 수 없다. 우리는 이 부분에서 생기는 병목 현상을 해결하기 위해 초해상도(superresolution) 기법을 도입하였다. 가중치를 이미지의 일부에 대하여 먼저 구한 다음 가중치를 추가 지형정보를 이용해 보간하는 방식이다. 보간을 할 때 그 어떤 샘플도 보간을 하기에 적합하지 않으면 완전히 새로 계산하기 때문에 보간을 하지 말아야 할 경우도 하는 일은 발생하지 않아 정확도가 높다.
본 논문의 방법을 사용하면 임의 인자 필터링과 비슷한 결과를 얻으면서 속도는 수배 이상 빨라진다. 특히 픽셀당 샘플 수가 많아질 경우 본 논문의 방법이 원래의 임의 인자 필터링에 비해 점점 더 상대적으로 빨라진다.
