In this paper, our goal is estimating depth information from a single camera system. From two off-centered apertures for visible and infrared (IR) spectra, we obtain two images which have a disparity in the RGB-IR color filter array. Since pixel spectral responses of RGB and IR are not ideally isolated, it generates leakage signals which are passed through the other aperture. Because the leakage signals degrade the depth accuracy and the image quality, we propose an adaptive leakage compensation method using an illuminant estimation algorithm. Using IR information, we determine the scene illuminant more correctly than the previous method with only RGB information. Experimental results show that the proposed method can accurately estimate the illuminant in normalized RGB-IR color space, and increase the depth accuracy and the image quality by canceling out leakage signal.
깊이 정보 추출을 위해 다양한 연구가 진행되어 왔지만, 방법에 따라 복수의 카메라, 추가적인 광원과 센서, 또는 색상 부정합을 보정하는 추가적인 알고리즘이 필요하여 시스템 및 하드웨어 복잡도가 크다. 우리는 기존의 방법에 비해 복잡도가 낮은 방법으로써 가시광선 조리개와 적외선 조리개를 동시에 사용하여 단일 센서에서 깊이를 추출 하는 OA 카메라 시스템을 통해 깊이 정보를 추출하였다. 하지만 OA 카메라 시스템에서 RGB 픽셀과 IR 픽셀의 스펙트럼 응답은 서로 중첩되어 있기 때문에, 서로 다른 조리개로부터 들어온 신호에 의해 누출 신호가 발생한다. 이는 영상에 블러를 발생시키고, 깊이 정보의 정확도를 떨어뜨린다. 이 논문에선 누출 신호와 원 신호 간의 비례 관계를 이용하여, 영상의 광원에 따라 적응적으로 누출 신호를 추정하여 제거하는 방법을 제안한다. 또한 적외선 정보를 추가로 이용하여 영상의 광원을 추정함으로써, RGB 정보를 이용하는 기존의 방법 보다 더욱 정확히 영상의 광원을 추정 하는 방법을 제안한다.
