In this thesis, we deal with a problem of separating the effect of reflection from multiple polarized images captured behind glass in the context of computational photography. A captured image can be expressed as a superposition of the reflection layer and the background layer. Since the reflected and transmitted light is polarized, we may reduce the effect of reflection by placing a polarizer in front of the camera lens. The polarizer would fully eliminate reflection at Brewster`s angle, which is hard to set exactly in practice. We propose a physically-based approach to high-quality separation of the reflection layer and the background layer from multiple polarized images captured from the same view point but with different polarizer angles.
The technical challenge of the problem is that the mixing coefficient for the reflection and background layers is spatially-varying. Derived from physical equations of polarization, we model an image with the effect of reflection and transmission as a pixel-wise linear combination of these layers with the spatially-varying mixing coefficient determined by physical quantities such as the angle of incidence, the orientation of the plane of incidence and the polarizer angle. Since it is hard to measure or estimate the physical quantities, we first propose an approximation method to obtain reasonable separation only relying on the information in the images, by formulating the reflection separation problem as a constrained optimization problem. This method uses an approximate reflection model which only deals with single-surface reflection, but not polarization of the transmitted light. Moreover, selective user correction is often required to enhance the quality of the reflection separation. We next propose a physically-based method to overcome such issues. We use a physically-based reflection model which deals with double-surfaced reflection and the spatially-varying mixing coefficient of both layers. On top of the model, we present a fully-automatic reflection separation method which determines the mixing coefficient based on physical properties of polarization and hierarchically refines the reflection separation by using the constrained optimization method.
The contributions of this thesis are three fold: First, we provide a physically-based reflection model which can deal with the spatially-varying mixing coefficient for the reflection and background layers. Next, we suggest an image-based method as an approximation scheme while still modeling the mixing coefficient as a matte which is spatially-varying only over the reflection layer. Finally, we present a hierarchical method for fully-automatic separation based on physical properties of polarization. Thorough experiments, we demonstrate that our approach can generate superior results to those of previous methods.
본 박사학위 논문은 유리창 뒤에서 촬영한 여러 장의 편광 영상들로부터 반사 효과를 제거하는 계산사진학 문제를 다룬다. 편광 영상은 반사 레이어와 배경 레이어의 혼합으로 나타내어진다. 반사광과 투과광은 편광성을 띠므로, 카메라 렌즈에 편광 필터를 장착하여 반사 효과를 줄이는 것이 가능하다. 그러나 편광 필터는 입사각이 실제 촬영에서 정확히 만족되기 어려운 브루스터 각과 일치할 경우에만 완전히 반사를 제거한다. 이와 같은 한계를 극복하기 위하여, 같은 시점에서 편광 필터의 각도를 달리하며 촬영한 여러 장의 편광 영상들로부터 반사 레이어와 배경 레이어를 분리하는 물리 기반 접근법을 제시한다.
본 문제가 내포하는 기술적 어려움은 반사 레이어와 배경 레이어의 국지적 기여도가 매 입력 영상마다 다르게 변화하는 점이다. 편광 현상에 관한 물리식들로부터 유도하여, 반사가 섞인 영상을 반사 레이어 및 배경 레이어가 매 픽셀마다 혼합계수에 의해 선형결합된 형태로 모델링할 수 있다. 이 혼합계수는 영상 내에서 국지적으로 변화하며, 입사각, 입사면의 방향, 편광 필터의 각도와 같은 물리량들에 의해 결정된다. 그러나 이 물리량들을 정확히 측정 또는 추산하기 어려우므로, 우선 반사 분리 문제를 조건부 최적화 문제로 형식화하고 입력 영상들에서 얻은 정보만을 이용하여 합당한 결과를 생성하는 근사 방법을 제시하였다. 이 방법은 단층 반사 현상만을 다루고 투과된 빛의 편광성을 고려하지 않는 근사적 반사 모델을 사용하며, 반사 분리 결과를 향상시키기 위하여 종종 사용자의 선택적 수정 작업을 요한다. 이와 같은 문제를 해결하기 위하여 물리 기반 방법을 제시하였다. 이 방법에서 사용된 물리 기반 반사 모델은 다층 반사 현상을 다루고 반사광 및 투과광의 국지 기여도 변화를 모두 고려한다. 본 모델에 기반하여, 편광 현상의 물리적 성질을 사용하여 혼합 계수를 결정하고 계층적인 조건부 최적화 방법을 통하여 점진적으로 반사 분리 결과를 향상시킴으써 자동으로 반사를 분리한다.
본 연구의 학술적 공헌은 다음과 같다. 첫째, 반사 레이어와 배경 레이어의 국지적으로 변화하는 혼합 계수를 고려한 반사 모델을 제안하였다. 둘째, 매트 (matte) 영상으로 나타낸 혼합 계수를 반사 레이어에 대해서만 국지적으로 변화하도록 모델링하고 영상 정보에 기반하여 반사를 분리하는 근사적 방법을 제안하였다. 셋째, 편광 현상의 물리적 성질에 기반하여 자동으로 고품질의 반사 분리 결과를 얻는 계층적 방법을 제안하였다. 다수의 실험을 통하여, 제안된 방법이 이전 방법보다 월등한 결과를 생성함을 보였다.
