We propose a novel method for removing reflection from multiple images obtained through a short video clip. Motion difference between transmitted and reflection layer is exploited as a key observation for separating layers in each image. Due to an ill-posed nature of reflection separation problem, most of previous approaches model variables with prior assumption or restricted search space so as to shape the problem into a well-posed one. For example, in many works, motion field is modeled by a constrained motion, e.g., homography, epipolar line, etc., to reduce its degree of freedom. We observe that it is redundant to estimate motion field of both layers. Also, the motion estimation of reflection layer itself does not noticeably improve quality of a final separation. Therefore, we parameterize motions only on transmitted layers with an unconstrained search space. This allows us to significantly reduce the number of optimizing variables, as well as to make the proposed method compliant to general scene structures without being restricted by plane or rigid scene assumptions. Additionally, we regularize coherence of transmitted layers by a soft rank-1 penalty, i.e., truncated nuclear norm with rank-1, so that motion fields and other variables are led to better estimation even with a small number of input frames. Combining these key contributing components, we present a joint iterative optimization framework with the guidance of image-structural priors and demonstrate plausible quality of restoration that is competitive to other existing methods.
우리는 짧은 비디오에서 추출된 여러 사진들로부터 반사를 제거하는 방법을 제안하였다. 두 층, 반사된 상이 맺히는 층과 실제 물체가 존재하는 층을 분리하기 위해 두 층간의 움직임 차이를 이용하여 개발하였다. 실제 환경에서 반사제거는 부적절하게 정립된 자연현상으로 많은 이전 방법들은 사전의 가정 혹은 제한된 공간을 이용하여 변수들을 만들었다. 예를 들어, 자유도를 줄이기 위해 호모그래피나 등극선들을 이용하여 움직임에 제약을 두었다. 우리는 이런 과정이 움직임을 추정하는 중복된 방법이라는 것을 관찰했다. 게다가 반사된 층의 움직임 추정은 최종 결과 성능 향상에 큰 도움을 주지 못한다. 이 때문에, 우리는 실제 물체가 존재하는 층의 움직임만 추정하여 다른 제한된 공간 없이 파라매터로 나타냈다. 이로써, 최적화 변수의 개수를 상당히 줄일 수 있었고, 평면으로의 제한 혹은 가정 없이도 일반적인 환경의 구조를 따르는 방법을 개발하였다. 또한, 우리는 소프트 랭크-1 패널티를 주어서 실제 물체가 존재하는 층에 일관성을 주었고, 이로써 더 적은 입력 영상에도 개선된 성능을 보일 수 있었다. 이런 컨트리뷰션들을 결합하여 우리는 영상 구조의 사전정보를 이용한 반복적 최적화 방법을 제안하였고, 기존 경쟁력 있는 방법들에 비해 개선된 결과를 보였다.
