Establishing visual correspondences in multiple images is the core of many computer vision applications such as stereo, motion, tracking, object recognition, etc. To resolve the correspondence problem, many methods have been proposed for decades. However, it is yet to be solved in some aspects - it is still difficult due to photometric variations such as illuminant color changes and specular reflection and inherent image ambiguity. In this dissertation, we focused on the area-based correspondence search approach and proposed a few methods for area-based correspondence search under photometric variations and image ambiguity.
This dissertation is composed of two parts - the first part is for analyzing and compensating photometric variations and the second part is for robust correspondence search under image ambiguity. In the first part, a few methods are proposed based on the dichromatic reflection model to recover the actual colors of scene surfaces - diffuse colors of scene surfaces under the canonical illumination - regardless of photometric variations such as illuminant color change and specular reflection. Recovering the actual colors of scene surfaces is important for the accurate raw matching cost computation under photometric variations. First of all, a voting-based method for specular pixel separation is proposed. In this method, specular pixels are rapidly separated by locally comparing the approximated diffuse colors of image pixels. Separated specular pixels are then used for illuminant chromaticity estimation. To estimate the illuminant color, a new dichromatic method based on the specularity-invariant dichromatic slope and the three-dimensional dichromatic lines space is presented. In this approach, illuminant color estimation is achieved by analyzing the dichromatic line space after projecting separated specular pixels into the dichromatic line space. Especially, for uniformly colored surfaces, illuminant color estimation and reflection components separation are done at the same time by using a smoothness constraint. Finally, a fast reflection components separation method is proposed to recover the actual colors of scene surfaces in the presence of specular reflection. This method rapidly separates reflection components in an iterative framework by using the specularity-invariant color image representation that is named as a specular-free two-band image. The specular-free two-band image has the same profile with diffuse reflection components in an input image and can be used for making computer vision methods robust against specular reflection.
In the second part, a few methods are proposed to get correct correspondences under inherent image ambiguity. First, we propose a new window-based method for measuring (dis-)similarity between image pixels while dealing with image ambiguity efficiently. In this method, support aggregation is achieved using adaptive support-weights that are computed based on color similarity and geometric proximity between pixels. Symmetric dissimilarity is then computed by considering support-weights in both support windows together. This symmetric measure outperforms other area-based local methods on standard benchmark images. Especially, the performance at depth discontinuities is much better than others. Besides the symmetric cost function, two methods for accurate disparity selection are also proposed in this part. The fist method is a local method that selects the disparity of each pixel locally without a smoothness constraint. This method matches only unambiguous pixels based on the pair distinctiveness that we also introduce - large pair distinctiveness guarantees the low probability of false matches. Based on the pair distinctiveness, this method produces a semi-dense disparity map by finding match candidates that have large pair distinctiveness and by using WTA(Winner-Takes-All)-based relaxation. On the other hand, the second method is a global method that uses the BP(belief propagation)-based optimization with new symmetric cost functions. We propose a new symmetric discontinuity cost function for the prior that encodes a smoothness constraint in the MRF(Markov Random Field) stereo model and use the proposed symmetric data cost function for the likelihood. These symmetric cost functions are for considering the reference image and the target image at the same time in a single framework. By using symmetric cost functions, the performance of BP-based correspondence search is greatly improved.
The main contributions of this dissertation are as follows. First, new dichromatic methods are presented to analyze and to compensate photometric variations. The proposed dichromatic methods accurately recover the actual colors of scene surfaces regardless of photometric variations such as illuminant color changes and specular reflection. By performing the proposed dichromatic methods in correspondence search, it is possible to get accurate correspondences even in the presence of specular reflection. Of course, the proposed dichromatic methods can be applied for many other applications besides correspondence search. Second, new correspondence search methods that efficiently deal with image ambiguity are proposed. To get more accurate results, the reference image and the target image are considered at the same time when computing matching costs, pair distinctiveness, and discontinuity costs. The proposed correspondence search methods outperform the other methods on benchmark images. Finally, by combining the proposed dichromatic methods and the proposed correspondence search methods, we can get accurate matching results under photometric variations and image ambiguity.
영상 대응점 탐색은 스테레오, 움직임 추정, 물체 추적, 물체 인식 등과 같은 컴퓨터 비전 분야의 핵심 요소 기술이다. 영상 대응점 탐색 문제를 해결하기 위해 지금까지 많은 방법론이 제안되었지만, 영상 대응점 탐색은 아직도 조명 컬러 변화나 경면 반사와 같은 광학 요소 변화와 영상 모호성으로 인해 어려운 문제로 남아있다. 본 논문에서는 영역 기반 영상 대응점 탐색 방식에 중점을 두고, 광학 요소 변화와 영상 모호성 하에서 강인한 영상 대응점 탐색을 위해 새로운 방법들을 제안하였다.
본 논문은 광학 요소 변화를 분석하고 보상하기 위한 이색성 컬러 항상성 부분과 영상 모호성에 강인한 대응점 탐색을 위한 부분으로 이루어져 있다. 첫 번째 부분에서는 조명 컬러와 경면 반사에 관계 없이 물체의 원래 컬러(기준 조명 하에서 물체의 난반사 컬러)를 복원하기 위해 이색성 반사 모델에 기반한 여러 가지 방법들이 제안되었다. 물체의 본래 컬러를 복원하는 것은 광학 요소 변화 하에서 화소간의 정합 비용을 계산하기 위해 매우 중요하다. 먼저, 영상 내에서 큰 경면 반사를 갖는 화소들을 분리해 내기 위한 보팅 기반 기법이 제안되었다. 경면 반사 화소들은 화소별로 계산된 난반사 컬러를 비교하고, 이 결과를 보팅 함으로써 실시간에 분리될 수 있다. 이렇게 분리된 경면 반사 화소들은 조명의 컬러를 추정하는데 사용된다. 경면 반사 화소를 이용하여 조명의 컬러를 추정하기 위해, 이색성 기울기와 이색성 선 공간에 기반한 방법이 제안되었다. 이 방법은 경면 반사 화소를 이색성 선 공간으로 투영시킨 후에 이색성 선 공간을 분석함으로써 조명 컬러를 추정한다. 특히 단일 컬러 영상에 대해서는 영상 내에서의 평탄 제약 조건을 이용하여 조명 컬러 추정과 반사 성분 분리가 동시에 이루어진다. 마지막으로, 추정된 조명으로 정규화된 영상을 이용하여 난반사 성분과 경면 반사 성분을 빠르게 분리하여, 경면 반사가 있을 때에도 물체의 본래의 색을 복원할 수 있는 방법이 제안되었다. 이 방법은 각 화소별로 계산된 국부 밝기 비를 이용하여 반복적으로 난반사 성분과 경면 반사 성분을 정확하게 분리한다. 이 때 난반사 성분의 변화 특성을 지니고 있는 경면 반사 불변 영상 표현도 제안되었는데, 이는 컴퓨터 비전 기법들을 경면 반사에 강인하게 하기 위해 사용될 수 있다.
두 번째 부분에서 영상 모호성 하에서 강인하고 정확한 대응점 탐색을 위해 몇 가지 새로운 방법들이 제안되었다. 먼저 국부 윈도우를 이용하여 영상 모호성을 효과적으로 감소시키면서 화소간의 유사도를 정확하게 계산할 수 있는 방법에 제안되었다. 영상 화소간의 유사도는 컬러 유사성과 영상 공간에서의 근접성에 의해 계산된 가변 가중치를 이용하여 구해진다. 이때 영상 모호성을 최소화하기 위해 기준 국부 윈도우와 대상 국부 윈도우를 동시에 고려하게 되는데, 이를 위해 두 국부 윈도우에서 각각 구해진 가변 가중치를 동시에 고려한다. 제안된 대칭적 유사도 척도를 이용한 방법은 기존의 국부 방법론들보다 우수한 성능을 보였는데, 특히 거리의 불연속 부근에서는 매우 우수한 성능을 나타냈다. 대칭적 유사도 측정 방식 이외에도 두 가지 대응점 선택 기법이 제안되었다. 첫 번째 방법은 각 화소의 대응점을 평탄 제약 조건 없이 따로 구하는 국부 방법으로 이 방법은 영상 모호성에 의한 정합 오류를 줄이기 위해 영상 내의 모든 화소에 대해 대응점을 탐색하지 않고, 큰 구별성을 갖는 화소에 대해서만 대응점을 탐색한다. 이를 위해 화소 쌍의 구별성을 정의할 수 있는 새로운 척도도 제안하였는데, 큰 구별성을 갖는 화소쌍은 낮은 오정합 확률을 의미한다. 따라서 이 방법은 큰 구별성을 갖는 화소쌍을 찾아냄으로써 소수의 화소들에 대해 매우 정확한 대응 관계를 얻어낼 수 있다. 반면 두 번째 방법은 새롭게 제안된 정합 비용 함수를 BP(Belief Propagation) 최적화 기법에 적용한 전역 방식이다. 이 방법을 위해 MRF(Markov Random Field) 스테레오 모델에서 평탄 제약 조건을 나타내는 prior 모델을 위해 새로운 불연속 비용 함수를 정의하고, 앞서 제안된 대칭적 유사도 측정 함수를 MRF 모델에서의 likelihood 를 위해 사용하였다. 이러한 대응적 정합 비용 함수는 기준 영상과 대상 영상을 하나의 틀 안에서 동시에 고려해 주기 위함이다. 이렇게 제안된 대칭적 정합 비용 함수를 이용함으로써, BP 기반 대응점 탐색 성능이 크게 향상되었다.
본 논문의 주된 의의는 다음과 같다. 먼저 광학 요소 변화를 분석하고 보상하기 위해, 이색성 반사 모델에 기반한 새로운 방법들이 제안되었다. 기존의 방법들이 물체 본연의 컬러를 복원하기 위해 조명의 컬러만을 추정하는데 반해 제안된 이색성 방법들은 조명 컬러 변화나 경면 반사와 같은 광학 요소 변화에 관계없이 물체 본연의 색을 복원할 수 있다. 제안된 이색성 방법을 대응점 탐색에 사용함으로써, 경면 반사가 존재할 경우에도 정확한 대응점 탐색이 가능해진다. 물론 제안된 이색성 방법들은 대응점 탐색 뿐 아니라 다른 컴퓨터 비전 기술에도 활용될 수 있다. 두 번째로, 대응점 탐색에 있어서 영상의 모호성을 효과적으로 대룰 수 있는 방법들이 제안되었다는 것이다. 이 부분에서는 보다 정확한 결과를 얻기 위해, 기준 영상과 대상 영상을 동시에 고려하여 대칭적으로 정합 비용, 영상 화소의 구별성, 불연속 비용 등을 계산하였다. 제안된 대응점 탐색 방법들은 성능 평가 영상에 대해서 기존의 방법들보다 우수한 결과를 나타내었다. 제안된 이색성 방법들과 대응점 탐색 방법을 결합할 경우 광학 요소 변화나 영상 모호성 하에서도 강인한 대응점 탐색이 가능하였다.
