This thesis presents a new dense disparity estimation method based on color segmentation and energy minimization. Segmentation-based methods have an advantage of clear representation of disparities on discontinuous region. This thesis remodels the energy minimization methods to fit with segmentation-based method.
In the proposed method, the initial disparity map is obtained by variable block matching of the segmented plane and RANdom SAmple Consensus (RANSAC) fitting. Then energy minimization using cost relaxation and incremental warping is performed on small segmented planes and overall segmented planes, respectively to refine the disparity planes more accurately. At the end of the method, erroneous stripes that are not corrected by the segmentation-based approach are removed by pixel-based method.
Experimental results showed that the proposed method has better error rate compared to the conventional global matching methods on various stereo image pairs. And the proposed method demonstrated reasonable processing time.
본 논문에서는 컬러 분할과 에너지 최소화 방법에 기반한 양안 시차 예측 방법을 제안한다. 스테레오 영상의 양안 시차 예측 문제는 오래 전부터 스테레오 영상 및 컴퓨터 비전 분야의 가장 중요한 문제 중 하나였다. 왜냐하면 정확한 양안 시차의 예측을 통해 보다 정확하게 3차원 상에서의 깊이를 측정할 수 있고 이를 통해 3차원 구조를 복원할 수 있기 때문이다. 또한 유력한 차세대 영상기술인 다시점 영상의 경우 양안 시차를 통한 다시점 영상의 압축이 가능하다. 최근에는 보다 정확한 양안 시차의 예측을 위해 기존의 평탄화 제약(smoothness constraint) 등을 영상의 전 영역으로 확대시키고 이것을 에너지 최소화 문제에 기반해서 푸는 방법들이 제안되었다. 또한 예전부터 분할기법(segmentation)을 이용하여 양안 시차를 예측하려는 다양한 시도가 있었고 최근에 컬러 분할을 이용하여 불연속적인 구간에서 보다 정확하게 양안 시차를 예측하는 방법이 소개되었다.
제안한 방법에서는 스테레오 영상 중 한 쪽 영상을 컬러 분할하고 분할 정보를 이용한 블록 기반 정합을 수행하여 초기 양안 시차를 예측한다. 그리고 영상에서의 각각의 분할된 구간에 평면의 식과 RANSAC을 이용하여 각각의 구간에 양안 시차를 할당한다. 평면의 식을 이용할 수 없는 구간과 일정 수준 이하의 크기를 가진 구간의 경우 cost relaxation이라는 에너지 최소화 기법에 기반하여 모델링을 하고 양안 시차를 구하게 된다. 이후 모든 분할된 구간에 대해서 incremental warping이라는 기준이 되는 영상과 이의 양안 시차를 이용하여 얻어진 다른 쪽 영상과 실제의 영상의 차를 최소화하는 방법을 수행한다. 마지막으로 잘못된 컬러 분할 등으로 발생한 미세한 영역을 각각의 픽셀의 블록 기반 방법을 통하여 제거한다.
실험은 펜티엄4-2.6GHz, 512MB RAM의 환경에서 이루어졌다. 그리고 제안된 알고리즘은 VC++ 6.0을 통하여 구현되었다. 실험 결과 컬러 영상의 경우 제안된 방법의 에러율이 기존의 에너지 최소화 기반의 방법과 비교하여 더 작음을 확인할 수 있었다. 또한 수행 시간은 기존의 방법과 비슷한 결과를 나타내었다.