Stereo vision is inferring 3D structure of a scene from two or more images taken from different viewpoints. In stereo vision, there are two primary problems, correspondence search and reconstruction. Correspondence search is also called stereo matching, and this is finding the corresponding pixels from two or more images. Correspondence search is an important problem, because correspondence search is computationally expensive and consumes much time among the whole processing of finding disparity map. The issues of correspondence search are how to reduce the complexity of computation and how to get disparity map which is similar to ground truth disparity map as possible. In this thesis, a new disparity estimation method is proposed and also the architecture of image processor for real-time disparity estimation is proposed.
The proposed method is focusing on processing textureless regions. The proposed method uses edge values of images for classifying textureless regions. If pixel numbers that have larger edge value than edge threshold value in support window are less than 5% of window size, the support window region is classified into textureless region. If a region is textureless, window shape is changed from square window to cross window. The change of window shape gives the effect of global-like window and can check the textureless regions. The proposed processor architecture is well-designed for this proposed disparity estimation method. To reduce the latency, double buffer is used for storing next frame and internal memories are exploited to store absolute difference results of previous pixels. To improve the throughput, slice-by-slice processing is adopted too.
스테레오 비전은 같은 화면을 서로 다른 시점에서 얻은 두 개 혹은 더 많은 영상으로부터 3차원 깊이 정보 혹은 구조를 얻어내는 것을 말한다. 스테레오 카메라에서 얻은 두 개의 영상으로부터 3차원 깊이 영상 정보를 추출하는 것은 자동차 등 다양한 응용 분야에서 요구되고 있다. 그 중에서도 영상 대응점 탐색은 계산 량이 많고 시간이 오래 걸려 중요한 문제점 중 하나이다. 본 논문에서는 실시간으로 깊이 영상을 얻기 위한 시차 추정 방법을 제안하고, 구현에 적합한 하드웨어 구조를 제안하였다.
제안한 알고리즘은 기존에 사용되어 온 전통적인 정사각형(square) 윈도우와 크로스(cross) 윈도우를 선택적으로 사용하는 것으로 정사각형 윈도우에 포함된 에지(edge)의 수가 한계치 이하가 되면 이 영역을 특징 점이 없는 영역으로 분류하여 보다 넓은 영역을 다룰 수 있는 크로스 윈도우로 전환하여 영상의 깊이 정보를 계산하는 방법이다. 크로스 윈도우는 기존의 연산 량보다 높은 연산 량을 요구하지 않으면서도 특징 점이 없는 영역에 대하여 더 넓은 영역을 다룸으로써 해당 영역에서의 특징 점을 찾기에 적합하다는 장점을 가지고 있어 선처리(pre-processing)나 후처리(post-processing)없이 기존의 실시간 방법 보다 선명한 깊이 영상을 얻을 수 있게 하였다.
위와 같은 시차 추정 방법을 구현에 적합하도록 제안한 하드웨어 구조는 실시간에서 깊이 영상 정보를 얻을 수 있게 하기 위하여 여러 가지 중요한 구조적 장점을 가진다. 먼저 들어온 프레임을 처리하는 동안 다음 프레임의 데이터를 버리지 않고 더블 버퍼(double buffer)에 저장하여 한 프레임의 처리가 끝난 후에 다음 프레임의 데이터를 얻는 동안 걸리는 사이클의 낭비를 줄였다. 또한 기존에 CCD 카메라로부터 데이터가 들어오는 순서는 라인 단위이나, 만약 이를 그대로 사용할 경우 윈도우 단위로 계산해야 하는 영상 대응점 탐색에서는 버리는 클락 사이클이 매우 많아진다. 따라서 영상 입력 순서를 윈도우 크기에 따라 영상의 세로(column) 단위로 입력을 받은 후에, 다음 세로 단위의 입력을 받도록 하는 slice-by-slice 처리를 하도록 변형하였다. 또한 이전에 입력되었던 픽셀들을 다시 메모리로부터 읽어 들여 다시 절대값 차이(absolute difference)를 계산하도록 하는 번거로움을 줄이기 위하여 내부 메모리를 사용하여 저장하는 방식을 제안하였다. 이는 입력 값이 들어올 때마다 기준(reference) 이미지와 스캔 이미지의 절대값 차이를 계산하여 차후 기준 이미지의 중심 대응점이 옮겨갈 때 미리 계산 해둔 값을 사용 가능 하도록 하기 위함이다.
앞에서 제안한 시차 추정 방법을 이와 같은 여러 구조를 적용하여 하드웨어로 구현한다면 클락 사이클을 효과적으로 줄일 수 있으며, 그에 따라 프레임 속도(frame rate)또한 향상시킬 수 있어 실시간 이미지 프로세서로 적합한 하드웨어를 얻을 수 있다.
