Reliable and efficient stereo matching is a challenging task due to the presence of multiple radiometric variations. In stereo matching, correspondence between left and right images can become hard owing to low correlation between radiometric changes in left and right images. Previously presented cost metrics are not robust enough against intensive radiometric variations and/or are computationally expensive. In this thesis, I propose a new similarity metric coined as Intensity Guided Cost Metric (IGCM). IGCM turns out to significantly contribute to the depth accuracy by rejecting outliers and reducing the edge-fattening effect in object boundaries. IGCM is further combined explicitly with a color formation model to handle various radiometric changes that occur between stereo images. Experimental results on Middlebury dataset show 13.8%, 22.8%, 20.9%, 19.5% and 9.1% decrease in average error rate compared to Adaptive Normalized Cross-Correlation (ANCC), Dense Adaptive Self-Correlation (DASC), Adaptive Descriptor(AD), Fast Cost Volume Filtering (FCVF) and Iterative Guided Filter (IGF)-based methods, respectively. Moreover, using integral images IGCM can achieve a speedup of 20x, 6x, 41x, 25x and 45x compared to the aforementioned methods. Moreover, a novel matching cost function called REPS (Robust Edge-aware Poisson-based Similarity Metric) is proposed where poisson distribution based binary weights are utilized for a hardware-efficient cost generation for stereo matching under radiometric variations. Using REPS we can achieve comparable results to IGCM with respect to accuracy while being significantly simpler.This is validated in images with multiple radiometric variations and experimental setups. Hardware architecture utilizes an accurate log2 approximation which reduces the hardware cost significantly while maintaining the accuracy. We can achieve 33 frames per second (fps) on full-HD resolution with 128 disparity levels.
정확하고 효율적인 스테레오 매칭은 광도의 불균일로 인해 도전적인 연구분야 중 하나이다. 스테레오 매칭에서 좌, 우 이미지의 광도 차이가 발생하면 두 이미지 사이의 상관도가 적어지며 이는 매칭을 어렵게 만드는 요인이 된다. 기존에 연구된 매칭 방법들은 광도 불균일 문제를 해결하기에 충분히 정확하지 않거나 연산량을 많이 필요로 하는 문제가 있다. 본 연구에서는 영상 광도 기반 매칭에 기반한 새로운 매칭 방법을 제안한다. 영상 광도 기반 매칭은 깊이 정보의 정확도를 향상 시키는데 상당히 도움이 되는 방법으로써 광도 불균일 문제를 해결하기 위해 널리 사용되고 있다. 본 논문에서 제안하는 방법은 기존의 네 가지 최신 방법에 비해 각각 13.8%, 22.8%, 20.9%, 19.5%, 9.1% 만큼 깊이 정보 오류를 감소시킬 수 있으며 이를 미들버리 데이터셋에서 검증하였다. 게다가 각각 20배, 6배, 41배, 25배 이상의 속도 향상을 기대할 수 있다. 또한 본 논문은 엣지 인지 포아송 기반 매칭 방법을 제안한다. 여기서 포아송 분포 기반의 이진 가중치를 사용함으로써 하드웨어 효율적인 매칭을 수행할 수 있다. REPS를 사용하면 정확도 측면에서 IGCM과 비슷한 결과를 얻을 수 있지만 훨씬 단순합니다. 이는 여러 개의 방사 변형과 실험 설정을 사용하여 이미지에서 검증됩니다. 본 방법의 하드웨어 아키텍처에서는 로그2 근사를 통해서 정확도를 유지하면서 하드웨어 복잡도를 상당히 줄였다. 우리는 본 방법을 이용하여 1920x1080 이미지에서 초당 33 프레임, 128 깊이 레벨을 달성하였다.
