Accurate stereo matching requires a large amount of memory at a high bandwidth, which restricts its use in resource-limited systems such as mobile devices. This problem is compounded by the recent trend of applications requiring significantly high pixel resolution and disparity levels. To alleviate this, we present a memory-efficient and robust stereo matching algorithm. For cost aggregation, we propose the semiglobal parametric approach, which significantly reduces the memory bandwidth by representing the costs of all disparities as a Gaussian mixture model. All costs on multiple paths in an image are aggregated by updating the Gaussian parameters. The aggregation is performed during the scanning in the forward and backward directions. To reduce the amount of memory for the intermediate results during the forward scan, we suggest to store only the Gaussian parameters which contribute significantly to the final disparity selection. We also propose a method to enhance the overall procedure through a learning-based confidence measure. The random forest framework is used to train various features which are extracted from the cost and intensity profile. The experimental results on KITTI dataset show that the proposed method reduces the memory requirement to less than 3% and the computational cost to less than 40% of that of semiglobal matching (SGM) while providing a robust depth map compared to those of state-of-the-art SGM-based algorithms. We expect that the proposed method can be widely used for resource-limited applications such as mobile and robot applications.
정확한 스테레오 정합은 높은 메모리 대역폭에서 많은 메모리 용량을 필요로 한다. 이는 모바일 기기와 같은 자원이 제한된 시스템에 활용되는데 있어 어려움을 유발한다. 이러한 문제는 최근 응용분야에서 요구하는 큰 영상 크기와 높은 정합 시차에 의해 더욱 심화된다. 이를 완화하기 위하여, 본 논문에서는 메모리 효율이 높고 강인한 스테레오 정합 알고리듬을 제안한다. 비용 집계를 위하여 준광역 매개변수적 접근법을 제안한다. 이는 모든 정합 시차를 위한 비용들을 가우시안 복합 모델로 표현함으로써 메모리 대역폭을 현저히 줄일 수 있는 방법이다. 영상 내에서 어떤 픽셀 위치를 기준으로 여러 방향의 길들 위에 높인 모든 비용들을 가우시안 매개변수를 갱신함으로써 비용 집계를 수행한다. 집계는 영상을 전방향 그리고 역방향으로 탐색하면서 수행된다. 전방향 탐색에서 중간 결과물들을 저장해야할 메모리 사용량을 줄이기 위해 최종 시차 선택에 높은 수준으로 기여하는 가우시안 매개변수들만 저장하는 방법을 제안한다. 또한 학습 기반의 신뢰도 측정을 통해 전체 절차를 강화하는 방법을 제안한다. 영상정보 및 비용으로부터 추출되는 다양한 특징정보들을 학습하기 위하여 랜덤 포레스트 방식이 사용된다. 키티 데이터셋에 대한 실험 결과에 의하면 제안하는 방법은 기존의 준광역 정합 방법에서 요구하는 메모리 사용량을 3% 수준으로 줄일 수 있고 연산량을 40% 수준으로 줄일 수 있다. 동시에 제안하는 방법은 최신 준광역 정합 기반의 방법들과 유사한 수준의 강인한 깊이 맵을 제공한다. 따라서 제안하는 방법은 모바일 또는 로봇 응용분야와 같은 자원이 제한된 분야에서 널리 활용될 것으로 기대된다.
