Unsupervised deep learning methods have shown promising performance for single-image depth estimation. Since most of these methods use binocular stereo pairs for self-supervision, the depth range is generally limited. Small-baseline stereo pairs provide small depth range but handle occlusions well. On the other hand, stereo images acquired
with a wide-baseline rig cause occlusions-related errors in the near range but estimate depth well in the far range. In this work, we propose to integrate the advantages of the small and wide baselines. By training the network using three horizontally aligned views, we obtain accurate depth predictions for both close and far ranges. Our strategy allows to infer multi-baseline depth from a single image. This is unlike previous multi-baseline systems which employ more than two cameras. The qualitative and quantitative results show the superior performance of multi-baseline approach over previous stereo-based monocular methods. For 0.1 to 80 meters depth range, our approach decreases the absolute relative error of depth by 24% compared to Monodepth2. Our approach provides 21 frames per second on a single Nvidia1080 GPU, making it useful for practical applications.
비지도 심층 학습 기법은 단일 이미지 깊이 추정에서 만족할 만한 성능을 보이고 있다. 그러나 이러한 방법의 대부분은 자기 학습을 위해 양안 스테레오 이미지 쌍을 사용하기 때문에, 일반적으로는 깊이 추정의 범위가 제한적이다. 작은 베이스라인을 가진 스테레오 쌍은 깊이를 예측할 수 있는 범위가 짧지만, 시차에 의해 가려지는 영역이 적다. 반면에 넓은 베이스라인으로부터 획득한 스테레오 영상은 원거리에서의 깊이 추정에 유리하며, 대신 근거리에서의 가려짐 문제가 크다. 이 연구에서 우리는 작고 넓은 베이스라인의 장점을 통합한 방식을 제안한다. 세 개의 수평으로 정렬된 뷰를 사용하여 네트워크를 훈련함으로써 근거리와 원거리 모두에 대해 정확한 깊이 예측을 얻는 것이 본 연구의 목적이다. 우리의 전략은 하나의 이미지에서 다중 베이스라인 시스템의 깊이 정보를 유추할 수 있게 하며, 이는 기존에 두 대 이상의 카메라를 요구하는 시스템과는 규모 면에서 명확하게 차별화된다. 제안된 다중 베이스라인 기반의 단안 깊이 추정 방법은 기존의 스테레오 기반의 접근법보다 정량적, 정성적으로 우수한 결과를 나타내었다. 0.1m으로부터 80m에 해당하는 거리에서 우리의 방식은 Monodepth2에 비해 깊이의 상대 오차 절대값을 24% 감소시켰다. 우리의 접근 방식은 단일 Nvidia1080 GPU에서 초당 21프레임의 연산이 가능하므로 실용적인 애플리케이션에 유용하다.
