Feature-based visual simultaneous localization and mapping (SLAM) methods only estimate the depth of extracted features, generating a sparse depth map. To solve this sparsity problem, depth completion tasks that estimate a dense depth from a sparse depth have gained significant importance in robotic applications like exploration. Existing methodologies that use sparse depth from visual SLAM mainly employ point features. However, point features have limitations in preserving structural regularities owing to texture-less environments and sparsity problems. To deal with these issues, we propose a depth completion algorithm with visual SLAM using line features, which can better contain structural regularities than point features. The proposed methodology creates a convex hull region by performing constrained Delaunay triangulation with depth interpolation using line features. However, the generated depth includes low-frequency information and is discontinuous at the convex hull boundary. Therefore, we propose a mesh depth refinement (MDR) module to address this problem. The MDR module effectively transfers the high-frequency details of an input image to the interpolated depth and plays a vital role in bridging the conventional and deep learning-based approaches. The proposed method outperforms other state-of-the-art algorithms on public and custom datasets, and even outperforms supervised methodologies for some metrics. In addition, the superior domain generalization ability of the proposed methodology is demonstrated. Finally, the effectiveness of the proposed MDR module is verified by arigorous ablation study.
특징점을 사용하는 시각 기반의 동시적 위치 추정 및 지도 작성 (SLAM)은 추출된 특징점에 대한 깊이 정보만 추정하므로 조밀하지 못한 깊이 지도가 생성된다는 단점이 있다. 이를 해결하기 위해 희소한 깊이 정보로부터 조밀한 깊이 지도를 추정하는 깊이 완성의 중요성이 탐사와 같은 주요 로봇 어플리케이션에서 대두되고 있다. 시각 기반 SLAM으로부터의 희소한 깊이 정보를 이용하는 기존의 방법론들은 특징점만을 주로 활용한다. 하지만 특징점은 텍스처가 적은 환경에서 추정이 힘들고 희소성 문제로 인해 구조적 정보를 잘 보존한 깊이 지도를 완성하는데 한계가 있으며 비효율적이다. 기술한 문제점을 해결하기 위해, 본 논문에서는 구조적 정보를 더 잘 담을 수 있는 특징선을 추가적으로 활용하는 시각 기반 SLAM으로부터의 깊이 완성 알고리즘을 제안한다. 제안된 방법론은 constrained Delaunay triangulation 및 깊이 선형 보간을 수행하여 컨벡스 헐 영역을 생성한다. 하지만, 이를 통해 생성된 깊이 지도는 매우 대략적인 저주파 깊이 정보를 가지고 있으며 컨벡스 헐의 경계에서 불연속이다. 따라서 이러한 문제점들을 해결하기 위해, 본 논문에서는 심층 학습 기법 기반의 메쉬 깊이 정제 (Mesh depth refinement, MDR) 모듈을 제안한다. MDR 모듈은 인풋 이미지로부터의 고주파 세부 정보를 선형 보간된 메쉬 깊이로 효과적으로 전이하며 고전적인 방법론과 심층 학습 기반의 방법론을 다리의 역할을 수행한다. 제안된 방법론은 공개된 데이터셋과 본 연구를 통해 직접 취득한 데이터셋에서 모두 다른 최신 알고리즘의 성능을 능가하며 몇몇 성능 지표에 대해서는 지도 학습 방식 방법론의 성능을 능가한다. 또한 본 논문에서는 제안된 방법론의 우수한 도메인 일반화 능력이 실험적으로 입증된다. 마지막으로 엄밀한 어블레이션 스터디를 통해 제안된 MDR 모듈의 효과가 입증된다.
