LiDAR sensors provide accurate depth measurements, but data are sparse due to their inherent characteristics. This is insufficient for high-level applications, including autonomous driving. Accordingly, there are many studies for generating dense depth information. Monocular depth estimation is a technique for estimating a depth map using only color images and can be used in many devices and applications. However, since a color image is a 2D plane projected in a 3D space, it does not contain sufficient information for estimating the depth. In this paper, we propose a deep learning network that extracts features from a segmentation map to estimate a more accurate depth map. Depth completion is the most accurate depth estimation technique for generating a dense depth map from a sparse depth map. In this task, the fusion method of two data and the refinement method are important. In this paper, we propose a two-stage network consisting of the shallow feature fusion module, multi-perspective layers, and the confidence guidance layer. The proposed monocular depth estimation model containing efficient feature extraction structure of the segmentation map infers a more accurate depth map than the base model in the KITTI depth prediction validation dataset. And, the proposed depth completion model infers significantly faster than the top-ranked models in the KITTI depth completion online leaderboard and provides a high-accuracy depth map.
깊이 측정을 위해 라이다 센서가 사용되지만, 고유한 작동 방식으로 인해 데이터가 희소하다. 이것은 자율주행 등 높은 수준의 어플리케이션에서 충분하지 않다. 이에 따라, 조밀한 깊이 정보를 생성하는 기법에 대한 연구가 이루어진다. 단안 깊이 추정은 컬러 이미지만을 이용하여 깊이 맵을 추정하는 기법이며, 많은 장치 및 응용 프로그램에서 사용할 수 있다. 그러나 컬러 이미지는 3차원 공간을 투영한 2D 평면이기 때문에 깊이를 추정을 위한 충분한 정보를 담고 있지 않는다. 본 논문에서는 세그멘테이션 맵에서 특징을 추출하여 보다 정확한 깊이 맵을 추정하는 딥러닝 네트워크를 제안한다. 깊이 완성은 가장 정확한 깊이 맵 추정 기법으로, 희소 깊이 맵에서 조밀한 깊이 맵을 생성하는 기법이다. 이 작업에서 두 인풋의 융합 및 정제 방법이 중요하다. 본 논문에서는 얇은 특징맵 합성 모듈, 다관점 레이어, 신뢰도 지도 레이어로 구성된 2단계 네트워크를 제안한다. 제안된 단안 깊이 추정 모델은 세그멘테이션 맵의 효율적인 정보 추출 구조를 이용하여 KITTI 깊이 예측 검증 데이터셋에서 기존 모델보다 더 정확한 깊이 맵을 추론한다. 또한 제안된 깊이 완성 모델은 KITTI 깊이 완성 온라인 리더보드의 상위 모델들에 비해 상당히 빠른 추론이 가능하며, 높은 정확도의 깊이 맵을 제공한다.
