The depth estimation task aims to generate a dense depth map corresponding to an RGB image and has been extensively studied as a fundamental problem in computer vision. In recent years, many researchers have actively investigated how to apply dense depth maps to various applications such as robotics and autonomous vehicles. An accurate dense depth map provided for a corresponding RGB image is particularly useful for understanding the three-dimensional geometric information of a scene for solving various computer vision tasks. Therefore, the depth estimation task which uses high-quality depth maps as prior information for RGB image processing is essential to academia and industry. A solution to improve the performance of the depth estimation task should be found. This dissertation addresses the depth estimation techniques based on deep neural networks. First, we propose a patch-wise attention module operating in local areas of a feature map to predict a dense depth map from a single RGB image. Next, we describe the following methods for inferring a dense depth map from a single RGB image and LiDAR data. We propose a cross guidance module for efficient multi-modal feature fusion of an RGB image and LiDAR data. Then, multiscale and densely connected locally convolutional layers are proposed. This module effectively learns the neighborhood's relationship in a local area with multiple scales.
깊이 추정 과제는 RGB 영상에 상응하는 깊이 맵을 생성하는 것을 목표로 한다. 이 과제는 컴퓨터 비전 분야의 기본적인 연구로써 광범위하게 진행되었고, 최근에는 깊이 맵을 로보틱스와 자율주행차와 같은 다양한 분야에 응용하기 위한 연구가 활발하게 진행되고 있다. RGB 영상과 이에 상응하는 정확하고 조밀한 깊이 맵이 함께 제공된다면 3차원 공간 정보를 이해하고 다양한 컴퓨터 비전 과제들을 해결하는 데 매우 유용하다. 그러므로 고품질의 깊이 맵을 RGB 영상 처리를 위한 사전 정보로 사용하기 위한 깊이 추정 과제에 관한 연구는 학계와 산업계 모두에게 중요하고 성능을 향상하기 위한 해법을 찾아야 한다. 본 학위 논문은 심층 인공 신경망을 기반으로 한 깊이 추정 기술의 성능 향상에 대하여 다룬다. 먼저 RGB 영상에서 고밀도 깊이 맵을 추론하기 위하여 설계된 특징 맵의 국부적 영역에서 작동하는 지역별 집중 모듈을 제안한다. 그다음에 RGB 영상과 LiDAR 데이터로부터 고밀도 깊이 맵을 추론하기 위한 아래와 같은 방법들을 제안한다. 서로 다른 특징을 갖는 RGB 영상과 LiDAR 데이터를 효과적으로 융합하는 안내 모듈 기법에 대한 연구를 기술한다. 그리고 특징 맵의 국부적 영역에서 인접 픽셀 간의 관계를 학습하는 조밀하게 연결된 국부적 컨볼루션 기법을 다룬다.
