In this dissertation, we propose multi-sensor systems for robust visual perception in traffic environment and various sensor control and visual perception algorithms.
We first propose a multi-camera sensor system and its control algorithms for an active high-resolution object image acquisition. It is important to acquire high-resolution images of the surrounding environment for robust and accurate perception in the traffic environment. However, it is difficult to obtain high-resolution object images because relative positions between a sensor system and objects are continuously changing. To tackle the problem, we propose a multi-camera sensor system and active camera viewpoint control algorithms.
Secondly, we propose a complementary sensor system to estimate accurate dense depth information of a scene. Depth information is one of the most important information for various visual perception algorithms. Conventional algorithms utilize depth sensors such as a LiDAR sensor. Although depth sensors provide accurate depth measurements, the amount of information is highly sparse. Sparse depth measurements provide partial information of the entire depth information of a scene, therefore, it is difficult to estimate accurate depth values of regions without depth measurements. To estimate dense depth information from sparse measurements, we can combine information from an RGB camera and a LiDAR sensor to combine complementary information from those sensors. Therefore, we construct an RGB-LiDAR sensor system for accurate dense depth estimation. In addition, we propose a deep learning-based non-local spatial propagation network for depth completion.
Thirdly, we propose a multi-modal sensor system for robust visual perception in a changing environment. In the real-world, the surrounding environment keeps changing due to time, location, and weather variations. Therefore, we need to combine information from various kinds of sensors to deal with dynamic environments. For this purpose, we propose a multi-modal sensor system that consists of RGB cameras, NIR cameras, LiDARs, IMUs, and a GNSS sensor. Moreover, a robust multi-modal depth estimation algorithm with a geometry-aware adaptive cost volume fusion that can deal with changing environments such as illumination, weather, and time variation is proposed.
The systems and algorithms proposed in this dissertation are validated and compared with previous algorithms by quantitative and qualitative experiments.
본 논문에서는 주행 환경에서의 강인한 시각적 인지를 위한 다중 센서 시스템을 제안 및 개발하였고, 이와 관련된 다양한 센서 제어 및 시각적 인지 알고리즘을 제안하였다.
첫째로, 능동적인 고해상도 객체 영상 획득을 위한 다중 카메라 시스템 및 카메라 촬영 방향 제어 알고리즘을 제안하였다. 주행 환경에서 주변 환경에 대한 보다 정확한 인지 능력을 달성하기 위해 주변에 대한 고화질 정보를 획득하는 것이 중요하다. 그러나 주행 환경에서는 대상 객체와 센서 시스템 사이의 상대적인 거리와 위치가 연속적으로 변하여 객체에 대한 정확한 고화질 정보를 획득하는데 어려움이 있다. 이러한 문제점을 해결하기 위하여 본 연구에서는 대상 객체와의 상대 위치를 정확히 추정하여 능동적으로 카메라 촬영 각도를 제어 할 수 있는 시스템 및 제어 알고리즘을 제안하였다.
둘째로, 정확한 영상 내 거리 정보 추정을 위해 상보적인 센서 시스템을 제안하였다. 주변 환경에 대한 인식과 관련해 중요한 정보 중 하나는 거리 정보이다. 이를 위해 기존의 시스템에서는 정확한 거리를 측정 할 수 있는 라이다와 같은 거리 센서를 사용하였다. 그러나 라이다 센서의 경우 정확한 정보를 제공하나, 그 정보의 양이 매우 희소하다는 단점이 있다. 희소한 거리 정보의 경우 전체 영상에서 일부분에 대한 거리 정보만을 제공 하기 때문에, 측정이 이루어지지 않은 위치에 대한 거리 정보를 추정하는데 어려움이 있다. 반면 컬러 카메라의 경우 주변 환경에 대한 전반적인 정보를 제공한다. 따라서 본 연구에서는 두 센서의 상보적인 특징을 활용하기 위해 컬러 카메라와 라이다 센서를 결합한 시스템을 이용하였다. 더불어 이를 통해 라이다에서 획득한 정확하고 희소한 거리 정보와 카메라 영상을 이용하여 영상 전체의 거리 정보를 추정 할 수 있는 딥 러닝 기반의 비 국소적 전파 알고리즘을 제안하였다.
셋째로, 다양한 외부 환경 변화에 강인한 영상 내 거리 정보 추정을 위한 다중 센서 시스템을 제안하였다. 실제 주행 환경에서는 시간, 장소, 날씨 등의 외부적 요인에 의해 주변 환경이 다양하게 변화한다. 이러한 주변 환경의 변화에도 강인한 거리 정보 추정을 위해서는 환경 변화에 대응 할 수 있는 여러가지 센서 정보를 융합하여 사용하여야 한다. 이를 위해 본 논문에서는, 컬러 카메라, 근적외선 카메라, 라이다, 관성 측정 장치, 위성 항법 장치 등으로 구성된 다중 센서 시스템을 제안 및 개발 하였다. 또한 여러 센서의 상호 보완적인 특징을 이용해 조도 변화, 날씨 변화, 시간 변화 등의 다양한 외부 환경 변화에도 강인한 영상 내 거리 정보 추정을 할 수 있는 딥 러닝 기반의 기하학을 고려한 다중 센서 퓨전 알고리즘을 제안하였다.
본 논문에서 제안한 다양한 센서 시스템 및 알고리즘을 통해 다양한 환경에서 고화질 정보 획득 및 정확한 거리 정보 추정이 가능함을 보였고, 기존 방법 대비 우수함을 정성적 및 정량적인 실험으로 분석하였다.
