This dissertation proposes a purpose-built sensor fusion, constructing sensor system for autonomous vehicles and selectively fusing them based on purposes. The components and implementation details of an autonomous vehicle are introduced in order to show the process of transforming a mass-produced car into a self-driving car. RGB cameras, near-infrared (NIR) cameras, an inertial measurement device, a GNSS, LiDARs, and a vehicle control area network (CAN) grabber are selectively fused to collect two driving datasets. Specifically, a multi-modal depth dataset for changing environments and a large-scale driving dataset are proposed. Adaptive cost volume fusion network for depth estimation is verified from the proposed multi-modal depth dataset. A lightweight depth completion network with local similarity-preserving knowledge distillation is proposed and verified. Application of the proposed system are introduced. Representation learning method from driving scenes is performed from images with vehicle motion information. Proposed system is utilized to verify the sensor fusion based methods for estimating vehicle dynamics from sensors on the actual road. Dead-reckoning in GNSS-denied environments is performed by fusing the lane information from front camera and the response of the inertial measurement unit, with verification of the performance by comparing the results between the proposed method and those of previous works.
이 논문은 자율주행자동차를 위한 센서 시스템을 구성하고, 이들을 선택적 융합하여 활용하는 목적 기반 센서 융합 기법을 제안한다. 연구에 사용된 시스템의 구성 요소와 구현 상세를 제시함으로써 양산 자동차를 자율주행자동차로 변환하는 예를 보인다. 양안 카메라, 근적외선 카메라, 관성 측정 장치, 위성 항법 장치, 라이다 및 자동차의 제어 영역 네트워크 데이터 수집 장치를 선택적으로 융합하여 수집한 2가지의 데이터세트를 제안한다. 구체적으로, 환경 변화를 반영한 멀티 모달 깊이 데이터세트와, 대규모 주행 데이터세트를 제시한다. 수집한 데이터세트를 기반으로 효율적인 깊이 추정을 위한 적응형 비용 볼륨 융합 네트워크를 검증한다. 지역 유사도 보존 지식 증류 방법 기반 경량 깊이 완성 기법을 제안하고 검증한다. 제안하는 목적 기반 센서 융합 시스템의 다양한 활용 예를 보인다. 자동차의 움직임 정보를 포함하는 영상 정보를 주행 장면의 표현 학습에 적용한다. 실제 도로에서 센서 기반 차량 동역학 모델 추정 방법을 검증하기 위해 제안된 시스템을 활용한다. 위성 항법 장치를 사용할 수 없는 환경에서 관성 측정 장치와 차선 정보를 결합한 추측 항법 기법을 보인 후, 종래의 방법과 비교하여 성능을 검증한다.
