3D vehicle detection is one of the fundamental task for the autonomous driving. Based on the detection results in the dynamic road environment, path planning and trajectory planning can be established to control the vehicle. LiDAR is one of the most promising sensor for the task of 3D vehicle detection, it shows the state-of-the-art performance in the target task. However, there are deficits of this unique sensor, such as high expenditure and calibration issue such that the necessity of the camera-based approach is still in-need. The goal of this thesis is to address the fundamental problem of the camera-based 3D vehicle localization methods and overcome the difficulty to achieve the highly accurate performance. High-quality depth information is required to perform 3D vehicle detection, consequently, there exists a large performance gap between camera and LiDAR-based approaches.
Our monocular camera-based 3D vehicle localization method alleviates the dependency on high-quality depth maps by taking advantage of the commonly accepted assumption that the observed vehicles lie on the road surface. We propose a two-stage approach that consists of a segment network and a regression network, called Segment2Regress. For a given single RGB image and a prior 2D object detection bounding box, the two stages are as follows: 1) The segment network activates the pixels under the vehicle (modeled as four line segments and a quadrilateral representing the area beneath the vehicle projected on the image coordinate). These segments are trained to lie on the road plane such that our network does not require full depth estimation. Instead, the depth is directly approximated from the known ground plane parameters. 2) The regression network takes the segments fused with the plane depth to predict the 3D location of a car at the ground level. To stabilize the regression, we introduce a coupling loss that enforces structural constraints. The efficiency, accuracy, and robustness of the proposed technique are highlighted through a series of experiments and ablation assessments. These tests are conducted on the KITTI bird's eye view dataset where Segment2Regress demonstrates state-of-the-art performance.
Stereo vision system is widely utilized to infer the depth information. Depth is essential measurements that not only capture the 3-dim road environment, but also include the shape of the 3D vehicle in the dynamic road environment. In this thesis, we introduce the structure-aware depth prediction method for autonomous driving. To impose the structural prior into the disparity, we introduce the 3-dim region proposal network that captures the location of the vehicles with referential camera viewpoint. Comparing with the previous method, our method alleviate the flying-point-cloud problem since structure-aware loss reduce the uncertainty nearby the edges of the vehicles. Finally, our method achieves the state-of-the-art performance in the KITTI[11] Stereo benchmark.
Through the thesis, we address the depth dependency problem in the monocular-based approaches and the disparity-uncertainty problem in the stereo-based methods. In the first method, we utilize the plane assumptions and the plane depth, and introduce the fusion-by-normalization and the coupling loss to decrease the sensitivity to the quality of the monocular scene depth. In the second method, we exploit the structure of vehicles to minimize the disparity-uncertainty nearby the edges of vehicles. In conclusion, this effort is to continue the necessity and the validity of the camera-based approaches for autonomous driving.
3차원 차량 인식 기술은 자율 주행을 구성하는 핵심 기술 중 하나이다. 다양한 도로 환경 속에서 자동차에 대한 인식을 통해서 경로 설정, 속도 계획 등 주행 전반에 대한 계획을 수립하게 된다. 오늘날 3차원 자동차 인식 방법론들은 대부분 라이더 센서를 기반으로 정확한 깊이 정보를 전제에 두고 있다. 포인트 클라우드 형태의 정확한 깊이 정보는 정확한 차량 인식으로 이어지며 정확도 높은 성능을 보여주고 있으나 가격과 실용성 측면에서 여전히 카메라 기반의 방법론에 대한 수요가 존재한다. 하지만 여전히 카메라 기반의 자동차 인식 방법론은 그 성능의 현격한 차이라는 한계점을 두고 있어 여전히 발전 가능성이 필요한 상황이다. 이번 학위 논문에서는 카메라를 이용한 3차원 자동차 인식 기술론을 제시하여 카메라가 갖고 있는 문제점들을 해소하고 성능 향상을 주 목적으로 한다. 이번 학위 논문은 단일(monocular) 카메라와 복수(stereo) 카메라 방법론 두 가지에 대해 다룬다.
이번 학위 논문의 첫 번째 방법론에서는, 단일 카메라를 이용하여 평활 도로 가정을 통하여 깊이 정보에 대한 의존도를 낮춘 3차원 자동차 인식 방법론을 제시한다. 주어진 컬러 영상과 2차원 자동차 검출 결과를 바탕으로 두 단계에 걸쳐(Segment network 와 Regression network, Segment2Regress) 3차원 자동차 검출을 진행한다. 첫 번째 단계에서 segment network 는 이미지 상에서 자동차의 하단에 해당되는 pixel 들을 활성시킨다(activate). 이때 활성된 pixel 들은 4 개의 선-조각(segment)와 4각형-조각으로 구성되는데 각 조각들은 도로 위에 있어 바닥깊이 정보만으로도 3차원 투영이 가능하다. 두 번째 단계에서 regression network 는 바닥 깊이 정보와 융합된 뒤에 해당 차랑의 3차원 위치를 추정한다. 이를 위해 이번 학위 논문에서는 coupling loss 를 제안하여 자동차의 3차원 입체 정보를 위치 추정에 반영하였다. 이를 바탕으로 해당 학위 논문은 KIITI[11] 자동차 데이터 셋 중에서 bird's eye view 분야에서 최고의 성능을 보였다.
이번 학위 논문의 두 번째 방법론에서는, 복수 카메라를 이용하여 도로 환경 에서의 정확한 깊이 정보 획득을 목표로 한다. 깊이 정보는 카메라에 비춰진 정보를 3차원으로 확장하는 데에 있어 필수적이며 이때 특히 자동차 3차원 모양 정보를 포함하고 있는 도로 환경을 이해하는 데에 필수적인 요소이다. 그래서 이번 방법론에서는 차량의 모양(shape)을 고려한 깊이 정보 획득 방법론을 제시한다. 도로 환경에서의 차량의 모양 정보는 일정 분포를 갖고 있어 자동차 가장 자리에서 나타나는 깊이 정보 불확실성을 줄어드는 데에 효과적이었다. 그리하여 KITTI[11] 깊이 정보 데이터 셋에서 가장 우수한 성능을 보이며 방법론의 필요성과 우수성을 증명하였다.
이번 학위 논문은 단일 카메라와 복수 카메라를 이용한 3차원 자동차 인식에 주안점을 두어 진행하였다. 깊이 정보에 대한 의존도가 큰 단일 카메라 방법론에서는 바닥 가정과 바닥 깊이 정보 활용을 통해 우회하는 방법론을 제시하였으며, 복수 카메라에서는 자동차의 모양 정보를 고려한, 정확한 깊이 정보 획득에 주안점을 두었다. 이를 통해서 카메라 방법론들이 갖고 있는 문제점을 해결함으로써 여전히 카메라에 근거한 3차원 자동차 인식 방법론의 유효성을 증명하고자 했다.
