For autonomous navigation, it is essential to estimate the pose of vehicles. Many existing pose estimation methods are based on global positioning system (GPS) and inertial motion unit (IMU), which show some limited performance due to GPS shadow area and IMU error accumulation. To eliminate the limitations, the previous works estimate the vehicle pose by vision sensors. However, the vision-based pose estimation methods assume that there are enough features to be matched, thus show limitations when the environment consists of featureless regions. Especially, the multi-camera frameworks such as stereo, do not work well, because there are only a few matched features among the multi-camera images. For the general traffic scenes with many moving objects, the vision-based pose estimation methods can be biased due to the image features of moving objects. In addition, when the camera has only a forward-motion or a relatively small base line, the triangulation uncertainty of 2-D feature matching becomes large and the pose estimation errors increase.
For solving the limitations, this thesis presents a hierarchical feature network and a pose estimation method without triangulation. The hierarchical feature network consists of road regions, road lanes, and road point features. The road lanes and the road point features are involved in the road regions, so they can be extracted from the road regions or used as important cues. In this thesis, the vehicle pose is estimated by the relations among the features. The vehicle pose estimation is performed using the matches of the road point features, which are extracted from the road regions, and the road regions are segmented from the road lane features. Assuming the road features static, the proposed features are better suited to the vehicle pose estimation on general traffic scenes, which involve many moving objects. Additionally, the proposed algorithm estimates the vehicle pose using the optimal 3-D points, which are extracted by propagating the 2-D features on the ground plane. Because the triangulation method is unnecessary, the uncertainty caused by a forward-motion and a small base line can be ignored.
The proposed pose estimation algorithm has been tested on various datasets; the ideal traffic scenes captured from Hyundai Autonomous Vehicle Competition tracks and the real traffic scenes gathered in a metropolitan city. In addition, the segmentation algorithm has been compared with the conventional segmentation algorithms not having the hierarchical road features. Compared to the classic 5-point algorithm, the proposed pose estimation shows better results on general traffic scenes and featureless area, even when just using a single camera.
최근 활발하게 연구되고 있는 자율 주행 차량 시스템을 위해서는 차량의 자세를 계산하는 방법론이 필수적이다. 이 차량의 자세 계산을 위해서 주로 GPS 센서와 IMU 센서를 융합한 센서 시스템을 사용하는 것이 가장 일반적이지만, GPS 음영지역에 들어가거나 IMU 의 누적된 적분 오류로 인해 한계가 존재한다. 이 문제들을 해결하기 위해 자동차에 장착된 카메라를 이용한 자세 추정 방법론이 제시되어 왔다. 하지만, 이런 연구들도 역시 한계점이 존재해왔다. 우선 특징점이 많이 존재하지 않는 이미지들 사이에서는 자세 추정이 쉽지 않다. 카메라의 자세 추정 알고리즘은 두 이미지에서 각각 추출된 특징점들의 관계를 이용하는데, 이 특징점의 개수가 적을 경우 추정된 자세는 계산의 모호성(Ambiguity)으로 인해 오차가 커지거나 과대적합(Overfitting)에 의한 틀어진 결과가 나올 가능성이 높아진다. 또, 기존 자동차 자세 추정 알고리즘들은 자세를 추정하기 위한 3-D 포인트를 계산하기 위해 2-D 특징점들을 삼각법(Triangulation)을 적용하는데, 일치(Matching)하는 두 2-D 특징점이 전방 움직임(Forward-motion)으로 인한 영향을 받을 때, 3-D 포인트에 불확실성(Uncertainty)가 커지게 된다. 이 불확실성(Uncertainty)는 자세 추정에 오류를 발생시키고, 누적된 결과에서 치명적인 영향을 미친다.
이 문제들을 해결하기 위해 본 논문에서는 도로 특징의 계층적 구조와 투영을 통한 3-D 포인트 계산 방법론을 이용한 차량 자세 추정 방법론을 제시하였다. 도로 특징의 계층적 구조는 도로면, 도로 상의 차선, 도로 상의 특징점의 세 특징으로 구성되어 있다. 차선과 특징점은 도로면에 포함되어 있으며, 각각의 특징은 서로에 대하여 특정한 관계를 맺게 된다. 우선, 차선은 도로면의 가장 두드러진 시각(Appearance) 특징 중 하나이며, 이 정보를 이용해 도로면을 찾을 수 있다. 또, 도로 상의 특징점은 도로면에서 추출 가능하며, 반대로 도로면은 도로 상의 특징점들의 기하학적 관계를 이용해 표현될 수 있다. 이 계층적 도로 특징들을 이용하여 정확한 도로 상의 특징점을 추출한 뒤, 이 특징점들을 이용해 차량의 자세를 추정하였다. 또한, 삼각법(Triangulation)에 의한 전방 움직임 불확실성(Forward-motion uncertainty)을 무시하기 위해 도로 상의 특징점을 땅에 해당하는 평면(Ground plane)에 투영하는 방법을 통해 3-D 포인트를 계산하였다. 이외에도, 도로 상에 존재하는 특징들은 항상 고정되어 있으므로, 움직이는 물체에서 추출된 특징점을 사용하지 않아 기존 알고리즘들보다 일반적인 환경에 적용이 가능하다.
이 논문에서 제시된 방법론은 이상적인 도로 환경에서 촬영된 데이터셋 세 개와 일반적인 도로 환경에서 촬영된 광역 데이터셋 등에서 테스트 되었으며, 기존 단일 카메라(Single camera)를 이용하던 자세 추정 알고리즘보다 월등히 좋은 결과를 나타내었다.
