Motion prediction plays a key role in autonomous driving to help the autonomous vehicle to be safe and efficient. When deploying such a motion prediction AI model into the real world, the model must be robust and able to adapt and scale to new environments. To achieve this, accurate position estimation is essential since the motion prediction is based on the past trajectory of surrounding vehicles. The sensor modules of current autonomous driving system are usually equipped with radar and a camera. However, neither of these sensors can provide sufficient performance with regard to the localization of surrounding vehicles due to their limited inherent characteristics. In order to develop an autonomous driving system, more accurate bird’s-eye view localization with regard to surrounding vehicles is necessary.
Thus in this study, first we propose a sensor fusion vehicle position estimation framework based on the localization of a vehicle’s rear corner part. The position of the surrounding vehicle is defined by the range data of radar and the angle data which is calculated by localizing the corner part of the vehicle using a camera. Since the vehicle rear corner part is tracked separately, it enables improved robustness with reference to occlusions. That is, surrounding vehicles with occluded views can still be localized.
And we also propose a model adaptation process to adapt and scale to new environments smoothly. Since the driving scenarios in the real environment are infinite, the performance of the model inevitably deteriorates when facing new scenarios that have yet to be seen in the training stage. Thus, an adaptation process to the new driving environment is essential. The conventional adaptation process leads to tremendous resources and costs from the data collection, annotation, and training process. Moreover, this problem becomes more crucial in the motion prediction task since collecting motion prediction data is costly and labor-intensive. In this paper, we propose the meta-learning based training framework to increase the adaptability and scalability of the motion prediction model and to reduce the data collection and training efforts. The proposed framework consists of two stages: training and adaptation. In the training stage, the model finds an optimal initialization point that can easily adapt to various driving environments not included in the training dataset based on meta-learning for stable and fast adaptation in new driving patterns and environments. Coping with changing target environments (e.g., driving scenarios from different road types), in the adaptation stage, we continuously update the model parameters learned in the training stage in a way that avoids interference with the previously learned environment. Through this, in updating the model, we propose an optimal adaptation method that prevents the performance of the previously learned environment from deteriorating. Thanks to our training and adaptation method, the proposed framework effectively scales the motion prediction model to new environments while minimizing catastrophic forgetting.
자율 주행의 안전하고 효율적인 운전을 위해서 경로 예측은 필수적이다. 이러한 경로 예측 AI 모델을 실 주행 환경에 적용하기 위해서는 다양한 주행환경에서 신뢰성 있게 동작하는 것뿐 만 아니라 계속해서 새로운 주행 환경에 적응하고 확장할 수 있어야 한다. 경로 예측은 주변 차량의 이전 경로를 기반으로 하기 때문에 신뢰성 있는 경로 예측을 위해서는 먼저 정확한 위치 추정이 선행되어야 한다. 현재 자율주행 차량에는 주로 카메라와 레이다 센서가 활용되고 있는데 각 센서 고유의 한계 특성으로 인해 개별적으로 탑 뷰에서 정확한 위치 정보를 제공하는데 한계가 있다.
따라서 본 학위논문에서는 먼저 차량 후방 코너 부분의 위치 파악을 기반으로 한 센서 융합 주변 차량 위치 추정 프레임워크를 제안한다. 주변 차량의 위치는 레이다의 방사형 방향 정보와 카메라로 확인되는 차량의 코너 위치의 각도 데이터가 결합되어 추정되고 파티클 필터를 사용하여 차량 후면 코너 부분을 계속해서 추적하여 시야가 가려진 상황에서도 주변 차량의 위치 추정의 신뢰성을 확보할 수 있다.
다음으로 본 학위 논문에서는 새로운 주행 환경에 원활히 확장이 가능한 적응 프로세스에 대해 다룬다. 실 주행 환경의 주행 시나리오는 무한하기 때문에 학습단계에서 보지 못한 새로운 환경을 마주하게 되면 모델의 성능은 필연적으로 저하될 수 밖에 없다. 따라서 새로운 주행 환경에 대한 적응 프로세스가 필수적으로 필요하게 된다. 기존의 적응 프로세스는 데이터 수집, 주석 처리 및 학습과정에서 많은 자원 소모와 비용을 초래한다. 더욱이 경로 예측 데이터를 확보 하는 것은 비용과 노동 집약적이기 때문에 이 문제는 경로 예측 문제에서 더욱 부각된다. 따라서 경로 예측 모델의 적응성과 확장성을 높이고 데이터 수집과 학습에 드는 시간 및 자원 소모를 최소화하기 위해 메타 학습 기반 훈련 프레임워크를 제안한다. 제안된 프레임워크는 학습과 적응의 두 단계로 구성된다. 학습 단계에서 모델은 새로운 주행 패턴, 주행 환경에 안정적이고 빠른 적응이 가능하도록 메타 학습을 기반으로 최적의 매개변수 초기화 지점을 탐색한다. 적응 단계에서는 변화하는 대상 주행 패턴 및 환경에 대처하기 위해 이전에 학습한 환경과 간섭을 피하는 방법으로 학습된 모델 매개변수를 지속적으로 업데이트 한다. 이를 통해, 모델 업데이트 과정에서 기존에 학습한 환경에 대한 성능이 저하되지 않도록 하는 최적의 적응 방안을 제안하였다. 학습 및 적응 단계에서 제시된 방법으로 제안된 프레임워크는 기존 학습했던 환경에 대한 치명적인 망각을 최소화하면서 경로 예측 모델을 새로운 환경으로 효과적으로 확장할 수 있다.
