In order for autonomous vehicles to reach their desired destinations, it is important to perform lane changes safely and quickly when it is needed. However, lane change, unlike lane keeping, has increased interaction with surrounding vehicles, making it difficult to predict future risk of ego vehicle. Especially in the lane merge section, the risk is maximized due to simultaneous lane changes. In this study, we propose a methodology that shows high cut-in success rate and collision avoidance rate in various lane merge scenarios. Conventional lane change algorithms are based on rules with physical meanings, but the simplicity of the logic makes it difficult to cope with a myriad of lane change situations. In addition, a lane change algorithm using a model such as MPC has limitations in a complicated situation such as a merge section in which it is difficult to express road conditions as a probabilistic model. In order to overcome this problem, deep reinforcement learning based lane change research has been actively conducted in recent years. However, due to the lack of interpretability, which is a limitation of end-to-end deep learning methodology, there is a difficulty in applying a lane merge scenario in which the risk of ego vehicle is maximized. To overcome this problem, this paper proposes a methodology for performing low-level cut-in through reinforcement learning after high-level decision making using rule-based finite state machines. First, in the high-level decision step, the target driving state (ready / approach / negotiate / lane change / finish) of ego vehicle is determined. The target-driving mode is determined in real time through an algorithm that predicts the risk of surrounding vehicles and selects an optimal target gap. After the target driving state is determined as lane change, Soft actor-critic based cut-in algorithm is executed, which is suitable algorithm for complex scenario by encouraging exploration of ego agent. In order to secure safety and high cut-in success rate, inputs and reward function of RL network is constructed to perform lane change with securing minimum safety distance. In addition, we trained lane change strategies with the traffic simulator that solved the long-tail problem of data so that the strategy could be fully learned in various lane change scenarios including dangerous situations. By incorporating a rule-based algorithm into the deep reinforcement learning methodology, we developed an interpretable algorithm that can adjust the trade off between lane change success rate and collision avoidance rate. When the proposed algorithm is compared with the existing rule-based algorithm, the performance of collision avoidance and lane change success rate is improved in various traffic scenarios. In particular, it was found that the lane change success rate increased by 22% compared to the rule-based methodology under heavy traffic.
자율주행 차가 원하는 목적지에 도달하기 위해서는, 차선 변경이 필요할 때 안전하고 신속하게 이를 수행하는 것이 중요하다. 하지만, 차선 변경은 차선 유지와 달리 주변 차량과의 상호작용이 커져 자차의 미래 위험도 예측이 어렵다. 특히 차선 병합 구간에서는 동시다발적인 차선 변경으로 인해 그 위험도가 극대화된다. 본 연구에서는 안전하면서도 높은 성공률을 보이는 차선 변경 알고리즘을 개발하고, 이를 합류부 구간에서 평가하고자 한다. 기존의 차선 변경 알고리즘들은 물리적인 뜻을 지닌 규칙을 기반으로 수행되었으나, 그 로직의 단순함으로 인해 무수히 많은 차선 변경 상황에 대응하기 어려웠다. 또한, MPC와 같이 모델을 이용한 차선 변경 알고리즘은, 도로 상황을 확률적 모델로 표현하기 어려운 merge section과 같이 복잡한 상황에서는 한계가 존재한다. 이러한 문제점을 극복하기 위해, 최근에는 심층 강화학습 기반 차선 변경 연구가 활발히 수행되고 있다. 하지만 앤드 투 앤드 딥러닝 방법론의 한계인 해석 용의성의 부족으로 인해, 위험도가 극대화되는 차선 병합 시나리오의 적용에 어려움이 존재한다. 이를 극복하기 위해 본 연구에서는 규칙 기반 유한 상태 기계를 이용하여 하이-레벨 의사결정을 수행한 뒤, 강화 학습을 통해 차선 변경 경로 생성을 실시하는 방법론을 제안한다. 먼저, 하이-레벨 의사결정 단계에서는 자차의 목표 주행 상태(준비/접근/협상/차선 변경/완료)를 결정한다. 주변 차량으로 인한 위험도를 예측하고 최적의 목표 공간을 선택하는 알고리즘을 통해 실시간으로 자차의 목표 주행 상태를 결정한다. 목표 주행 상태가 차선 변경으로 결정된 후에는, 소프트 엑터-크리틱 방법론 기반의 차선 변경 알고리즘이 실시된다. 해당 방법론은 자차량의 탐험을 장려함으로써 차선 합류부와 같은 복잡한 시나리오에 적합한 알고리즘이다. 차선 변경의 안전성과 성공률을 확보하기 위해, 유한 상태 기계에서 도출한 최소 안전거리를 확보하면서 차선 변경을 수행할 수 있도록 네트워크의 입력 값과 보상 함수를 구성하였다. 또한, 위험한 경우를 포함한 다양한 차선 변경 상황에서도 전략을 충분히 학습할 수 있도록, 데이터의 롱테일 문제를 해결한 교통 시뮬레이터를 개발하여 차선 변경 전략을 학습하였다. 심층 강화학습 방법론에 규칙 기반 알고리즘을 병합한 결과, 차선 변경 성공률과 충돌 회피율의 상충관계를 조절할 수 있는 해석 가능한 알고리즘을 개발하였다. 제안한 알고리즘을 기존의 규칙 기반 알고리즘과 비교해 보았을 때, 다양한 교통량의 시나리오에서 충돌 회피율과 차선 변경 성공률 성능이 향상되었다. 특히, 교통량이 많은 위험한 상황에서 차선 변경 성공률이 규칙 기반 방법론 대비 22% 증가함을 확인할 수 있었다.
