As the demand for autonomous driving increases, it is paramount to ensure safety. Accident prediction using deep learning methods for safety in autonomous driving has recently received a lot of attention. In this paper, we propose an accident anticipation method using reinforcement learning. The accident anticipation platform used in this paper learns accident prediction and fixation point prediction by using dashcam video as input. For the first time in this accident prediction platform, the double actors with regularized critics (DARC) method are used. DARC is a state-of-the-art reinforcement learning model that uses two actors in a continuous action space and is applied to the accident anticipation platform to obtain 5\% faster predictions than existing algorithms. Furthermore, in this work, for the first time, a multi-actor multi-critic method is proposed. The proposed multi-actor multi-critic method allows stable learning by regularizing the critics while increasing the agent's exploration with a multi-actor structure. The proposed method is used for accident anticipation and the optimal number of actor-critic pairs is found. Experimental results demonstrate that the algorithm performs best among reinforcement learning methods, and suggest the possibility that it can be used on other platforms in the future.
자율주행에 대한 수요가 증가하는 만큼 안전을 확보하는 것은 무엇보다 중요하다. 자율주행에서의 안전을 위해 심층학습 방법을 사용하는 사고 예측이 최근 많은 관심을 받고 있다. 본 논문에서는 심층학습 방법 중 하나인 강화학습을 사용하는 사고 예측 기술 방법을 제안한다. 본 논문에서 사용되는 사고 예측 플랫폼은 자동차 전방 카메라 데이터를 입력으로 하여 사고 예측과 시선 집중 지점 예측을 학습한다. 본 사고 예측 플랫폼에서는 처음으로 double actors with regularized critics (DARC) 방법이 활용된다. DARC는 연속 행동 공간에서 액터를 두 개 사용하는 최신 강화 학습 모델이며, 사고 예측 플랫폼에 적용되어 기존 알고리즘 대비 5\% 빠른 예측을 얻을 수 있다. 여기서 더 나아가 본 연구에서는 두 개 이상의 액터와 크리틱 네트워크 쌍을 사용하는 멀티 액터 멀티 크리틱 방법을 최초로 제안한다. 제안된 멀티 액터 멀티 크리틱 방법은 다중 액터 구조로 에이전트의 탐험을 늘리면서도 크리틱들을 정규화함으로써 안정된 학습을 할 수 있다. 제안된 방법은 사고 예측 플랫폼 실험에 이용되고, 최적의 액터-크리틱 쌍의 개수를 찾아낸다. 실험 결과는 제안된 알고리즘이 강화 학습 방법 중 가장 뛰어난 성능을 보인다는 것을 증명하며, 향후 다른 플랫폼에서도 사용될 수 있는 가능성을 제시한다.
