Adaptive Traffic Signal Control (ATSC) is a technique to reduce traffic congestion by controlling intersection traffic signal efficiently. Early ATSC controlled intersection signal with a centralized computer and it is applied on actual roads, mainly in North America and Europe. Distributed ATSC has been attracting attention recently because of the increasing demand for real-time and scalability.
In my thesis, ATSC using Reinforcement Learning (RL) is introduced. ATSC using RL is one of the distributed ATSC techniques and is expected to overcome the constraints of existing technology. To implement an algorithm applicable to more realistic environments, various vehicle parameters are considered. Deep Q-Network (DQN) is used as a function approximation technique. Normal-mode algorithm is designed for general purpose of ATSC and eco-mode algorithm is designed focusing on minimizing vehicle emissions. The results are verified for three scenarios compared with the optimal signal transition following delay model using Simulation of Urban MObility (SUMO).
적응형 교차로 신호제어 (ATSC)는 교차로의 교통신호를 효율적으로 제어하여 교통정체를 최소화하는 기술이다. 초기의 ATSC는 중앙 컴퓨터로 교차로 신호를 제어했으며, 북미와 유럽을 중심으로 실 도로에서 검증되고 있다. 최근 실시간성과 확장성에 대한 요구가 증가하면서 분산형 ATSC가 주목받고 있다.
본 논문에서는 강화학습 기반의 ATSC를 소개한다. 강화학습 기반 ATSC는 분산형 ATSC 기술 중 하나로, 기존 기술의 제약조건을 극복할 것으로 기대된다. 실제 환경에서 더 적용 가능한 알고리즘을 구현하기 위해 다양한 차량 조건을 고려했다. 함수 근사 기술로 Deep Q-Network (DQN)을 이용했으며, 일반 목적을 위한 Normal-mode 알고리즘과 배기가스 배출을 최소화하기 위한 Eco-mode 알고리즘을 설계했다. Simulation of Urban MObility (SUMO)를 이용하여, 세 가지 시나리오의 결과를 delay model을 이용한 최적 신호체계와 비교 검증했다.