Conventional traffic signal control algorithms are static, linear, fuzzy, or non-deterministic. Therefore, they are inappropriate for dealing with transportation systems efficiently. However, the Webster method is one conventional method that can find the optimal solution in one junction. Model predictive control methods have high computing costs in simulation. Machine-learning algorithms have become available as communication technology, the Internet of Things (IoT), and Big Data have improved. One example is reinforcement learning, which has an agent that continually interacts with the environment and is appropriate for data-driven approaches. However, the research on integrating reinforcement learning with traffic signal control usually uses image or matrix data as input, which results in long time requirements for training and difficulty in achieving convergence. Furthermore, a simplified action space is used, such as by expanding the current signal phase or switching to other phases. One model is also trained for one demand scenario, which lacks robustness. Therefore, in this study, the signal control variables of the green ratio and cycle length are defined as actions using a Double Deep-Q Network (DDQN) or the Webster method, and the robustness is improved for various travel patterns. Although reinforcement learning algorithms can find a proper solution in one junction, a trade-off between intersections is required when there are four junctions, which is not possible with the Webster method alone. The results show that with four junctions, the original DDQN and the DDQN initialized with the Webster method provide the best trade-off between intersections and achieve high network performance, but the discrepancy between the two methods is not large. This study contributes to the concept of combining reinforcement learning with traffic signal control variables and algorithms. Further study is needed to develop the concept by applying other reinforcement algorithms or considering other signal control variables such as the offset.
기존의 모델 기반 신호제어시스템은 변동적인 수요일 때 적용이 제한적이다. 알고리즘 중 하나인 웹스터 방법은 하나의 교차로에서는 좋은 값을 찾을 수 있지만, 여러 교차로에서는 교차로 간의 적절한 조정이 필요하기에 좋은 효과를 보이지 못한다. 이 외에 모델예측제어 알고리즘은 실제 적용할 때 시뮬레이션으로 인한 비용이 매우 크다. 과거 강화학습과 신호제어에 관한 연구에서는 컴퓨터 과학 관점에서 이미지 데이터를 인풋으로 받아와 액션을 단순하게 신호길이를 늘리는 형태로 신호제어를 하였다.
그리하여 본 연구에서는 데이터 관점에서 접근하여 머신러닝 기법 중 하나인 강화학습을 이용하여 단순하게 신호길이를 늘리는 것이 아닌 신호제어변수인 주기길이와 초록불 비율을 결정하는 웹스터와 결합한 강화학습 프레임워크를 개발하였다. 또한 이 알고리즘의 견고성을 확인하기 위하여 여러 수요 패턴을 이용해 훈련시키고 테스트하였다.
하나의 교차로에서 강화학습이 적합한 해를 찾는다는 것을 확인하였다. 4개의 교차로에서는 교차로 간의 상호작용이 필요하다. 강화학습 방법 중에서 웹스터 방법과 결합한 강화학습 알고리즘이 이러한 상호작용이 잘 이루어졌고 안정적이고 좋은 네트워크 성과를 보여줄 수 있었다.
