Recently, with the development of various traffic information collecting system, high-quality traffic big data has been collected and used for the traffic operation. However, the current traffic signal control system has low data availability so that its efficiency becomes less effective when the traffic demand is oversaturated, since it still uses the outdated model-driven methods. Accordingly, two alternative approaches are suggested to develop a next-generation signal control system: smart intersection signal control method using artificial intelligence (AI), and perimeter control for managing network-level traffic demand. These two approaches are state-of-the-art signal control methods proposed in the last decade, and various strategies for expanding to a large-scale urban area have been proposed in recent few years.
However, it is cost-expensive to apply each method for the signal control optimization of a large-scale urban area. Accordingly, it is more effective to integrate both signal control methods rather than to apply a single method. As the first step for the integration of these two signal control methods, this dissertation explores optimization strategies for the two signal control methods. In particular, we utilize reinforcement learning (RL) as a key methodology with the consideration of traffic big data availability, improvement of uncertainty and computational cost of the conventional model-based approaches, and the scalability to large areas. To this end, this dissertation aims to apply RL for the signal control of (1) isolated single intersection, (2) multiple intersections of urban district, and (3) perimeter control of large-scale urban networks. This dissertation provides a basic study to introduce RL to the traffic signal control problems by discovering some related issues, proposing some solutions to overcome the issues, and validating them with the simulation experiments.
Regarding the development of AI-based smart intersection signal control, this dissertation aims to obtain the following three goals. The first is an effective variable design for signal controls of large-scale urban areas. Although there are a number of signal control variables, most of current studies do not consider the relationship between the variables rather they suggest some infeasible and inefficient signal control designs. Therefore, we initially classify the key variables and analyze the conventional signal control methods. In addition, we employ the phase duration split as the main signal control variable while the other variables are fixed. The optimization of signal cycle and offset or the optimal design of signal phase and rings are left for the future studies. Second, we identify an issue of restricted exploration which has a great influence on the robustness of the model. The restricted exploration problem is caused by the travel demand scenario of traffic simulation, which severely degrades the model’s efficiency in some unexperienced traffic states. Thus, we employ a graph representation for the traffic state of the intersection. The traffic state is expressed as graph-structured data, and it is trained using a graph neural network (GNN) to represent the traffic state in a generalized topological space. This method enables to obtain a transferable policy that can adapt to a new unexplored state by utilizing already-trained knowledge of topologically equivalent states. The proposed method is validated with a few unexplored travel demand scenarios of an isolated single intersection under well-controlled experimental conditions. The results show that the model using a graph-representation has improved the transferability of the policy compared to the model without applying the graph.
Third is the design of an effective method for training multi-agent signal control agents. For the coordination of multiple intersections, it requires to obtain a cooperative solution considering the interactions between them. However, most current studies only observe information of neighboring intersections without considering the spatial correlation between the intersections. Hence, this dissertation determines the structure of the graph and extracts the features defining the variables based on the cell transmission model (CTM), the basic principle of traffic flow dynamics. Then, these features are embedded into the graph nodes and edges and the embedded graph is trained by a message-passing GNN, which yield a communication-based spatially coordinated multi-agent model. Experimental results on some different traveling demand patterns show that the joint action of the proposed model is spatially coordinated so that it improves the network efficiency by rebalancing the traffic demands in the network.
Finally, unlike the former cases, there has been a growing interest in developing a data-driven method for the perimeter control. However, few relevant studies can be found in the literature, because there is a lack of delicate macroscopic traffic simulation that can describe the effect of perimeter controls and a lack of basic study on the construction of RL models. Therefore, we introduce RL-approach for the optimization of perimeter control for the first time by applying a newly developed macroscopic traffic simulation based on the network transmission model. As a basic study, we design several perimeter control models using different scope of traffic variables and different methods for parametrizations. Then, we validate the proposed models by evaluating their performances with the test demand scenarios at different levels. The validation results show that the model containing travel demand information adapts to a new demand scenario better than the model containing only density-related factors.
This dissertation considers crucial issues for developing an effective signal control model which have not been treated in the previous researches and provides a realistic framework for the traffic signal control. This improves the feasibility of the proposed signal control model and provides a basis for developing a signal control model for a large-scale urban area. Moreover, we suggest a direction for the next-generation signal control systems by leaving an idea for a hierarchical strategy of traffic signal control for a large-scale metropolitan area is left as s future study on the basis of the result of this dissertation.
최근 다양한 교통 정보 수집 장치 등의 개발로 양질의 교통 빅데이터가 수집되고 교통 운영에 활용되고 있다. 그러나 현재의 신호 제어 체계는 여전히 노후된 방법을 활용하고 있어, 데이터의 활용도가 떨어질 뿐만 아니라 교통량이 많은 경우 제어 효율이 크게 저하되는 단점도 존재한다. 이에 따라 차세대 신호 제어 체계의 개발을 위해 인공지능 기술을 적용한 스마트 교차로 신호 제어 기법과, 네트워크 단위의 교통 수요 제어를 위한 주변부 제어 (perimeter control)가 대안으로 제시되고 있다. 이 두 가지 제어 기법은 최근 약 10년 사이에 제안된 비교적 최신의 방법으로, 최근에는 대규모 도시 지역으로 확장하기 위한 다양한 전략들이 제시되고 있다.
그러나 각각의 기법을 대규모 도시 지역의 신호 제어 최적화를 위해 적용하는 경우 매우 높은 계산 비용이 소모되므로, 단일 기법의 적용보다는 두 가지 기법을 통합하는 것이 더 합리적이다. 이를 위한 기초 연구로서, 본 학위논문은 각각의 신호 제어 기법에 대한 최적화 전략을 모색한다. 특히 다양한 교통 빅데이터의 활용성 향상, 모델 기반 방법의 불확실성 및 높은 계산 비용 개선, 대규모 지역으로의 확장성 등을 고려하여 본 학위논문에서는 인공지능 기법 중 제어 최적화를 위한 강화학습을 주요 방법론으로 활용한다. 따라서 본 학위 논문에서는 다음의 세 가지 세부 목표를 제시한다. 강화학습을 활용한 (1) 단일 교차로 제어, (2) 도시 구역의 다중 교차로 신호 제어, (3) 대규모 도시 지역을 위한 주변부 제어. 본 연구는 교통 신호 제어 문제에 강화학습을 도입하기 위한 기초 연구로서, 다양한 이슈들을 분석하고 이를 극복하기 위한 방법을 제시하고 이를 시뮬레이션 실험을 통해 검증한다.
먼저 인공지능 기반의 스마트 교차로 신호 제어 기법의 개발을 위해 본 학위논문에서는 다음의 세 가지 목표를 제시한다. 첫 째는 대규모 도시 지역 신호 제어를 위한 효과적인 변수 설계이다. 현재 대부분의 관련 연구에서 다양한 신호 제어 변수들 간의 유기적인 관계를 고려하지 않고, 현실 가능하지 않고 비효율적인 신호 제어 설계가 제시되고 있다. 따라서 본 학위논문은 먼저 신호 제어를 위한 주요 변수를 분류하고 기존의 신호 제어 방식을 분석한다. 또한 연구의 주요 신호 제어 변수로 현시 녹색 신호 분할 (phase duration split)을 다루고, 주기 시간 오프셋 등의 최적화 및 현시·링 등의 최적 설계는 추후 연구로 남겨둔다. 두 번째로 모델의 강건성 (robustness)에 큰 영향을 미치는 탐색 영역 제한 문제에 대해 다룬다. 탐색 영역 제한 문제는 교통 시뮬레이션의 여행 수요 시나리오 (travel demand scenario)에 의해 발생하는 문제로, 경험하지 않은 새로운 상황에서 모델의 성능을 크게 저하시킨다. 이에 대해 본 학위논문에서는 교차로의 교통 상태를 그래프로 표현하고 이를 그래프 신경망 (graph neural network, GNN)으로 학습하여 교통 상태를 일반화된 위상 공간에서 표현한다. 이 방법은 모델이 경험하지 않은 상태에 대한 솔루션을 위상적으로 동등하면서 이미 경험한 정보를 통해 유추할 수 있게 함으로써 모델 정책의 전이성 (transferability)을 향상시킨다. 제안하는 그래프 기반 방법론의 검증을 위해 독립된 단일 교차로의 잘 통제된 실험 상황에서 다양한 패턴의 교통 수요 시나리오로 제어 성능을 평가하였고, 그 결과 그래프를 적용하지 않은 모델에 비해 그래프 기반 모델이 향상된 전이성을 갖는다는 것이 확인된다.
셋 째로 효과적인 다중 에이전트 학습 모형의 설계이다. 도시 지역의 다중 신호 교차로 간 연동을 위해서는 에이전트 간의 상호작용을 고려한 협력적 솔루션 산출이 필요하다. 그러나 현재 대부분의 관련 사례에서는 단순히 이웃 교차로의 일부 정보만을 고려하는 등 도시 교차로 간의 공간적 상관관계를 적절히 표현하지 못하고 있다. 따라서 본 학위논문에서는, 앞서 제시한 그래프 표현 방법과 함께, 교통류 역학의 기본 원리인 셀 전송 모델 (cell transmission model, CTM)을 기반으로 효과적인 그래프의 구조 및 특성 변수를 결정한다. 또한 메시지 전달 그래프신경망 (message-passing GNN)을 통해 학습하여, 통신 기반의 공간적 협력 모델을 구성한다. 다양한 패턴의 수요 시나리오에 대해 모델의 성능을 평가한 결과, 제안된 모델은 기존의 신호 제어 방식보다 에이전트 간의 협력을 통해 교통 정체를 효과적으로 분산시켜 교통 네트워크의 효율을 향상시켰음이 관찰된다.
마지막으로 주변부 제어는 위의 이슈와 달리, 기존의 모델 기반 방법론의 다양한 한계로 인해 데이터 기반의 방법론이 대두되고 있지만 아직 관련된 사례가 발표되지 않았다. 왜냐하면 주변부 제어의 효과에 의한 거시적 교통 기본도 (macroscopic fundamental diagram, MFD)의 형태 변화를 잘 묘사하는 거시적 교통 시뮬레이션이 여전히 개발 중이며, 강화학습 모델 설계 등 기술 적용을 위한 기초 연구가 부족하기 때문이다. 이에 본 연구에서는 최근 네트워크 전송 모델 (network transmission model)을 기반으로 개발된 거시적 교통 시뮬레이션을 활용하여 최초로 주변부 제어에 강화학습 기법을 적용한다. 아직 관련 사례가 발표되지 않았으므로, 본 연구는 기초 연구 제공을 위해 강화학습 주요 변수의 구성 및 서로 다른 매개화 기법을 적용한 네 가지 형태의 모델을 제안하고 동일한 여행 시나리오로 학습하여 모델의 유효성을 검증한다. 또한 다양한 교통류 패턴에서 잘 학습된 모델을 실험하여 이들의 제어 성능을 평가한다. 평가 결과 다양한 교통 정보를 포함하고 교통류 역학을 잘 표현할 수 있도록 변수화된 모델이 가장 높은 성능을 보였으며, 새로운 상황에도 더 잘 적응한다는 점이 밝혀졌다.
본 학위논문은 기존의 강화학습을 적용한 신호 제어 연구에서 고려하지 않은 매우 중요한 문제를 고려하였고, 이를 현실적인 신호 제어 프레임워크에서 다루었다. 이를 통해 해당 기법의 타당성을 더욱 향상시켰고, 나아가 대규모 교통 네트워크의 효과적 제어를 위한 밑바탕을 제시하였다. 본 학위논문의 결과를 적용한 대규모 네트워크에 대한 계층적 신호 제어 전략 방법에 대한 아이디어를 추후 연구 계획으로 남기며, 차세대 신호 제어 기법이 나아가야 할 방향을 제시한다.
