서지주요정보
Traffic signal control using reinforcement learning with webster method = 웹스터 방법과 결합한 강화학습을 이용한 교통신호제어
서명 / 저자 Traffic signal control using reinforcement learning with webster method = 웹스터 방법과 결합한 강화학습을 이용한 교통신호제어 / Sangjeong Lee.
저자명 Lee, Sangjeong ; 이상정
발행사항 [대전 : 한국과학기술원, 2018].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8032794

소장위치/청구기호

학술문화관(문화관) 보존서고

MCE 18029

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

리뷰정보

초록정보

Conventional traffic signal control algorithms are static, linear, fuzzy, or non-deterministic. Therefore, they are inappropriate for dealing with transportation systems efficiently. However, the Webster method is one conventional method that can find the optimal solution in one junction. Model predictive control methods have high computing costs in simulation. Machine-learning algorithms have become available as communication technology, the Internet of Things (IoT), and Big Data have improved. One example is reinforcement learning, which has an agent that continually interacts with the environment and is appropriate for data-driven approaches. However, the research on integrating reinforcement learning with traffic signal control usually uses image or matrix data as input, which results in long time requirements for training and difficulty in achieving convergence. Furthermore, a simplified action space is used, such as by expanding the current signal phase or switching to other phases. One model is also trained for one demand scenario, which lacks robustness. Therefore, in this study, the signal control variables of the green ratio and cycle length are defined as actions using a Double Deep-Q Network (DDQN) or the Webster method, and the robustness is improved for various travel patterns. Although reinforcement learning algorithms can find a proper solution in one junction, a trade-off between intersections is required when there are four junctions, which is not possible with the Webster method alone. The results show that with four junctions, the original DDQN and the DDQN initialized with the Webster method provide the best trade-off between intersections and achieve high network performance, but the discrepancy between the two methods is not large. This study contributes to the concept of combining reinforcement learning with traffic signal control variables and algorithms. Further study is needed to develop the concept by applying other reinforcement algorithms or considering other signal control variables such as the offset.

기존의 모델 기반 신호제어시스템은 변동적인 수요일 때 적용이 제한적이다. 알고리즘 중 하나인 웹스터 방법은 하나의 교차로에서는 좋은 값을 찾을 수 있지만, 여러 교차로에서는 교차로 간의 적절한 조정이 필요하기에 좋은 효과를 보이지 못한다. 이 외에 모델예측제어 알고리즘은 실제 적용할 때 시뮬레이션으로 인한 비용이 매우 크다. 과거 강화학습과 신호제어에 관한 연구에서는 컴퓨터 과학 관점에서 이미지 데이터를 인풋으로 받아와 액션을 단순하게 신호길이를 늘리는 형태로 신호제어를 하였다. 그리하여 본 연구에서는 데이터 관점에서 접근하여 머신러닝 기법 중 하나인 강화학습을 이용하여 단순하게 신호길이를 늘리는 것이 아닌 신호제어변수인 주기길이와 초록불 비율을 결정하는 웹스터와 결합한 강화학습 프레임워크를 개발하였다. 또한 이 알고리즘의 견고성을 확인하기 위하여 여러 수요 패턴을 이용해 훈련시키고 테스트하였다. 하나의 교차로에서 강화학습이 적합한 해를 찾는다는 것을 확인하였다. 4개의 교차로에서는 교차로 간의 상호작용이 필요하다. 강화학습 방법 중에서 웹스터 방법과 결합한 강화학습 알고리즘이 이러한 상호작용이 잘 이루어졌고 안정적이고 좋은 네트워크 성과를 보여줄 수 있었다.

서지기타정보

서지기타정보
청구기호 {MCE 18029
형태사항 v, 68 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 이상정
지도교수의 영문표기 : Hwasoo Yeo
지도교수의 한글표기 : 여화수
학위논문 학위논문(석사) - 한국과학기술원 : 건설및환경공학과,
서지주기 References : p. 63-66
주제 Reinforcement learning
double Deep Q Network
data-driven approach
traffic signal control
ITS
강화학습
더블 딥 큐 러닝
데이터 기반
교통 신호 제어
지능형교통시스템
QR CODE qr code