This thesis proposes a wireless charging transportation system model and optimization algorithm based
on reinforcement learning. The design of conventional electric vehicles (EVs) is affected by numerous limitations, such as a short travel distance and long charging time. As one of the first wireless charging transportation systems, the Online Electric Vehicle (OLEV) was developed to overcome the charging
limitations of the current generation of EVs. Using wireless charging, an electric vehicle receives power wirelessly from power cable embedded in the road.
In order to successfully support the operation of wireless charging transportation system as public transportation, it is necessary to develop an accurate model of wireless charging transportation system and optimization algorithm. Therefore, we propose a system model reflecting actual traffic environment and an optimal design algorithm based on reinforcement learning.
First, a model and algorithm for the optimal design of a wireless charging electric bus system is
proposed. The model is built using a Markov decision process and is used to verify the optimal number of power cable segments, as well as optimal pickup capacity and battery capacity. Based on the Google Maps API and Google Transit API, traffic environment of M1 bus line in New York City is composed to reflect the diverse traffic environment. Using reinforcement learning, the optimization problem of a wireless charging electric bus system in a diverse traffic environment is then solved. The numerical results show that the proposed algorithm maximizes average reward and minimizes total cost. We show the effectiveness of the proposed algorithm compared to the exact solution via mixed integer programming (MIP).
Second, we propose a model and algorithm for optimal design of a wireless charging tram system to minimize the operation cost. The Manchester Metrolink tram network have been built using the Google Maps API and the Google Transit API to extend single route environment to multiple entry and multiple destination environment. Then, we found the optimal battery capacity and pickup capacity value using decentralized multi-agent reinforcement learning algorithm Numerical results show that the proposed algorithm minimizes the cost compared to the single agent reinforcement learning algorithm and presented faster convergence compared to the dynamic programming algorithm.
Third, we propose a bi-level reinforcement learning algorithm to minimize the operation cost of wireless charging electric bus system. The stochastic traffic environment is modeled to reflect the traffic
condition wireless charging electric bus experiences, such as misalignment of wireless charging module
and passenger demand variation according to operation time. Through simulation, we show that the convergence rate of proposed algorithm greatly is improved compared to conventional Q-learning algorithm and output of proposed algorithm is cross checked using mixed integer programming (MIP) algorithm.
본 논문은 무선 충전 수송 시스템 모델을 제안하고 강화학습을 기반으로 한 최적화 알고리즘 개발을 목표로 한다. 기존의 유선 충전 방식은 전기를 에너지원으로 하는 수송 시스템으로 짧은 운행거리, 긴 충전 시간 등과 같은 제약이 존재하므로, 이러한 문제점 들을 해결하기 위해 무선 충전 방식과 기존 수송 시스템을 결합한 무선 충전 수송 시스템이 대안으로 떠오르고 있다. 하나의 예로, 무선 충전 수송 시스템과 전기 자동 차가 결합된 온라인 전기 자동차(OLEV)는 현 세대의 전기 자동차의 한계를 극복하고, 도로에 매설된 급전 트랙을 통해 전력을 공급받아서 운행 중이다.
무선 충전 수송 시스템을 대중교통으로서 성공적으로 안착 시키기 위해서는 무선 충전 수송 시스템에 대한 정확한 모델링과 최적 설계를 위한 알고리즘 개발이 필요 하다. 따라서, 본 논문에서는 실제 교통 환경을 반영한 시스템 모델과, 강화학습을 기반으로 한 최적 설계 알고리즘을 제안한다.
첫번째로, 무선 충전 전기 버스 시스템의 최적 설계를 위한 모델과 알고리즘을 제안한다. 해당 모델은 Markov 결정 과정을 통해 구성했으며, 최적의 픽업 용량, 배터리 용량, 매설된 급전 선로 세그먼트 개수를 도출하는데 사용되었다. 구글 지도 API와 구글 교통 API를 활용해서 미국 뉴욕시의 M1 버스 노선의 교통 환 경을 반영하여 무선 충전 전기 버스 시스템의 최적화 문제 해결 방안을 제시했으며, 수치적 결과로는 제안된 알고리즘이 평균 보상을 최대화하고 총 비용을 최소화 함을 보여주었다. 또한, mixed integer programming (MIP)의 결과와 비교하여 제안 한 알고리즘의 효율성을 보여주었다.
두번째로, 무선 충전 트램 시스템의 최적 설계를 위한 모델과 알고리즘을 제안한다. 기존 단일 출발점, 도착점 환경에서 다중 출발점, 다중 도착점 환경으로 확장을 위해 Manchester Metrolink tram network의 노선을 구글 지도 API와 구글 교통 API를 활용하여 구축했다. 제안한 모델의 최적 에너지 비용을 찾기 위해 분산 다중 에이전트 강화 학습 알고리즘을 활용하여 최적 배터리 용량 및 픽업 용량 값을 도출하였다. 수치적 결과는 제안된 알고리즘이 단일 에이전트 강화 학습 알고리즘에 비해 비용을 최소화하고 다이나믹 프로그래밍 알고리즘 대비 더 빠르게 수렴하는 것을 보여 주었다.
세번째로, stochastic 교통 환경에서 무선 충전 전기 버스의 운영 비용을 최소화 하기 위해 이중층으로 구성된 강화학습 알고리즘을 제안한다. 무선 충전 전기 버스가 운행 중 발생하는 다양한 교통 환경을 반영 하기 위해, 도로 아래에 매설된 급전 선로와 무선 충전 전기 버스에 설치되어 있는 픽업모듈 간의 정렬 불량, 배터리 방충전 사이클과 온도를 반영한 배터리 설계, 운행시간 별 탑승객 수 변화를 고려하였다. 무수히 많은 변수가 발생하는 stochastic 교통 환경에서 낮은 복잡도로 최저 운영 비용을 찾기 위해 제안한 이중계 층 강화학습 알고리즘은 탐색 공간 축소를 목표로 하는 상위층과 축소된 탐색 공간에서 최저 운용 비용을 도출해내는 하위층으로 구성되어 있다. 수치적 결과로는 기존 강화학습 알고리즘 대비 빠른 수렴 속도를 보였으며, MIP 알고리즘 결과와의 비교 분석을 통해 검증하였다.
