Energy storage systems (ESS) can function as an energy buffer to resolve the temporal imbalance between energy generation and energy consumption. Users can charge energy to the ESS when the energy price is low or when renewable energy generation is greater than consumption so that the stored energy can be used when the energy demand is high and the energy price is high. Finding the optimal charging and discharging schedule can be cast generally as a stochastic control problem that can be solved using approaches such as Dynamic Programming and Model Predictive Control. Such approaches require explicitly defined analytical models for ESS dynamics and stochastic processes on energy demand, generation, and price; thus, they are difficult to employ if such models are not available. In this thesis, a data-driven control approach was proposed for ESS operation. Specifically, model-free reinforcement learning was employed with a deep neural network function approximator for state-action values and deep neural networks for policy gradient. With these approaches, the control policy is trained with stochastically varying data about the energy demand, wind energy generation, and energy price. Through simulation studies, the proposed method has been shown to optimize multidimensional and continuous ESS control actions, given stochastically varying state observations, to achieve significant reductions in the cost of energy to users.
에너지 저장 시스템은 에너지 생산과 소비의 일시적인 불균형을 해소하기 위한 에너지 완충 장치 역할을 할 수 있다. 사용자들은 신재생 에너지 생산량이 소비량보다 클 때나 에너지 가격이 낮을 때 에너지를 충전하고, 저장된 에너지는 에너지 수요나 가격이 높을 때 사용될 수 있다. 최적의 충전과 방전 계획을 구하는 것을 일반적으로 확률적 제어 문제로 생각되어, 동적 프로그래밍이나 모델 예측 제어 등의 접근방식으로 해결된다. 이러한 접근방식들은 에너지 수요와 생산, 가격에 대한 확률적 과정과 에너지 저장 장치의 동적 전이 등에 대해 명확히 정의된 분석 모델이 필요하다. 따라서 그러한 모델이 존재하지 않을 경우, 이러한 접근방식들은 적용되기 어렵다. 이 논문에서는, 에너지 저장 시스템 운용에 대한 데이터기반의 제어 방식이 제안된다. 특히, 행동 가치 함수를 심층신경망을 이용하여 근사하거나, 심층신경망과 policy gradient를 이용한, 모델이 없는 강화 학습이 사용되었다. 이러한 접근 방식들에서 제어 정책은 에너지 수요, 바람 에너지 생산, 에너지 가격에 대하여 확률적으로 변화하는 데이터에 대해 학습되었다. 제안된 방식들은 시뮬레이션 실험에서 확률적으로 변화하는 데이터에 대해 다차원적이며 연속적인, 에너지 저장 시스템의 행동을 최적화하였으며, 사용자의 에너지 비용을 상당히 절감시켰다.
