서지주요정보
Energy storage system control using deep reinforcement learning = 심층강화학습을 활용한 에너지 저장 시스템 제어
서명 / 저자 Energy storage system control using deep reinforcement learning = 심층강화학습을 활용한 에너지 저장 시스템 제어 / Heechang Ryu.
저자명 Ryu, Heechang ; 류희창
발행사항 [대전 : 한국과학기술원, 2018].
Online Access 원문보기 원문인쇄

소장정보

등록번호

8031923

소장위치/청구기호

학술문화관(문화관) 보존서고

MIE 18013

휴대폰 전송

도서상태

이용가능

대출가능

반납예정일

초록정보

Energy storage systems (ESS) can function as an energy buffer to resolve the temporal imbalance between energy generation and energy consumption. Users can charge energy to the ESS when the energy price is low or when renewable energy generation is greater than consumption so that the stored energy can be used when the energy demand is high and the energy price is high. Finding the optimal charging and discharging schedule can be cast generally as a stochastic control problem that can be solved using approaches such as Dynamic Programming and Model Predictive Control. Such approaches require explicitly defined analytical models for ESS dynamics and stochastic processes on energy demand, generation, and price; thus, they are difficult to employ if such models are not available. In this thesis, a data-driven control approach was proposed for ESS operation. Specifically, model-free reinforcement learning was employed with a deep neural network function approximator for state-action values and deep neural networks for policy gradient. With these approaches, the control policy is trained with stochastically varying data about the energy demand, wind energy generation, and energy price. Through simulation studies, the proposed method has been shown to optimize multidimensional and continuous ESS control actions, given stochastically varying state observations, to achieve significant reductions in the cost of energy to users.

에너지 저장 시스템은 에너지 생산과 소비의 일시적인 불균형을 해소하기 위한 에너지 완충 장치 역할을 할 수 있다. 사용자들은 신재생 에너지 생산량이 소비량보다 클 때나 에너지 가격이 낮을 때 에너지를 충전하고, 저장된 에너지는 에너지 수요나 가격이 높을 때 사용될 수 있다. 최적의 충전과 방전 계획을 구하는 것을 일반적으로 확률적 제어 문제로 생각되어, 동적 프로그래밍이나 모델 예측 제어 등의 접근방식으로 해결된다. 이러한 접근방식들은 에너지 수요와 생산, 가격에 대한 확률적 과정과 에너지 저장 장치의 동적 전이 등에 대해 명확히 정의된 분석 모델이 필요하다. 따라서 그러한 모델이 존재하지 않을 경우, 이러한 접근방식들은 적용되기 어렵다. 이 논문에서는, 에너지 저장 시스템 운용에 대한 데이터기반의 제어 방식이 제안된다. 특히, 행동 가치 함수를 심층신경망을 이용하여 근사하거나, 심층신경망과 policy gradient를 이용한, 모델이 없는 강화 학습이 사용되었다. 이러한 접근 방식들에서 제어 정책은 에너지 수요, 바람 에너지 생산, 에너지 가격에 대하여 확률적으로 변화하는 데이터에 대해 학습되었다. 제안된 방식들은 시뮬레이션 실험에서 확률적으로 변화하는 데이터에 대해 다차원적이며 연속적인, 에너지 저장 시스템의 행동을 최적화하였으며, 사용자의 에너지 비용을 상당히 절감시켰다.

서지기타정보

서지기타정보
청구기호 {MIE 18013
형태사항 iii, 38 p. : 삽도 ; 30 cm
언어 영어
일반주기 저자명의 한글표기 : 류희창
지도교수의 영문표기 : Hayong Shin
지도교수의 한글표기 : 신하용
공동지도교수의 영문표기 : Jinkyoo Park
공동지도교수의 한글표기 : 박진규
학위논문 학위논문(석사) - 한국과학기술원 : 산업및시스템공학과,
서지주기 References : p. 35-36
주제 Stochastic Control
Energy Storage System (ESS)
Reinforcement Learning
Deep Q Network
Policy Gradient
Actor-Critic
Deep Deterministic Policy Gradient
Recurrent Neural Network
Model Predictive Control
확률적 제어
에너지 저장 시스템
강화 학습
심층 행동 가치 함수 네트워크
순환 신경망
모델 예측 제어
QR CODE qr code