This paper deals with the optimal system operation applying methods such as game theory and reinforcement learning. First, in a smart grid composed of prosumers who can buy and sell energy, based on a Stackelberg game formulation, we proposed an energy transaction method in which the system is stabilized. Second, a deep reinforcement learning approach to Lyapunov optimization that can minimize resource use for task processing while maintaining Queue Stability was studied. Previously, the Drift-plus-penalty algorithm, which is a Greedy algorithm, has been used for Lyapunov optimization, but this algorithm has to solve a complex optimization problem at every step, and sometimes the optimization problem is not solved in a complex cost function. As an alternative to this, in order to apply reinforcement learning, the state space for the Markov decision process was properly designed, and the condition that the reward function of reinforcement learning should have was theoretically derived. It has been shown that a learning model that has undergone appropriate learning can respond in real time even when the optimization objective is discontinuous or complex calculations are required. This approach has shown successful results for efficient resource allocation, which allows the edge server to have queue stability while directly handling mobile work or offloading it back to the cloud server. Following the above study dealing with efficient operation in edge servers, the following study attempts to optimize the operation of edge services of cloud service providers from the perspective of the dynamic market. We derived a method for cloud service providers to find a dynamic market equilibrium that maximize profits for dynamic market demand.
이 논문에서는 게임이론, 강화학습 등의 방법을 적용한 최적 시스템 운용에 대해 다루었다. 첫째, 에너지 사고 팔 수 있는 프로슈머들로 구성된 스마트그리드에서 Stackelberg Game 이론에 기반하여 시스템이 안정화되는 에너지 거래 방식을 제안하였다. 둘째는 본 논문의 주 연구 주제인 엣지 컴퓨팅 운영 최적화에 관한 내용이다. 엣지 컴퓨팅은 인공지능과 더불어 최근 컴퓨팅 수요가 증가하는 모바일들을 담당하기 부각되는 핵심 기술 중 하나이다. 엣지컴퓨팅에서는 수요자의 지연 및 용량에 대한 요구 조건을 맞추면서도 엣지 시스템의 운용 cost를 최소화하는 최적 자원 분배가 필수적이다. 본 연구에서는 이러한 엣지 시스템 최적 운영에 적용될 수 있는 대기열 안정성(Queue Stability)을 유지하면서 태스크 처리에 대한 리소스 사용을 최소화하는 Lyapunov 최적화에 대한 심층 강화학습적 접근에 대해 연구하였다. 기존에는 Lyapunove 최적화를 위해 Greedy 알고리즘인 Drift-plus-penalty 알고리즘을 사용해 왔으나, 이 알고리즘은 매 step마다 복잡한 최적화 문제를 풀어야 하며 복잡한 cost 함수에서는 최적화 문제가 풀리지 않는 경우도 발생하였다. 이에 대한 대안으로 강화학습을 적용하기 위해 마르코프 결정 프로세스를 위한 상태 공간을 적절히 디자인하고, 강화학습의 보상 함수가 갖춰야 할 조건을 이론적으로 도출하였다. 적절한 학습을 거친 학습 모델은 최적화 목적이 불연속적이거나 복잡한 계산이 필요한 경우라도 실시간 대응이 가능함을 보였다. 이런 접근을 통해 에지 서버가 큐 안정성을 갖추면서, 직접 모바일의 일을 처리하거나 클라우드 서버로 다시 오프로드하는 효율적인 자원 할당에 대한 성공적인 결과를 보여주었다. 다음으로는 클라우드 서비스 제공자의 엣지 서비스 운영을 dynamic 시장 관점에서 최적화를 시도한 연구이다. 클라우드 서비스 제공자가 dynamic 시장 수요에 대해 이익을 최대화하는 dynamic market equilibrium 지점을 찾는 방식을 도출하였다.
