As the wireless network structure becomes more complex to handle heavy traffic generated from IoT devices, smart phones, etc., and to satisfy various QoS requirements, existing network scheduling algorithms are showing limitations. Wireless Scheduling based on reinforcement learning is emerging as a method to efficiently allocate limited resources while overcoming the limitations of existing algorithms, since without prior knowledge of complex environment, reinforcement learning finds optimal policy by interaction with the environment. However, to apply reinforcement learning to the complex network of reality, it is necessary to solve the curse of dimensionality problem that occurs as the size of the state space increases. In this study, we analyze previous research and limitations of non-learning and learning-based network scheduling algorithms, and develop a state space representation method by selecting candidate users according to each user’s priority given by specific criterion. With this representation method, we propose a new deep reinforcement learning based wireless network scheduling algorithm.
IoT 기기, 스마트폰 등에서 발생하는 대량의 트래픽을 처리하고 다양한 QoS 요구사항을 만족시키기 위해 무선 네트워크 구조가 점점 복잡해짐에 따라 기존의 네트워크 스케줄링 알고리즘은 한계를 드러내고 있다. 강화학습은 복잡한 환경에 대한 사전 지식이 없어도 환경과의 상호작용을 통해 최적의 정책을 찾을 수 있어, 기존 알고리즘의 한계를 극복하면서 한정된 자원을 효율적으로 분배할 수 있는 방법으로서 강화학습에 기반한 무선 스케줄링이 주목받고 있다. 그러나 현실의 복잡한 네트워크에 강화학습을 적용하기 위해서는 상태 공간의 크기가 증가함에 따라 발생하는 차원의 저주 문제의 해결이 필요하다. 본 연구에서는 기존의 비학습 기반 및 학습 기반 네트워크 스케줄링 알고리즘의 연구 동향과 한계를 분석하고, 특정 기준에 의한 우선순위에 따라 후보군을 선정해 상태 공간의 크기를 줄일 수 있는 상태 공간 표현 방법을 통하여 새로운 강화학습 기반 무선 네트워크 스케줄링 알고리즘을 제시하고자 한다.
