The carrier sense multiple access (CSMA) algorithm has been used in the wireless medium access control (MAC) under standard 802.11 implementation due to its simplicity and generality. An extensive body of research on CSMA has long been made not only in the context of practical protocols, but also in a distributed way of optimal MAC scheduling. However, the current state-of-the-art CSMA (or its extensions) still suffers from poor performance, especially in multi-hop scenarios, and often requires patch-based solutions rather than a universal solution. In this thesis, we propose an algorithm which adopts an experience-driven approach and train CSMA-based wireless MAC by using deep reinforcement learning. We name our protocol, Neuro-DCF. Two key challenges are: (i) a stable training method for distributed execution and (ii) a unified training method for embracing various interference patterns and configurations. For (i), we adopt a multi-agent reinforcement learning framework, and for (ii) we introduce a novel graph neural network (GNN) based training structure. We provide extensive simulation results which demonstrate that our protocol, Neuro-DCF, significantly outperforms 802.11 DCF and O- DCF, a recent theory-based MAC protocol, especially in terms of improving delay performance while preserving optimal utility. We believe our multi-agent reinforcement learning based approach would get broad interest from other learning-based network controllers in different layers that require distributed operation.
채널 감지 다중 접근 (CSMA) 알고리즘은 단순성과 일반성에 근거하여 표준 802.11 구현의 무선 매체 접근 제어 (MAC) 기법으로 사용되었다. CSMA 에 대한 연구는 실용적인 프로토콜로서도, 최적의 MAC 스케줄링 을 달성하기 위한 분산적인 기법으로서도 광범위하게 이루어졌다. 하지만, 현재 개발되어 있는 가장 최신의 CSMA기법조차도특정상황,특히다중홉통신환경등에서취약한성능을보인다. 이러한성능의개선을 위해 연구된 기법들은 지엽적인 상황에 대한 성능 보완을 하는 형식의 기법들이고, 모든 무선 통신 상황을 위한 범용성이 떨어지는 경향을 보인다. 본 학위 논문에서는, 현재 새로운 제어 패러다임으로 대두되는 경험 기반 접근 방식에 근거하여, 심층 강화 학습으로 CSMA-기반 무선 MAC 알고리즘을 학습시키는 기법을 제시한다. 저자는 본 논문에서 소개하는 기법을 Neuro-DCF 라 명명하고, 이러한 기법을 설계하기 위한 두 가지의 핵심 설계 목표를 설명한다. 설계 목표를 설명하자면, 학습 방식은 (i) 분산적인 제어기 동작을 위한 안정적인 훈련 기법어야 하고, (ii) 다양한 간섭 패턴과 무선 환경에 모두 적용 가능한 통합 학습 방식이어야 한다. 목표 (i) 를 위해 저자는 다중 에이전트 강화 학습 프레임워크를 적용하였고, 목표 (ii) 를 위해서는 그래프 신경망에 기반한 학습 구조를 제안한다. 제안된 Neuro-DCF 의 성능 검증을 위해 다양한 무선 간섭 환경에서 802.11 DCF 와 O-DCF 기법 등과 성능 비교를 제시한다. O-DCF 는 이론에 기반되어 설계된 최적 CSMA 기법이고, 이러한 기존 방식들에 비하여 Neuro-DCF 는 최적의 성능 지표 달성을 유지하면서 전송지연시간을비약적으로줄일수있었다. 저자는본논문에서제안한다중에이전트강화학습방식이 이러한 네트워크 제어기 학습 기법에 대한 연구에 기여하고, MAC 계층 이외의 다른 계층에서도 분산 제어 방식의 훈련을 위한 하나의 프레임워크로서 기능하기를 기대한다.
