Wi-Fi networks are the most common and globally used wireless access communication technology. In addition, Wi-Fi network infrastructure can be used easily anywhere, anytime in the world, and guarantees high data transmission speed. In the trend of increasing wireless network traffic, Wi-Fi protocol technology has been developed to optimize and increase bandwidth, transmission distance, and transmission speed. However, recently, research to reduce the energy consumption of mobile terminals (MT) has been actively conducted, focusing on protocols such as 802.11ax. In particular, with the high demand and spread of the Internet of Things (IoT) over Wi-Fi networks, research to reduce the energy consumption of IoT devices, such as increasing the energy efficiency of battery-typed IoT devices, has been actively conducted recently as a significant task to be solved. Among these studies, IoT data transmission with bio-information is performed with high reliability to provide medicare IoT services in an indoor environment such as a hospital, and efforts to increase the energy of IoT devices are essential.
In a situation where Wi-Fi wireless network traffic increases, the cells covered by the Wi-Fi network's access point (AP) are also becoming smaller and more densely populated. Due to the dense AP, mobile terminals (MTs), including IoT devices, exist within the coverage of multiple overlapped cells. In this situation, the MT generally uses a method of accessing the AP that has received the strongest signal. However, in this legacy method, a phenomenon in which MTs are concentrated in a specific AP brings contentions between MTs, and transmission collisions occur in many cases. In addition, low bandwidth utilization in the non-crowded APs reduces overall network performance. This reduces energy efficiency and causes a long delay time due to the retransmissions of the MT that include IoT devices. Therefore, it is necessary to solve the problem of selecting the optimal AP considering IoT devices' energy efficiency and latency in a multi-coverage Wi-Fi network environment.
In order to solve this problem, the development of a more intelligent AP system was proposed to increase the energy efficiency of IoT devices for reliable IoT services. The proposed energy-conscious AP (hereafter referred to as eAP) implements various functions in software to reduce the energy consumption of IoT devices. First, the environment of TCP protocol-based transmission in which ACKs are exchanged for reliable data transmission was considered. In addition, this dissertation tried to propose an eAP system operating in 802.11n or 802.11ax Wi-Fi, which are the latest WLAN protocols. The existing AP is a simple router-like hardware that acts as a relay to send and receive data between IoT devices or MTs and servers. The proposed eAP is an intelligent AP that control the transmission period, adaptive transmitting power, and optimal AP selection of IoT devices in consideration of various layers of information. The proposed eAP analyzes the characteristics of IoT devices to adjust the transmission period, generates and delivers prompt TCP ACKs, and increases the energy efficiency of IoT devices through caching and retransmission functions. In addition, by integrating multiple IoT data traffic and delivering it to the server in a burst-type packet, the number of network traffic between the AP and the server was reduced to improve network performance.
The proposed eAP system selects an optimal AP that can increase IoT devices' energy efficiency and latency efficiency in a multi-coverage environment. The eAP calculates the optimal transmitting power and delivers this to the IoT devices for IoT data transmission through network load balancing. The eAP delivers the control message to the IoT device and controls to select the optimal AP that significantly reduces the possibility of collision during IoT data transmission through network load balancing. In addition, according to the selection of the optimal AP, the IoT device is controlled to transmit the IoT data with the optimal transmitting power in consideration of the distance between the IoT device and the selected AP.
In order to solve the problem of selecting the optimal AP considering the energy efficiency and latency of IoT devices, reinforcement learning, a branch of machine learning, was used to solve the problem. For this, we propose a new energy and latency reinforcement learning model (Energy and Latency Reinforcement Learning, hereafter referred to as EL-RL) based on the Proximal Policy Optimization (PPO) algorithm, which has fast learning and processing times and excellent performance in reinforcement learning. Through the proposed EL-RL model, it is possible to select the optimal AP for a given environment by considering the energy and latency of IoT devices in real-time.
The energy consumption of the IoT device was mathematically analyzed through the proposed eAP system. The IoT performance was analyzed by constructing a simulation environment based on the parameter values of the actual Wi-Fi device based on 802.11ax. To analyze the energy performance of this IoT device, the energy consumption of the IoT device according to the transmission period, the energy consumption of the IoT device according to the change of the DTIM (Delivery of Traffic Indication Map) value, and the set target SINR (Signal to Interference plus Noise Ratio) value change. Also, we calculate the probability of transmission collision and analyze the energy consumption of the IoT device according to the collision probability change through mathematical calculations and simulations. In addition, the expected life expectancy of the battery-type IoT device was calculated, and the delay time of the IoT device was reduced by using the proposed eAP.
Through such a proposed eAP system, it is possible to increase the energy efficiency of MTs, including IoT devices, improve service quality by lowering latency, and significantly improve the expected life expectancy of IoT devices. In addition, the eAP system that is implemented by software is expected to provide a much higher quality of medicare IoT service than before through simple software installation on the existing AP system.
Wi-Fi 네트워크는 가장 보편적이고 세계적으로 사용되는 무선 액세스 통신 기술이다. 또한 세계 어느곳에서나 쉽게 사용할 수 있는 망 인프라를 가지고 있으며 높은 데이터 전송 속도를 보장한다. 무선 네트워크 트래픽이 증가하는 상황에서 Wi-Fi 프로토콜 기술은 제공하는 대역폭을 최적화하고, 전송 거리를 늘리며, 전송 속도를 높이는 것 등에 초점이 맞추어져 발달해 왔다. 하지만 최근들어 단말의 에너지 소비를 줄이고자 하는 연구가 802.11ax와 같은 프로토콜를 중심으로 활발하게 이루어지고 있다. 특히 Wi-Fi 네트워크를 이용한 사물인터넷 (IoT)의 많은 수요 및 보급에 따라 배터리로 동작되는 IoT 기기의 에너지 효율을 높이는 등의 에너지 소비를 줄이고자 하는 연구가 주요 해결해야 할 과제로 최근 활발히 이루어지고 있다. 이러한 연구 가운데 병원에서와 같은 실내 환경에서 IoT 메디케어 서비스를 제공하기 위하여 높은 신뢰도를 가지고 바이오 정보를 가진 IoT 데이터 전송이 이루어지며 IoT 기기의 에너지를 높이고자 하는 노력이 매우 필요하다.
무선 네트워크 트래픽이 증가하는 상황에서 Wi-Fi 네트워크의 액세스 포인트 (AP)가 커버하는 셀역시 점점 더 소형화 되고 있고 밀집화되고 있는 추세이다. 밀집화된 AP로 인하여 IoT 기기를 포함한 무선 단말은 다중의 셀 커버리지 안에 존재하게 되고, 이러한 상황에서 기존에는 가장 센 신호를 수신하는 AP를 단말이 연결하는 방식이 보편적으로 사용되고 있다. 하지만, 이러한 방식은 특정 AP에 단말이 집중되는 현상이 발생하여 단말간의 경합이 일어나 전송 충돌이 일어나는 경우가 많이 발생하며, 특정 AP에는 유휴 대역이 발생하여 전체적으로 네트워크의 성능을 떨어뜨리는 경우가 발생한다. 이는 무선 단말의 재전송으로 인하여 에너지 효율을 떨어뜨리고 긴 지연시간이 발생시킨다. 따라서 멀티 커버리지 환경의 Wi-Fi 네트워크에서 IoT 기기의 에너지 효율과 지연시간을 고려한 최적의 AP 선택 문제를 해결하는 노력이 매우 필요하다.
이러한 문제를 해결하기 위해서 IoT 기기의 에너지 효율을 높이면서 신뢰성 있는 데이터 전송을 하고자 좀 더 지능적인 AP 시스템 개발을 제안하였다. 제안한 에너지 절약형 AP (energy-conscious AP, 이하 eAP)는 IoT 기기의 에너지 소모를 줄이고자 다양한 기능을 소프트웨어로 구현하였다. 먼저 신뢰있는 데이터 전송을 위하여 ACK를 주고받는 TCP 프로토콜 기반의 전송의 환경을 고려하였다. 또한 802.11n 혹은 최신의 WLAN 프로토콜인 802.11ax Wi-Fi환경에서도 동작되는 eAP 시스템을 제안하고자 하였다. 기존의 AP는 단순히 IoT 기기 내지 무선 단말과 서버 사이에 데이터를 주고 받는 릴레이 역할에 그치는 단순한 라우터 같은 하드웨어이지만, 제안한 eAP는 다양한 계층의 정보를 고려하여 단말의 전송 주기와 전송 파워, 최적 AP 선택 등을 조절하는 지능적 AP이다. 제안한 eAP는 IoT 기기의 특성을 분석하여 전송 주기를 조절하고, 좀 더 빠른 TCP ACK를 생성 전달하며, 캐싱 기능과 재전송 기능을 통하여 IoT 기기의 에너지 효율을 높이고자 하였다. 또한 다중의 IoT 데이터 트래픽을 통합하여 버스트 형태의 패킷으로 서버에게 전달하여 AP와 서버 간의 네트워크 트래픽 수를 줄여서 네트워크 성능 또한 향상 시키고자 하였다.
제안한 eAP 시스템은 멀티 커버리지 환경에서 IoT 기기의 에너지 효율과 지연시간 효율을 높일 수 있는 최적의 AP 선택과 최적의 전송 파워 계산을 수행하며, 이를 IoT 기기에게 전달하여 네트워크 로드 밸런싱을 통하여 IoT 데이터 전송에 있어 충돌확률을 확연히 낮춘 최적의 AP 선택하도록 제어한다. 또한 최적 AP 선택에 따른 IoT 기기와 선택된 AP간의 거리를 고려하여 IoT 기기가 최적의 전송파워로 IoT 데이터를 보낼 수 있도록 제어한다.
이러한 IoT 기기의 에너지 효율과 지연시간을 고려한 최적 AP 선택 문제를 해결하고자 머신러닝의 한 분야인 강화학습을 통하여 문제를 해결하고자 하였다. 제안한 eAP는 강화학습 알고리즘 중에서 학습과 처리 시간이 빠르며 성능이 뛰어난 Proximal Policy Optimization (PPO) 알고리즘에 기반한 에너지와 지연시간을 고려한 새로운 강화학습 모델 (Energy and Latency Reinforcement Learning, 이하 EL-RL)을 개발하여 사용하였으며, 이를 통하여 주어진 환경에 맞도록 실시간으로 IoT 기기의 에너지와 지연시간을 고려한 최적의 AP 선택을 할 수 있도록 하였다.
제안한 eAP 시스템을 통하여 IoT 기기의 에너지 소모를 수학적으로 분석하였으며, 이는 802.11ax 기반의 실제적 Wi-Fi 기기의 파라미터값을 기반으로 시뮬레이션 환경을 구성하여 IoT 성능을 분석하였다. 이러한 IoT 기기 에너지 성능 분석을 위하여 전송 주기에 따른 IoT 기기의 에너지 소모, DTIM (Delivery of Traffic Indication Map) 값 변화에 따른 IoT 기기의 에너지 소모, 설정한 목표 SINR (Signal to Interference plus Noise Ratio) 값 변화에 따른 IoT 기기의 에너지 소모, 전송 충돌확률 및 전송 충돌확률 변화값에 따른 IoT 기기의 에너지 소모 등을 수학적 계산과 시뮬레이션을 통해 분석하였다. 또한 배터리 타입의 IoT 기기의 예상되는 기대수명을 계산하였으며, 제안한 eAP로 인하여 줄어드는 IoT 기기의 지연시간을 분석하였다.
뿐만 아니라, 제안한 eAP 시스템을 통한 최적의 AP 선택에 따른 IoT 기기의 에너지 성능 및 지연시간 성능을 시뮬레이션을 통해 분석하였다. 이에 배터리 타입의 IoT 기기의 늘어난 에너지 효율에 따른 예상되는 기대수명 역시 계산하였다.
이러한 제안한 eAP 시스템을 통하여 IoT 기기를 포함한 무선 단말의 에너지 효율을 높이며 지연시간을 낮추어 서비스 품질을 높이며, IoT 기기의 예상되는 기대 수명을 매우 향상 시킬 수 있다. 소프트웨어로 제안한 eAP 시스템은 기존 AP 시스템에 간단한 소프트웨어 설치를 통하여 기존보다 훨씬 높은 품질의 IoT 메디케어 서비스 제공이 가능하리라 기대된다.
