In 2023, the number of connected Internet of Things (IoT) devices is around 16.7 billion, and it is predicted that by 2025, the global number of connected IoT devices will exceed 30 billion. Connected IoT enables better insights, automation, and decision-making through data collection and exchange in industrial and everyday life. The continuous increase of IoT devices in the industrial sector underscores the need for 5th generation (5G) communication technology to meet high-performance requirements like massive connectivity, high-speed data processing, ultra-low latency, and enhanced security. The proliferation of these IoT devices plays a crucial role in the advancement of industrial processes, enhancement of automation, and improvement of efficiency, for which 5G private networks are being introduced. These networks, isolated from public networks, reduce interference from other networks and enhance performance by densely deploying small base station (BS) to increase network coverage and capacity. However, BS energy consumption accounts for $60~80\%$ of the total network energy consumption, even consuming over $50\%$ of this in standby mode without transmitting traffic, thus increasing operational expenses (OPEX). Therefore, industrial operators must consider the balance between improved network performance and increased OPEX due to BS energy consumption. Sleep mode methods for BS, as an effective approach to solving the problem between energy savings and network performance optimization, support the high QoS requirements of 5G while reducing energy usage. 3GPP proposes extending the signaling period to enable deeper sleep modes, but deciding on the sleep mode for each BS in an Ultra-Dense Network requires considerable computational operation. To address this, research based on Reinforcement Learning, considering energy efficiency and QoS, has been conducted to find the optimal sleep mode for BS. However, previous studies have focused on reducing energy consumption for downlink traffic from servers to IoT devices. Recently, most industrial IoT applications involve periodic uplink data transmission from IoT devices to servers for industrial environment monitoring. This dissertation proposes a method for transitioning to sleep mode between uplink data transmission of industrial IoT devices connected to BSs in order to minimize energy consumption in industrial IoT without compromising network performance. To address the complexity of deciding on sleep modes in a dense BS environment, the dissertation considers the optimization problem between the energy efficiency of the BS and network performance, applying a Proximal Policy Optimization (PPO) based method to reduce computational complexity. This dissertation defines an optimization problem to minimize BS energy consumption while meeting the performance requirements of IoT services, determining the optimal sleep mode for BS. The dissertation builds a simulation environment referencing 3GPP 5G industrial IoT standard documents, analyzing performance in terms of network throughput, energy consumption, and energy efficiency. Additionally, this dissertation introduces an energy-conscious BS sleep mode control through collaboration with IoT devices in industrial 5G networks, which comprehensively considers the increase in energy consumption that occurs during the handover process of IoT devices as a result of the BS's transition to sleep mode. This research extends the PPO-based optimization problem to lower computational complexity, simultaneously considering the energy efficiency of both BS and IoT devices in dense networks, thus enhancing overall energy efficiency. This method demonstrates superior performance in terms of network throughput, energy consumption, energy efficiency, and expected lifespan of IoT devices compared to other algorithms. This significantly contributes to the development of an energy-efficient BS sleep method and verifies the performance in depth to increase the overall energy efficiency of the private 5G industrial network.
2023년 연결된 사물인터넷(IoT) 장치 수는 16.7 억개 정도이며, 2025년까지 세계적으로 연결된 IoT 장치수는 300억개 이상이 될 것으로 예측된다. 연결된 사물인터넷은 산업 및 일상 생활에서 더 나은 통찰력, 자동화 및 의사 결정을 위한 데이터 수집 및 교환을 가능하게 한다. 산업 분야에서 IoT 장치의 지속적인 증가는 대규모 연결성, 고속 데이터 처리, 초저지연, 강화된 보안 등과 같은 높은 성능 요구사항을 충족시키기 위해 5세대 통신 기술의 필요성을 더욱 부각시키고 있다. 이러한 IoT 장치들의 확산은 산업 공정의 발전, 자동화 증진 및 효율성 향상에 중요한 역할을 하고 있으며, 이를 위해 5G 특화망이 도입되고 있습니다. 5G 특화망은 공공 네트워크로부터 격리하여 다른 네트워크의 간섭을 줄이고 안정적이고 통제된 네트워크 환경에서 소형 기지국(BS)을 밀집시켜 망 커버리지와 용량을 증대시킴으로써 고성능 IoT 장치들의 성능을 안정적으로 제공할 수 있다. 하지만 기지국의 에너지 소비가 전체 네트워크 에너지 소비량의 $60\sim80\%$를 차지하며 트래픽을 전송하지 않는 대기 상태에 있더라고 기지국 에너지 소비의 약 $50\%$ 이상을 소비하며 운영 비용 (OPEX)을 증가시킨다. 따라서 산업 운영자는 네트워크 성능 향상과 기지국의 에너지 소비로 인한 높아진 운영 비용 사이의 균형을 고려해야 한다. 기지국 절전 방법은 에너지 절약과 네트워크 성능 최적화 사이의 문제를 해결하기 위한 효과적인 접근 방법으로 다중 절전 모드는 에너지 사용을 줄이면서 5G의 높은 QoS 요구사항을 지원한다. 3GPP는 신호 주기 확장을 제안하여 더 깊은 절전 모드를 적용한 다중 절전 모드 지원이 가능하지만, 소형 기지국이 밀집 배치된 UDN에서 기지국별 수면 모드의 결정은 상당한 계산 비용을 필요로 한다. 이를 해결하기 위해 에너지 효율성 (EE)과 QoS를 고려하여 기지국의 최적의 수면 모드를 찾기 위해 강화학습 (RL)을 기반으로 연구가 진행되었다. 기존에 제안된 연구들은 서버에서 IoT 장치로 전송되는 다운링크 트래픽의 에너지 소비 감소에 초점을 맞추고 있다. 그러나 최근 산업 IoT 응용서비스의 대부분은 산업 환경 모니터링을 위하여 IoT 기기에서 서버로 주기적으로 업링크 데이터를 전송한다. 본 연구는 산업 IoT에서 주기적으로 전송되는 업링크 전송을 고려하여 기지국에 연결된 산업 IoT 장치들의 업링크 데이터 전송 주기 사이의 간격 사이에 최적의 시간동안 에너지 소비를 최소화하기 위해 수면 모드로 전환하는 방법을 제안하였다. 기지국이 밀집된 환경에서 수면 모드 결정을 위한 복잡도 문제를 해결하기 위하여 기지국의 에너지 효율과 네트워크 성능 사이에 최적화 문제를 고려하였으며 PPO(Proximal policy optimization) 기반 방법을 적용하여 계산 복잡도를 낮췄다. 본 연구는 IoT 서비스의 성능 요구사항을 충족시키면서 기지국의 에너지 소비를 최소화하기 위한 최적화 문제를 정의하여 기지국의 최적의 수면 모드를 결정하였으며, 3GPP 표준 문서와 5G 기반 산업 IoT 실험 환경을 참조하여 시뮬레이션 환경을 구축하고, 네트워크 처리량, 에너지 소비, 에너지 효율성 측면에서 성능을 분석하였다. 또한, 본 연구는 산업용 5G 특화망에서 기지국의 수면 모드 전환과 이로 인한 IoT 장치의 핸드오버 과정에서 발생할 수 있는 에너지 소비 증가를 종합적으로 고려하여 IoT 단말과의 협업을 통해 망 전체의 에너지 효율을 높일 수 있는 에너지 인지형 기지국 수면 모드 제어 방법을 제안하였다. 5G 특화망에서 높은 성능을 지원하기 위하여 기지국과 IoT 기기가 밀집하게 분포된 산업 환경에서 기지국과 IoT 기기의 에너지 효율을 동시에 고려하기 위하여 계산 복잡도를 낮출 수 있도록 앞서 활용한 PPO 기반 최적화 문제를 확장하여 기지국과 IoT 기기의 에너지 효율을 종합적으로 높였다. 해당 방법은 타 알고리즘과 성능 비교를 통하여 네트워크 처리량, 에너지 소비, 에너지 효율, IoT 장치의 기대 수명 측면에서 더 우수한 성능을 도출하였다. 본 연구는 산업 5G 특화망의 전반적인 에너지 효율을 높이기 위한 다단계 수면 방법을 제안하고 심도있게 성능을 검증하였다.
