Drones have many ways to use them due to their convenience of use among unmanned aerial vehicles (UAVs). However, it is challenging to solve the multiple drone operation problem considering the real-time interactions between drones, such as collision avoidance and path interference occurred by differences in assigned missions to drones. In this paper, we introduce the energy-efficient run-time planning of multiple drones using reinforcement learning. We implement an environment that can run multiple drones and we attempt reinforcement learning of drones using twin-delayed deterministic policy gradient (TD3), which is state-of-the- art (SOTA) of policy gradient. This paper presents the detailed parameter information for implementing reinforcement learning of multiple drones, such as input, reward, and hyper-parameters of the actor and critic. The proposed method shows the results of real-time energy-efficient operation of multiple drones in an environment where an external force is applied. The energy consumed by the proposed method achieved 5.53 % more energy than the optimal energy path derived from offline optimization algorithms.
UAV 그 중에서도 드론은 그 사용의 편리함으로 인해 그 활용 방법이 무궁무진하다. 하지만 드론에 할당된 임무의 차이로 인해 발생하는 충돌 회피 및, 경로 간섭 등 드론 간의 실시간 상호작용을 고려한 다수의 드론을 운용 문제를 푸는 것은 매우 어렵다. 이 논문에서, 우리는 강화학습을 이용한 에너지 효율적인 드론의 운용법을 소개한다. 우리는 에너지 효율적인 드론의 운용을 위하여 실제 드론의 비행을 통해 데이터를 수집한 후 드론의 파워 소비 모델을 생성한다. 우리는 여러 대의 드론을 운용할 수 있는 환경을 제작하고 policy gradient 의 SOTA 인 twin-delayed deterministic policy gradient 방법을 이용하여 드론의 강화 학습을 시도했다. 이 논문은 드론으로 강화학습을 진행할 때 필요한 입력 정보,보상,신경망 정보 등을 제공한다.우리는 강화 학습을 통해 드론에게 주어진 미션을 수행 한 후 소모한 에너지를 오프라인에서 도출한 드론의 에너지 최적 경로와 비교한다. 제안한 방법은 외력이 적용되는 환경에서 다수 드론의 실시간 에너지 효율적인 운용 결과를 보여주며, 오프라인에서 도출된 최적의 에너지 경로 대비 5.53%의 추가 에너지 소비를 달성하였다.
