Drones are attracting a lot of attention as a new means of logistics delivery to the extent that many companies are already applying drones to their systems. However, the insufficient flight time that is a chronic problem of drones limits the application of drones to the field, and this problem is difficult to solve within a hardware environment mature enough. This work presents a two-step drone delivery framework to improve the drone delivery operation more energy efficiently. The proposed method achieves the energy-efficient drone delivery system through an offline manner that allocates missions to drones using centralized calculation and reinforcement learning to avoid risks of collision and perform path planning in real-time. This paper performs the modeling based on the actual flight data of the drone and implements the simulation to consider the environmental variation. This work also proposes a reinforcement learning algorithm containing a continual learning technique responding to the changing environment in drone delivery scenarios. The proposed method achieves near-optimal energy consumption compared with the optimal solution of centralized calculation through energy-efficient drone delivery, including task assignment and path planning using reinforcement learning.
이미 많은 운송 회사들이 드론을 자신들의 시스템에 적용하고 있을 정도로 드론은 물류 배송을 위한 새로운 수단으로 많은 주목을 받고 있다. 하지만 드론의 고질적인 문제인 비행 시간의 한계는 드론이 현장에 적용 되는 많은 부분을 제약하고 있으며 이 문제는 이미 충분히 성숙한 하드웨어를 통해서는 해결이 어렵다. 본 학위 논문은 드론의 운용방법의 개선을 통한 에너지 효율적인 드론의 배송 프레임워크를 제안한다. 제안 된 방법은 중앙 집적 계산을 통한 배송 임무 할당과 배정 된 배송 임무를 수행하기 위한 드론의 경로 계획을 강화학습을 활용하여 해결하며 드론의 실제 데이터를 기반으로 한 모델링과 현실 환경의 변화를 고려하기 위한 분석 시뮬레이션을 통해 에너지 효율적인 드론 배송이라는 목표를 달성한다. 또한 드론의 배송 과정에서 변화하는 환경에 대응하기 위하여 강화학습과 연속학습을 연계한 알고리즘을 제안한다. 제안된 알고리즘은 기존의 조합 최적화와 경로 찾기를 이용한 환경 내의 최적해에 근접한 에너지 효율적인 배송 방법을 실시간으로 탐색하는 우수성을 보인다.
