This thesis formulates a multi-target reconnaissance mission planning problem for UAV system with air-to-ground and air-to-air communication models. Then, a machine learning-based planning framework is proposed to obtain a near-optimal planning solution with fast runtime. The problem focuses on mission level planning, such as path planning and task planning under communication requirements during the mission period. Conventional optimization approaches for UAV mission planning problems have suffered from their high computational complexity, one of the main obstacles in developing near-optimal online planning algorithms. As an alternative, adequately trained deep neural networks for control/planning problems have been reported as fast and near-optimal online controllers/planners even with low onboard computation resources. This thesis aims to develop a learning-based framework for the communication-aware UAV mission planning problem.
This thesis covers both single-UAV system with air-to-ground communication model and multi-UAV system with air-to-air/ground communication model. For a single-UAV system, this thesis proposes Markov decision process (MDP) formulation for a problem to plan the flight path and task sequence for reconnaissance of multiple targets under risk of communication loss to a ground base. A framework for training dataset generation, offline learning, and online planning is proposed. Various air-to-air communication models are considered for the multi-UAV system, including multi-hop communication, network connectivity constraint, and dynamic topology change. Then multi-UAV network mission planning problem is suggested to include issues on multi-UAV task assignment and multi-UAV communication network design problem. Both multi-agent reinforcement learning approach and optimization-based approach are proposed. Case studies on multi-target reconnaissance using single/multi-UAV have been conducted to demonstrate the effectiveness of the proposed approaches for mission environments under communication restrictions.
본 학위 논문에서는 기지국-무인기 및 무인기-무인기 간 통신을 고려한 무인기 시스템의 자율적 다수 표적 정찰 임무 계획 문제에 대한 수학적 정식화를 수행한다. 이후 정식화된 임무 계획 문제에 대한 신속한 준최적해 도출을 위해 기계학습 기반 프레임워크를 제시한다.
본 논문이 다루는 무인기 임무 계획 문제란 전체 임무 시간에 걸친 경로계획-작업계획-작업스케줄링 등 자율 의사결정 계층 전반을 포괄하는 무인기 시스템의 의사결정 문제를 의미한다. 임무 계획 문제를 풀기 위한 기존 접근은 크게 최적화 기반 또는 휴리스틱 기반 접근으로 분류된다. 기존 최적화 기반 접근은 수학적 최적해를 도출할 수 있지만 높은 계산 복잡도로 인해 수 분에서 수 시간에 이르는 계산 시간이 요구된다. 이는 임무 환경의 잦은 변화에 대응하기 위해 계산 실시간성 자율 무인기의 온라인 플래너로 직접 사용하는데 있어 큰 걸림돌이다. 이에 반해 휴리스틱 기반 접근은 실시간 연산이 가능하지만, 의사결정 과정을 전문가의 경험을 토대로 간략화하는 과정에서 최적성의 손실이 발생한다. 또한 통신 모델 등 복잡한 구속조건을 가지는 임무 계획 문제는 적절한 휴리스틱 개발 난이도가 매우 높다. 본 논문에서는 통신 환경을 고려한 무인기 임무 계획 문제에 대해 기계학습 기반 접근법을 제시한다. 오프라인 학습을 통해 훈련된 심층신경망 기반의 온라인 제어기/플래너는 기존 기법에 대비해 준최적성과 계산 실시간성 모두에서 우위에 있음을 확인한다.
본 논문에서는 기지국-무인기 간 통신을 고려한 단일 무인기 임무와, 이에 더해 무인기-무인기 간 통신도 포함한 다수 무인기 임무를 구분해 수학적 정식화를 수행한다. 먼저 단일 무인기 문제의 경우, 지상 기지국과의 통신 두절 위험 하에서 다수 표적 정찰을 위한 비행 경로 및 작업 순서를 결정하는 임무 계획 문제를 정의한다. 학습 기반 의사결정을 위해 마르코프 의사결정 과정 (MDP) 기반의 수학적 정식화를 제시한다. 그리고 학습용 데이터셋 생성, 오프라인 모방 학습 및 온라인 계획을 위한 프레임워크를 제시한다. 사례 연구를 통해 통신 환경 하의 단일 무인기 정찰 임무에 대한 학습 기반 접근을 최적해/휴리스틱과 비교하여 타당성을 확인한다.
다수 무인기로 확장된 임무 계획 문제의 경우, 기지국-무인기 간 통신과 함께 무인기-무인기 간 통신 모델을 추가로 반영한다. 구체적으로, 각 무인기의 통신 중계 기능을 통한 멀티홉 통신, 통신 네트워크 연결성 구속조건, 통신 네트워크 구조의 실시간 변경 등을 반영한 통신 환경을 설정한다. 다수 표적 정찰 임무 수행을 위한 다수 무인기 작업 스케줄링 및 경로 계획을 포함하는 임무 계획 문제를 정의한다. 학습 기반의 다수 무인기 의사결정을 위해 통신 환경을 고려한 마르코프 게임으로 정식화를 수행한다. 본 마르코프 게임은 높은 계산 복잡도로 인해 해를 직접 계산할 수 없으므로, 중앙집중 훈련 및 분산 실행 프레임워크의 다개체 강화학습 기법을 적용해 각 무인기 에이전트의 행동 양식을 학습한다. 또한 강화학습으로 훈련된 개체의 임무 수행 능력에 대한 최적성 비교를 위해 동일한 문제에 대한 최적화 문제를 정식화하여 결과를 비교한다. 사례 연구를 통해 통신 네트워크 환경 하의 다수 무인기 정찰 임무에 대한 학습 기반 접근을 최적해/ 휴리스틱과 비교하여 타당성을 확인한다.
