Interest for Unmanned Aerial Vehicles (UAVs) are increasing these days. There are various applications of UAVs. Among them this study`s application area is security system of UAVs. Customer arrived station and request service. Based on expected demand, UAVs are allocated and serve security service to customer. Under stochastic environment with fixed design system, we decide UAVs optimal action at each circumstance. We represented UAVs system via Markov Decision Process (MDP) model, and solved MDP model by value iteration and policy iteration. We find optimal solution at various circumstance and analyze optimal solution. We verify optimal solution via simulation. Through the optimal policy we can generate optimal path for each UAV. Therefore we can efficiently operate UAVs in stochastic environment. Since we modeled this problem in stochastic environment, there are lots of states even though it has small number of UAVs. Also there are some limitation for solving MDP due to the complexity of the problem. In order to treat more complex case, we develop heuristic and verify it through the simulation
최근 들어 무인항공기에 관한 관심이 증가하고 있다. 다양한 무인항공기의 활용 분야 중 본 연구는 고객 보안 서비스 제공에 관한 연구를 진행하였다. 고객이 시스템에 도착하면 서비스를 요청하고 고객의 수요에 따라 무인항공기가 배치된다. 확률적인 환경 과 정해진 시스템 디자인내에서 무인항공기가 어떠한 행동을 취해야 하는지 결정하여 무인항공기의 경로계획을 수립했다. MDP를 통해 무인항공기의 시스템을 모델링 하였고 Value iteration과 policy iteration을 통해 최적해를 구했다. 다양한 상황에서 최적해를 구하고 최적해를 분석했다. 또한 시뮬레이션을 통해 최적해를 검증했다. 확률적인 환경 속에서 모델을 디자인했기 때문에 무인항공기의 수가 적더라고 아주 많은 상태가 존재하고 MDP를 푸는 데에 한계가 있다는 것이 발견되었다. 무인항공기의 수와 시스템내의 최대 고객수가 증가했을 때 적용할 수 있는 휴리스틱을 개발하였다.
