Target recognition, behavior detection, search and rescue missions, and other surveillance and monitoring tasks can all benefit from unmanned Aerial Vehicles (UAVs), or called drones. Using deep reinforcement learning (DRL) to implement some autonomous tasks of robotics has become an important research field with potential growth in the position of robotics movement and computer vision, as it has gradually developed into one of the most popular research fields in learning-based and model-based control, with the characteristics of frequent interaction with the environment. In this research, based on the simulator tool provided in [1], we utilize deep reinforcement learning to develop both single-agent and multi-agents that can accomplish autonomous drone surveillance tasks in a known indoor environment. We combine the benefits of both visual and obstacle information to boost efficacy while ensuring low time consumption. We also employ segmentation mask information with single-channel pixels to perform the detection task to reduce time and increase identification accuracy instead of using RGB or depth images. Finally, we devise a separate reinforcement learning training and testing technique that may both enhance training efficiency and ensure task completion: training the DRL policy without drone dynamics and considering discrete drone actions first, and then accepting dynamics to continuously control the drone in test. This method also creates a new field for sim-to-real transfer. Our experimental results show that the trained agents can detect all targets at a relatively fast speed while maintaining a high level of security, and the patrol completion rate is more than 98% in both single-agent and multi-agents task.
목표 식별, 행위 검측, 수색과 구조 임무 및 기타 감시와 감시 임무는 모두 무인기(UAV)나 무인기에서 이익을 얻을 수 있다. 딥 강화 학습(DRL)을 이용하여 로봇의 일부 자율적인 임무를 실현하는 것은 로봇 운동과 컴퓨터 시각 분야의 중요한 연구 분야가 되었고 환경과 빈번하게 상호작용하는 특징을 가지며 학습과 모델 제어를 바탕으로 하는 가장 핫한 연구 분야 중 하나로 발전했다. 본 연구에서 [1]에서 제공한 시뮬레이터 도구를 바탕으로 우리는 깊이 있는 강화 학습을 이용하여 단지능체와 다지능체를 설계하여 이미 알려진 실내 환경에서 무인 조종 비행기의 자율 감시 임무를 완성한다. 우리는 시각과 장애 정보의 장점을 결합시켜 효율을 높이는 동시에 낮은 시간 소모를 확보한다. 또한 RGB나 깊이 이미지 대신 단일 채널 픽셀의 분할 마스크 정보를 사용하여 시간을 줄이고 식별 정밀도를 향상시키기 위해 테스트 작업을 수행합니다. 마지막으로 우리는 독자적인 강화 학습 훈련과 테스트 기술을 설계하여 훈련 효율을 높일 수 있을 뿐만 아니라 임무 완성도 확보할 수 있다. 무인기 동태가 없는 상황에서 DRL 전략을 훈련하고 이산적인 무인기 동작을 먼저 고려한 다음에 동태를 받아들여 테스트 중의 무인기를 계속 제어할 수 있다. 이 방법은sim-to-real 전송을 위한 새로운 필드를 만들었습니다.실험 결과에 따르면 훈련을 받은 지능체는 비교적 빠른 속도로 모든 목표를 측정할 수 있고 비교적 높은 안전성을 유지할 수 있다. 단일 지능체 임무든 다중 지능체 임무든 순찰 완성률은98%이상이다.
