This paper deals with deep reinforcement learning based motion planning techniques for unknown environmental exploration using Aerial-Robot. Advances in drone technology have required demanding missions in the drone's complex environment. In order to facilitate this development, the mission was to explore drones in dynamic and atypical environments, such as the Autonomous Drone Racing Competition and the Subterranean Challenge organized by DARPA. A sub-goal selection method was introduced for exploration in atypical environments. Based on this, a route planning method using A * search and euclidean signed distance field (ESDF) was proposed. However, this requires unnecessary processing cost because the occupancy probability grid-map needs post-processing to boolean-valued voxel and distance fields. In addition, when applying A * search, the safety-border prevents the optimum path from becoming too close to the obstacle, which sometimes leads to the recognition of the narrow path as an obstacle when searching for a narrow path. Therefore, in-depth reinforcement learning-based methods have been proposed for solving these problems and for simpler exploration techniques. It is shown that the proposed deep reinforcement learning-based motion planning method can effectively explore unknown environments.
이 논문에서는 Aerial-Robot을 이용하여 알려지지 않은 환경 탐사를 위한 심층 강화학습 기반 motion planning 기법에 관해 다루었다. 드론 기술이 발전함에 따라 드론의 복잡한 환경에서의 임무 수행이 요구되었다. 이러한 기술 개발을 촉진시키기 위해 자율 드론 레이싱 대회 및 DARPA에서 주관하는 Subterranean Challenge와 같은 동적/비정형 환경에서의 드론 탐사 임무가 주어졌다. 비정형 환경에서의 탐사를 위해서 sub-goal selection 방법이 도입되었으며 이를 바탕으로 A* search와 euclidean signed distance field (ESDF)를 결합하여 경로 계획을 하는 방법이 제안되었다. 하지만 이는 occupancy probability grid-map을 boolean-valued voxel 및 distance field로의 후처리 방법이 필요하기 때문에 computing cost가 불필요하게 증가하는 요인이 된다. 또한 A* search를 적용할 때 safety-border를 최적 경로가 장애물과 너무 가까워지는 것을 방지하는데, 이는 길목이 좁아지는 곳을 탐색할 때에는 좁은 길목을 장애물로 인식하는 경우가 생기기도 한다. 그러므로 이러한 문제를 해결하고 보다 간단한 탐사 기법을 위해 심층 강화학습기반 방법이 제안되었다. 이 논문에서 제안된 심층 강화학습기반 motion planning 방법으로 알려지지 않은 환경을 효과적으로 탐험할 수 있음을 보였다.
