This study introduces a reinforcement learning-based powered descent and landing technique for autonomous planetary landing. The main problem is decomposed into landing site selection and landing guidance subproblems to reduce complexity and ensure real-time capability. The landing site selection problem uses image-processing techniques to determine a safe location for landing based on altitude sensor data. The factors related to landing site selection are created as individual maps. An optimization problem formulation to maximize the weighted sum of these factors is developed and validated through a case study. A reinforcement learning technique is then applied to find an efficient and safe landing trajectory for the selected site. An episode reward (instead of a step reward) adopted in this study can ensure learning autonomy. A gradual reward system based on curriculum learning addresses the sparse reward. The proposed technique is compared with the solution obtained by offline optimization to demonstrate its effectiveness in stable autonomous landing. The model fidelity was enhanced to account for the uncertainty in real-world landing situations. The reinforcement learning-based landing framework proposed in this study can provide a real-time autonomous planetary capability.
본 논문에서는 탐사선의 자율 행성 착륙을 위한 강화학습 기반의 동력 하강 및 착륙 기법을 제시한다. 동력 하강 및 착륙 문제의 복잡성을 줄이고 실시간성을 보장하기 위해 착륙 지점 선정과 착륙 유도 기법으로 문제를 분리하여 연구를 진행하였다. 착륙 지점 선정은 센서 데이터로 얻은 고도 정보에 이미지 처리 기법을 활용해 안전한 착륙 지점을 결정하였다. 착륙 지점 선정을 위한 요소들은 개별 맵으로 생성되었다. 이러한 맵의 가중치 합을 최대화하기 위하여 최적화 문제가 정식화되었고, 해당 방법은 사례 연구를 통해 검증되었다. 다음으로, 강화학습은 선정된 착륙 지점에 대한 효율적이고 안전한 착륙 경로를 제시한다. 본 연구에서는 단계 보상 대신 에피소드 보상을 채택하여 학습의 자율성을 보장하였다. 착륙 문제의 희소 보상 환경을 극복하기 위하여 커리큘럼 학습에 기반한 점진적 보상 시스템을 사용하였다. 학습된 착륙 정책은 오프라인 최적해와 비교하였으며, 안정적인 자율 착륙 성능을 입증하였다. 또한, 실제 착륙 상황에서 발생할 수 있는 추가적인 불확실성을 고려하여 모델이 개선되었다. 본 논문에서 제안한 강화학습 기반 착륙 프레임워크는 향후 임무에서 실시간 자율 행성 탐사 기능을 제공할 수 있다.
