In this paper, we propose low-thrust spacecraft guidance for multi-revolution orbit transfer using the Soft Actor-Critic (SAC) reinforcement learning (RL) algorithm. Assuming the thrust magnitude is constant, the guidance system of a spacecraft must provide the appropriate direction of the thrust at a given state to reach the desired orbit, satisfying mission requirements. We trained the RL agent that decides the thrust directions over the entire multi-revolution orbit transfer, satisfying the terminal boundary condition and minimizing flight time simultaneously. The new form of the gradient-aided reward function was designed to achieve the fast and accurate training. As a result, the trained agent was able to reach the desired orbit within the error tolerance while minimizing the flight time. Because the proposed approach used a model-free algorithm, this approach has a potential to be used under other environments. The robustness of the proposed algorithm to dynamics uncertainty was tested via Monte-Carlo simulations because the training environment and the real environment would be different. The trained agent was robust to the certain level of position and velocity error, and the results were different upon orbit transfer scenarios.
이 논문에서는 심층 강화학습 SAC 알고리즘을 이용한 저추력 우주선의 궤도 천이 유도 기법을 제안한다. 추력의 크기가 일정하다고 가정했을 때, 우주선의 유도 시스템은 목표 궤도에 도착하기 위해 적절한 추력의 방향을 제시하여야 한다. 강화학습 에이전트가 말단 경계 조건을 만족하며 비행 시간을 최소화하는 궤도 천이 유도를 수행하도록 학습을 수행했다. 또한, 새로운 형태의 경사 도움 보상 함수를 설계하여 빠르고 정확한 학습 결과를 얻을 수 있었다. 결과로, 학습된 에이전트는 오차 허용 범위 내로 비행 시간을 최소화하며 원하는 궤도로의 궤도 천이를 수행할 수 있었다. 제안된 기법은 강화학습 알고리즘 중 동역학 모델에 대한 정보없이 학습을 수행하는 알고리즘을 적용하였으므로, 시뮬레이션 환경에 적용된 동역학 모델에 제한되지 않고 다른 환경에서도 적용될 수 있는 가능성을 보여준다. 에이전트가 학습되는 환경과 실제 우주 환경은 다르기 때문에 몬테카를로 시뮬레이션을 통해 제안된 알고리즘의 동역학 모델 불확실성에 대한 강인함을 테스트하였다. 학습된 에이전트는 특정 수준의 위치와 속도 오차에 대해 강인했으며, 궤도 천이의 각 시나리오마다 다른 결과를 보여주었다.
