The purpose of this study is to make the AI model perform autonomous combat by itself, focusing on the close air combat problem, especially in the air combat situation. There will be more diverse engagement situations in the future aerial engagement, and it is difficult to solve all these unpredictable engagement situations with the existing rule-based method. Therefore, in this study, using deep reinforcement learning, we developed an intelligent agent that can make self-judgment and act for combat maneuvers in close air combat as well as autonomous flight. When the agent gets input data in a fighting situation, state representation is performed for more efficient feature extraction. The agent's behavior is determined by the output action in the continuous action space just like the real fighter pilots control it. In addition, the reward function, which has the most influence on the agent's self-judgment of the air combat situation and selection of the optimal action, was appropriately designed. The transition corresponding to the agent's state change was performed with a transition representation to reflect the delayed responsiveness of the control stick. As a reinforcement learning algorithm, the representative Proximal Policy Optimization (PPO) in the on-policy technique and the representative soft actor-critic (SAC) in the off-policy technique were used. By comparing the two algorithms, SAC algorithm that shows a little faster and more stable learning performance was finally selected. We used a digital combat simulator as an environment for training agents. The intelligence model trained with the proposed various representation technique reinforcement learning algorithm is verified through testing. To confirm the robustness of the model, verification was performed with a new mission, and the possibility of expanding the trained model was confirmed using various types of enemy fighters.
본 연구는 공중 교전 상황에서도 특히 근접 공중 교전 문제에 초점을 두고 이를 인공지능 모델이 스스로 자율 전투를 수행하도록 하는 것에 목적이 있다. 앞으로의 미래 공중 교전에서는 더 다양한 교전 상황이 존재할 것이며, 이러한 예측 불가능한 모든 교전 상황을 기존 규칙 기반 기법으로 해결하기에는 어려움 존재한다. 따라서 본 연구에서는 심층 강화학습을 활용하여 자율 비행뿐만 아니라, 다양항 근접 공중 교전 상황에서 스스로 판단하고 전투 기동을 위한 행동할 수 있는 지능형 에이전트를 개발했다. 에이전트가 교전 상황에서 입력 데이터를 받을 때 조금 더 효율적인 특징 추출을 위해서 상태 재표현을 진행했다. 에이전트의 행동은 실제 전투기 조종사들이 조종을 하는 것처럼 연속 행동 공간에서 출력 행동이 결정된다. 또한 에이전트가 스스로 공중 교전 상황을 판단하고 최적의 행동을 선택 하는 데 있어서 가장 많은 영향을 미칠 수 있는 부분인 보상 함수를 적절히 설계했다. 에이전트의 상태 변화에 해당하는 상태변이은 조종간의 지연되는 응답성을 반영하기 위해서 상태변이 재표현이 수행되었다. 강화학습 알고리즘으로 온-정책 기법에서 대표적인 근위 정책 최적 알고리즘과 오프-정책 기법에서 대표적인 소프트 액터-크리틱 알고리즘을 활용했다. 두 알고리즘을 비교하여 조금 더 빠르고 안정적인 학습 성능을 보이는 소프트 액터-크리틱을 최종적으로 선택하였다. 우리는 에이전트를 훈련시키기 위한 환경으로 디지털 전투 시뮬레이터를 사용하였다. 제안된 다양한 재표현 기법과 심층 강화학습 알고리즘으로 훈련된 지능 모델은 테스트를 통해 검증을 수행한다. 모델의 강건성을 확인하기 위해서 새로운 미션으로 검증을 수행하였으며, 다양한 종류의 적전투기를 활용하여 훈련된 모델의 확장 가능성을 확인하였다.
