In order to perform data-based approach anomaly detection using machine learning, supervised learning, semi-supervised learning, and unsupervised learning method are applied in consideration of labeling related to normal and abnormal state of utilization data. This paper analyzes the feasibility of applying the machine learning-based anomaly detection method through the case study for each learning method by using the multidimensional time series data of satellite attitude control system and multi drone system among aerospace systems.
As a labeled data example, we used the data set created in the normal and abnormal state through LUNASIM, the attitude control simulator of Korea Pathfinder Lunar Orbiter (KPLO) under development by Korea Aerospace Research Institute. In fact, most satellite systems operate normally, so the number of samples of normal and abnormal data sets that can be obtained is not the same or equivalent. Therefore, after learning the generation model using only normal data, we applied unsupervised learning method that distinguishes between normal and abnormal by measuring reconstruction errors when new data that is not used for training is input. Using the deep learning technique (1D-CNN, Convolutional Neural Network), we extracted the feature of multidimensional time series data of satellite attitude control system and applied artificial neural network learning algorithm based on two generative models (VAE and GANomaly). In addition, prior to training the neural network, hyperparameter optimization algorithm based on Bayesian optimization was added to determine appropriate hyperparameters to automatically obtain a well-generalized neural network for the target task using AUROC (Area Under ROC Curve), a performance indicator. As a result, in various satellite operating modes that constitute the full scenario in which the satellite operates, it was confirmed that it could detect anomalies within the satellite self-control system and identify anomaly types related to mechanical and control logic.
As unlabeled data, we used a swarm flight test data set conducted by Korea Aerospace Research Institute. Data characteristics suitable for the purpose of identifying and predicting anomalies among a large number of aircraft operating in clusters were derived, and K-mean clustering of the unsupervised learning methods was used after reducing the data dimension through principal component analysis (PCA). Based on the results identified, supervised learning based binary classification model was studied using labeled normal and abnormal data sets.
In cases where the number of normal and abnormal objects is significantly different (class imbalanced circumstance) the binary classification performance is reduced, and in order to solve the problem, normal and abnormal data are sampled in a ratio of one to one when creating a batch for the stochastic optimization. Using test data not used for learning, the diagnostic algorithm produced the results of anomaly detection, which was verified by the actual flight test data analysis method, to ensure that the aircraft with abnormal behavior in the cluster is correctly identified.
In order to enhance reliability in aerospace systems and their operations, appropriate decisions need to be made depending on the circumstances, taking into account the level of their impact on the overall system, even if they detect and identify anomalies within the system. To this end, a simple idea of quantified decision-making methods based on an anomaly detection was proposed. This is meaningful in suggesting future research directions for the expansion and utilization of anomaly detection techniques.
기계학습을 이용한 데이터 기반(data based approach)의 이상진단을 수행하기 위해서는 활용데이터의 정상 및 비정상 상태와 관련된 라벨 유무를 고려하여, 지도 학습, 준지도 학습, 비지도 학습 방법을 적용한다. 본 논문에서는 항공우주시스템 중에서 인공위성자세제어시스템과 군집드론시스템의 다차원 시계열 데이터를 활용하여, 각 학습 방법에 대한 사례연구 통해 기계학습기반 이상진단 방법 적용의 타당성을 분석하였다.
라벨이 있는 데이터 사례로서, 한국항공우주연구원에서 개발 중인 시험용 달 궤도선의 자세제어 시뮬레이터인 LUNASIM을 통해 정상 상태와 비정상 상태에서 생성한 데이터 셋을 활용하였다. 실제로 인공위성시스템은 대부분 정상적인 상태로 운영되므로, 획득할 수 있는 정상과 비정상 데이터 셋의 샘플 수가 비슷하거나 동등하지 않다. 그러므로 정상 데이터만 사용해 생성 모델을 학습한 뒤, 새로운 데이터가 입력되었을 때 생성 오류를 측정하여 정상과 비정상을 구분하는 비지도 학습 방법을 적용하였다. 딥러닝 기법(1D-CNN, Convolutional Neural Network)을 이용하여 위성 자세제어시스템의 다차원 시계열 데이터의 특징을 추출하고 두 가지 생성모델(VAE, GANomaly) 기반의 인공신경망 학습 알고리즘을 적용하였다. 또한 신경망을 훈련시키기 전에, 성능 지표인 예측정확도 (AUROC, Area Under ROC Curve)를 사용하여 자동으로 대상 과제에 대한 잘 일반화된 신경망을 획득하는 데 적절한 초매개변수 (hyperparameter)를 결정할 수 있는 베이지안 최적화 기반의 초매개변수 최적화 알고리즘을 추가하였다. 그 결과로서, 인공위성이 작동하는 전체 시나리오를 구성하는 여러 위성 운영 모드에서, 위성자세제어시스템 내에 발생하는 이상을 탐지하고, 기계 및 제어 로직상의 고장 형태(anomaly type)를 식별할 수 있음을 확인하였다.
라벨이 없는 데이터로는 한국항공우주연구원에서 수행한 군집비행시험 데이터 셋을 활용하였다. 군집으로 운용되는 다수의 비행체 중에서 이상 거동을 보이는 비행체를 식별하고 이상을 예측하고자 하는 목적에 맞는 데이터 특징을 추출하고 주성분 분석(PCA, Principle Component Analysis)를 통해 데이터 차원을 감소하여 비지도 학습 방법 중 K-mean 클러스터링을 통해 정상과 비정상 상태를 구분하였다. 이를 통해 식별된 결과를 바탕으로 라벨링 된 정상과 비정상 데이터 셋을 이용하여 지도학습 기반의 이진 분류 모델(Logistic regression)을 학습하였다. 정상과 비정상 개체의 수가 많이 차이 나는 경우(Class imbalanced Circumstance)에는 이진 분류 성능이 떨어지므로, 이를 해결하기 위해 매개변수 최적화를 위한 배치(batch)를 만들 때 정상과 비정상 데이터를 1대 1 비율로 샘플링 하는 방법을 적용하였다. 학습에 사용하지 않은 시험데이터를 이용하여 진단 알고리즘을 통해 이상 진단한 결과를 도출하였으며, 이를 실제 비행시험데이터 분석 방법으로 확인한 결과 군집 내의 이상 거동이 있는 비행체를 진단 예측하였다.
항공우주시스템 및 그 운용에 있어서의 신뢰성을 제고하기 위하여, 시스템 내 이상을 탐지하고 식별하더라도 그것이 전체 시스템에 미치는 영향 수준을 고려하여 상황에 따라 적합한 의사결정을 할 필요가 있다. 이를 위해 이상진단 기반의 정량화된 의사결정 방법에 대한 간단한 아이디어를 제안하였다. 이는 향후 이상진단 기술의 확대 및 활용 연구 방향을 제시하는데 의의가 있다.
