Timeseries data anomaly detection is to detect data with characteristics different from normal data. Abnormal data may have values or patterns in a range different from that of normal data. For this, previous studies used an attention-based autoencoder model. However, such a model requires many parameters for computation of attention, and the required time and memory may increase according to the length of the input data. For this, we can reduce the size of the model or use a sliding window method, which limits the length of input data. However, if the size of the model is reduced, the complexity of the model decreases, and if the length of the sliding window is short, the model cannot learn long-term dependencies. In this study, we proposed a method by which an attention model with a small number of layers uses short-length input data while learning long-term dependency information. For this, a knowledge distillation technique was applied and a device with long-term dependency information was added. In experiments, the proposed method gets better performance and the resource usage of the model was lowered compared to the existing model.
시계열 데이터 이상탐지란 정상적인 데이터와는 다른 특징을 갖는 데이터를 탐지하는 것이다. 이상 데이터는 정상 데이터와 다른 범위의 값이나 패턴 등을 가질 수 있다. 이를 위해 선행 연구들은 어텐션 기반의 오토인코더 모델을 사용했다. 그런데 이러한 모델은 어텐션 계산을 위하여 많은 파라미터가 필요하고 입력 데이터의 길이에 따라 필요한 시간과 메모리가 증가할 수 있다. 이를 위해 모델의 크기를 줄이는 방법을 사용하거나 혹은 입력 데이터의 길이를 제한하는 방법인 슬라이딩 윈도우 기법을 사용하게 된다. 그런데 모델의 크기를 줄이면 모델의 복잡도가 떨어지고, 슬라이딩 윈도우의 길이가 짧으면 모델이 장기 의존성을 학습할 수 없다. 본 연구에서는 적은 레이어 수를 가진 어텐션 모델이 짧은 길이의 입력 데이터를 사용하면서도 장기 의존성 정보를 학습할 수 있는 방법을 제안하였다. 이를 위하여 지식 증류 기법을 적용하고 장기 의존성 정보를 가진 장치를 추가하였다. 실험을 통해 기존 모델과 비교하여 제안 방법의 성능이 향상되었고 모델의 자원 사용량이 낮아졌음을 확인하였다.
