Anomaly detection which is one of the major area of data mining is to detect abnormal data. According to how much labels can be utilized, the approach to detect anomalies is divided into supervised, unsupervised, and semi-supervised approach. Previous anomaly detection research had mainly focused on unsupervised approach because, unlike normal, labeling anomaly requires a lot of cost. With the recent availability of labels for a small number of anomalies by expert feedback, semi-supervised approach is also actively researched. However, recent semi-supervised approach only focus on leveraging labeled samples. For unlabeled samples, they simply consider them as normal. Given that unlabeled samples contain some anomalies, it hinders the anomaly detection performance. In this paper, we propose a statistical threshold-based pseudo labeling. The proposed method improves semi-supervised anomaly detection performance by properly leveraging unlabeled samples. Experiments on synthetic and real anomaly detection benchmark datasets demonstrate that our method improves performance by 1.70% ~ 73.49% compared with existing methods.
이상치 탐지는 비정상 데이터를 탐지하는 작업으로 데이터 마이닝의 주요 분야 중 하나이다. 이상치 탐지를 위한 방법은 라벨을 지닌 데이터를 어느 정도로 활용할 수 있는 지에 따라 지도, 비지도, 준지도 방법으로 나누어진다. 정상과 달리 이상치는 라벨링에 큰 비용을 필요로하기 때문에 과거의 이상치 탐지 연구는 주로 비지도 방법 위주로 이루어져왔다. 최근 전문가 피드백에 의해 소수의 이상치 데이터에 대한 라벨이 이용 가능해지면서 준지도 이상치 탐지 분야도 활발히 연구되고 있다. 그러나 최근의 준지도 이상치 탐지 연구들은 정상 또는 이상치 라벨을 지닌 데이터를 잘 활용하는 데에만 집중하고 라벨이 없는 데이터는 단순히 정상으로 간주하는 접근법을 사용한다. 라벨이 없는 데이터에 일부 이상치가 포함되어 있다는 점을 고려하였을 때, 이와 같은 접근법은 준지도 이상치 탐지의 성능을 저해하고 있다. 본 연구에서는 준지도 이상치 탐지를 위한 통계적 임계값 기반의 슈도 라벨링 방법을 제안한다. 제안하는 방법은 라벨이 없는 데이터 중 정상 데이터는 정상으로, 이상치 데이터는 이상치로 학습함으로써 준지도 이상치 탐지 성능을 향상시킨다. 인조, 실제 이상치 탐지 벤치마크 데이터셋을 활용한 준지도 이상치 탐지 실험에서 제안한 방법론이 기존의 방법들보다 1.70% ~ 73.49% 높은 성능을 보였다.
