Online sequential extreme learning machine (OS-SELM) is an online learning algorithm training single-hidden layer feedforward neural networks (SLFNs), which can learn data one-by-one or chunk-by-chunk with fixed or varying data size. Due to its characteristics of online sequential learning, OS-ELM is popularly used to solve time-series prediction problem, such as stock forecast, weather forecast, passenger count forecast, etc. OS-ELM, however, has two fatal drawbacks: Its input weights cannot be adjusted and it cannot be applied to learn recurrent neural network (RNN). Therefore we propose a modified version of OS-ELM, called online recurrent extreme learning machine (OR-ELM), which is able to adjust input weights and can be applied to learn RNN, by applying ELM-auto-encoder and a normalization method called Layer normalization (LN). Proposed method is used to solve a time-series prediction problem on New-York City passenger count dataset, and the results show that OR-ELM outperforms OSELM and other online-sequential learning algorithms such as hierarchical temporal memory (HTM) and long short-term memory (LSTM). Furthermore, we applied OR-ELM to anomaly detection problem. We defined absolute percentage error (APE) as an anomaly score, which means how abnormal this input is. Then we also defined an anomaly likelihood using Q-function and the mean of the anomaly score in a time window. Using anomaly likelihood, We can detect anomalies if the anomaly likelihood is near 1. We applied this method to detect anomalies of Koh-Young SPI machine based on its log dataset. We used only the time difference between the logs as OR-ELM’s input features. The result shows that the proposed method successfully detected the anomalies of Koh-Young SPI machine. Furthermore, we applied the OR-ELM to Numenta anomaly benchmark (NAB), to evaluate the performance of the proposed method. The result shows that the OR-ELM ranked 4th plance with the benchmark score of 55.61. This is the result without any optimization method, and its performance can be further increased with proper adaptive method which automatically optimize hyper-parameters in an online manner.
Online sequential extreme learning machine (OS-ELM)는 고정되거나 변화하는 데이터 크기로 데이터를 하나씩 또는 덩어리별로 학습 할 수있는 단일 숨김 계층 피드 포워드 신경망 (SLFN)의 온라인 학습 알고리즘이다. 온라인 순차 학습의 특징 때문에 OS-ELM은 주가 예측, 일기 예보, 승객 수 예측 등과 같은 시계열 예측 문제를 해결하는 데 널리 사용된다. 그러나 OS-ELM은 두 가지 치명적인 단점을 가지고 있는데, 입력 가중치는 조정할 수 없으며 회귀 신경망 (RNN)을 학습하는데 쓰일 수 없다. 따라서 ELM-auto-encoder와 층별 정규화 방법을 적용하여 입력 가중치를 조정할 수 있고 RNN의 학습에 적용 할 수있는 Online recurrent extreme learning machine (OR-ELM)라고 불리는 OS-ELM의 개선 버전을 제안한다. OR-ELM을 New York City 탑승객 데이터셋에 적용하여 시계열 예측 문제에 적용한 결과 ORELM이 OSELM 및 Hierarchical Temporal Memory (HTM) 및 long short-term memory (LSTM)보다 나은 예측 성능을 보였다. 또한 우리는 OR-ELM을 이상 검출 문제에 적용하였다. 우리는 절대 비율 오류 (APE)를 이상 점수로 정의했는데, 이는 이 입력이 얼마나 비정상인지를 의미한다. 그런 다음 우리는 가우시안 테일 함수와 시간 창에서 이상 점수의 평균을 사용하여 이상 가능성을 정의했다. 이상 가능성을 사용하여, 이상 가능성이 1 근처에있는 경우 이상감지가 이루어진다. 이 방법을 사용하여 Koh-Young SPI 기계의 로그 데이터 세트를 기반으로 이상상태를 탐지했다. 우리는 OR-ELM의 입력 특징점으로 로그 간의 시간차만 사용했으며 제안된 방법을 통하여 Koh-Young SPI 기계의 이상상태를 성공적으로 검출하였다. 또한 제안한 방법의 성능 검증을 위하여 Numenta Anomaly Benchmark (NAB)에 성능을 평가한 결과 벤치마크 점수 55.61로 총 9개 알고리즘 중 4위에 랭크되었다. 이는 최적화를 진행하지 않고 얻은 결과이며 각 데이터셋에 맞게 OR-ELM의 하이퍼파라메터들을 적응적으로 최적화하는 알고리즘이 추가된다면 벤치마크 평가 결과를 더욱 향상시킬 수 있을 것이다.
