The goal of this study is to automate the Autoregressive Moving Average(ARMA) model building and forecasting procedures. To achieve this goal, an Artificial Neural Network(ANN) approach is adopted. Thus, the key research issues are:
1. Which statistic is the most effective as a feature extractor for ANN?
2. How to design the ANN?
3. What is the performance of ANN approach?
4. Can the ANN replace not only the identification step, but also the parameter estimation step?
To proceed with the issues, we decompose the research into the following three projects.
1. When we use the ACF and PACF as statistical features, what is the performance of ANN approach for ARMA model identification?
2. When we use the Extended Sample Autocorrelation Function (ESACF) as a statistical feature, what is the performance of ANN approach for ARMA model identification? What is the performance of this approach in comparison with that of the first approach?
3. When a set of time series data is fed directly into the ANN, what is the comparative forecasting performance in comparison with the above two approaches?
The purpose of the first and second projects are to replace the role of human expert in ARMA model identification step by the ANN, while the purpose of the project is to replace the whole modeling procedure by an ANN which acts as a system modeling tool in the time series generating process.
In the first project, two independent Multi-Layered Perceptrons (MLP's) with two hidden layers are designed as pattern classification networks(PCN) which identify the order p and q from the ACF and PACF patterns, respectively. Maximal region covering strategy is used to prepare the training data sets and to increase the information values of the ACF and PACF. the learned MLP's are tested with both artificially generated and real world time series data sets. The ANN approach is proved to be useful in automating the ARMA model identification step.
In the second project, since the performance of pattern classification MLP with two hidden layers is sensitive to the noise in input ESACF patterns, we adopt a noise filtering network as a perprocessor to PCN. It turns out that the noise filtering network significantly improves the performance. To reduce the computational burden of training the full scale PCN, we suggest a reduced network and classification networks revealed the 90% accuracy with the artificially generated data sets, and performed very well with the real world time series data sets. We also found that the performance of ESACF is superior to that of ACF and PACF.
In the third project, three alternative designs of the MLP are considered: feedforward network, weight-decay method, and recurrent network. According to our experiment, it turns out that the forecasting accuracy of the recurrent neural network suggested by Elman is superior to those of other networks and ARMA models even when the time series has a high level of noise.
Finally, we address the related issues in implementing the ideas obtained form this study for the design of a ANN-based decisions support system.
본 연구에서는 자기회귀 이동평균 (Autoregress Moving Average, ARMA) 모형 수립 및 예측 과정의 자동화가 시도되었다. 이를 위해 신경망 (Artificial Neural Networks, ANN) 접근방법이 채택되었으며, 관련된 주요 논제는 다음과 같다.
1. 어떤 통계량이 신경망을 위한 특성추출기(feature extractor)로서 가장 효과적인가?
2. 신경망을 어떻게 설계할 것인가?
3. 신경망접근방법으로 부터 어느 정도의 성과를 얻을 수 있는가?
4. 신경망 접근방법이 ARMA모형의 선정(identification) 만이 아니라, 모수추정 단계에서도 효과적으로 사용될 수 있는가?
이상의 논제를 효과적으로 다루기 위해 다음과 같은 세가지 연구작업이 수행되었다.
1. ACF와 PACF를 특성추출기로써 사용할 경우, ARMA 모형 선정에 있어 신경망 접근방법의 성과를 확인하는 연구
2. 확장된 표본 자기상관계수 (Extended Sample Autocorrelation Function, ESACF)를 사용하여 첫번째 작업의 성과를 개선하는 연구
3. 시계열 자료를 직접 신경망의 입력으로 사용할 경우, 신경망의 예측정확도를 확인하고 이를 앞의 두 방법의 결과와 비교 검토하는 연구
처음 두 연구의 목적은 ARMA 모형선정에 있어 전문가(human expert)의 판단을 신경망으로 대체하고저 하는 것이며, 세번째 연구의 목적은 경영환경하에서 시계열 생성과정에 대한 모형화의 한 수단으로 신경망의 사용가능성을 확인하는 것이다.
첫번째 연구에서는 패턴분류기로서 두개의 은닉층을 갖는 신경망 (Multi-Layered Perceptron, MLP) 두개를 설계하여 ACF와 PACF로 부터 MA의 차수와 AR의 차수를 각기 파악하도록 하였다. ACF와 PACF의 정보가치를 높이기 위해 maximal region covering (MRC) strategy를 개발하여 신경망을 훈련시킨 후, 학습된 신경망을 인공적으로 생성한 시계열 및 실세계의 시계열에 적용시킨 결과 신경망 접근방법이 ARMA 모형 선정의 자동화에 유용함이 입증되었다.
두번째 연구에서는 두개의 은닉층을 갖는 신경망이 입력 ESACF 패턴내의 잡음에 매우 민감하여 ARMA 모형선정에 있어 바람직한 성능을 보이지 못하므로, noisefiltering network을 ESACF패턴분류기의 전처리 단계로서 설계하였다. 또 패턴분류기의 훈련에 소요되는 노력을 줄이기 위해 잡음이 제거된 ESACF 패턴에 대해 원래의 패턴분류기와 동등한 성능을 갖는 축소된 패턴분류기 모형이 제시되었다. 잡음제거와 패턴분류의 두 단계로 구성된 신경망 시스템은 15개의 검증집합에 대해 90%의 정확도를 보였으며, 실세계의 시계열에 대해서도 좋은 결과를 보였다. ACF및 PACF와 ESACF의 비교 결과 ESACF가 특성추출기로서 보다 우수함을 입증하였다.
세번째 연구에서는 시계열 예측 시스템으로서의 신경망(MLP)을 설계함에 있어, feedforward network, weight-decay, 및 recurrent network 등 세가지 대안이 고려되었다. 실험결과 Elman에 의해 제안된 recurrent network이 여타의 신경망 모형 및 ARMA 모형에 비해 가장 좋은 예측의 정확도를 보였으며, 시계열의 잡음이 심한 경우에도 좋은 결과를 보였다.
마지막으로 신경망에 기초한 의사결정지원시스템을 설계함에 있어 본 연구에서 얻어진 결과들을 구현하는데 고려해야할 사항들이 검토되었다.
