Making predictions and building trading models are central goals for financial institutions as an investor or financial manager. However, the difficulty in forecasting especially time series such as the economic or financial data has made many conventional forecasting models less useful, and could encourage many researchers to develop the more predictable forecasting models. So the models using artificial intelligence such as artificial neural network(ANN) techniques have been recognized as more useful forecasting model than the conventional statistical forecasting models.
Recently, more intelligent forecasting models have been developed through integration method between ANN techniques and other learning algorithm. This study focuses on the integration between signal processing algorithms (such as Fourier analysis and wavelet analysis) and ANN techniques to gain more meaningful time series features for the efficient and effective learning. In previous studies, Pati et al. (1993) used the discrete wavelet transform for analyzing and synthesizing feedforward neural networks; Hong(1992) use orthonormal wavelet bases for constructing wavelet based ANN; and similar works have been reported by Bakshi and Stephanopoulos (1993), Delyon et al. (1995), Geva (1998), Zhang (1997), Zhang and Benveniste (1992). They have been mostly used for signal processing, image processing, numerical computation, and data compression. Wavelets have, however, been rarely used in the fields of Economics, Econometrics, and Finance. Greenblatt(1994) looks at the wavelet transform (WT) in the context of multi-resolution analysis, discusses its uses in other fields, and presents an econometric application of wavelets to outlier detection.
The main purpose of this study is to propose and analyze new integrated models of joint time-frequency analysis (Fourier and wavelet analysis) and ANNs for financial forecasting.
In Chapter 2, we, first of all, describe financial market heterogeneity and review time domain filters such as autoregressive (AR), moving average (MA), and autoregressive moving average (ARMA) filters, and joint time-frequency domain filters, and joint time-frequency domain filters, i.e. Fourier analysis and wavelet analysis for financial applications. Then, in Chapter 3 this study proposes new research framework for financial forecasting. The framework consists of three stages. The first stage gives exploratory data analysis for financial forecasting particularly in the short-term market. The analysis describes the predictability of chaotic financial market by using nonlinear dynamic analysis and joint time-frequency analysis. Next, in the second stage, our framework gives ANN architectures and machine learning algorithms for financial forecasting. In the final stage, we propose three integrated models. The models consists of (1) integrated models of joint time-frequency analysis and ANNs, (2) integrated model of wavelet thresholding techniques and ANNs, and (3) integrated models of optimal signal multi-resolution by genetic algorithms (GAs) to support ANNs.
This study shows three empirical studies using our research models. First, our empirical analysis for integrated models of joint time-frequency analysis and ANNs are applied to a case study of daily Korean won/ U.S. dollar exchange returns. The experimental results show that the ANNs combined with joint time-frequency analysis consistently outperformed the other benchmark models.
Second, we investigates several optimal wavelet thresholding criteria or techniques to support the multi-scale decomposition methods for financial forecasting with ANNs in particular for the daily Korean won/ U.S. dollar currency market as a case study. The experimental results show that a cross-validation technique is the best thresholding criterion for an integrated model of the WTs and the ASSs.
Finally, the experimental results of integrated models of optimal signal multi-resolution by GAs to support ANNs show the enhanced signal multi-resolution power of wavelet analysis by GAs in the performance of the ANNs. This results also presented that our hybrid system of WTs and ANNs by GAs is much better than other ANNs by the other three wavelet thresholding algorithms (cross-validation, best level, and best basis) in increasing forecasting performance. The reason is that our hybrid ANN searches the optimal wavelet filter parameters by hybrid machine learning (i.e. a combined learning algorithm using GAs and Hill climbing algorithms) to extract significant input features of the ANN based forecasting model. This findings has an important implication that our hybrid ANN employing the optimal or near-optimal multi-resolution learning has significantly better generalization ability of ANNs.
기존의 시계열분석은 Box & Jenkins의 ARIMA 모형을 중심으로 특히, 시계열이 안정적이라는 가정하에서, 만약 분석하고자 하는 시계열이 안정적이지 않다면, 시계열의 차분을 통해 안정적인 시계열 프로세스로 변환한 후에 이에 적합한 모델링이 수행되어져 왔다. 이러한 모델링은 아직까지 주요 시계열분석들 중의 하나로 여겨지고 있다. 그러나, 이 모델링이 가지고 있는 한계점으로 인하여, 많은 시계열 연구자들은 수많은 사회현상을 반영하고 있는 동적인 계량경제 시계열 자료에 대한 보다 적합하고, 일반화할 수 있는 분석기법에 대한 연구를 시도하게 되었다.
본 연구에서는 비선형 시계열 자료의 일반화된 예측모형으로서 80년대 후반이후 각광받고 있는 인공신경망을 이용한 예측모형을 사용하였으며, 이에 더 나아가 특히 단기 시계열자료의 특성을 보다 적절히 반영할 수 있는 새로운 인공신경망 결합모형을 제시하고자 하였다.
본 연구는 현행 자본시장내에서는 시장 참가자들간에 이질적 거래특성(Financial market heterogeneity)이 존재한다는 이론적 배경하에서, 단기 재무 시계열이 여러 개의 또는 수많은 주기를 가지고 있다고 전제하고, 먼저 과거 특정시점이후부터 현재시점까지의 기간동안 시계열의 주기적 특성을 파악한다. 이러한 시계열 자료의 특성에 근거한 시계열의 주기분석은 효과적인 인공신경망 예측모형의 입력변수를 선정하는 기준이 되며, 이러한 입력변수가 선정되고 나면, 인공신경망 학습을 통해 다음 시계열의 패턴을 예측하는 모형이 구축된다.
한편, 시계열자료의 주기분석을 통해 장, 단기 주기성분을 분리하려는 경우, 여러 가지 어려움들이 존재하게 된다. 즉, 시계열에서 각 성분을 명백히 구분하기가 어려울 뿐만 아니라, 각 성분들이 주기적이지 않으며, 어떤 특정 시간에서 일어나는 지역성을 가진다는 점 등이다. 특히, 후자의 경우, 푸리에 변환(Fourier transforms)에 기반을 둔 필터링 방법은 효과적이지 못하다. 최근에, 이러한 한계점을 해결하는 새로운 방법으로서, 웨이블릿 변환 (wavelet transforms)이 제시되었다. 이러한 분석은 특정한 이벤트를 시간과 스케일상에서 고립시킬 수 있기 때문에, 시계열 자료에서 주된 주기성분을 분리해 내는데 적합한 특성을 가지고 있다.
본 연구의 목적은 기존의 시계열분석 및 예측에 있어서의 문제점, 즉 시계열 자료내에 존재하는 노이즈 효과 및 불안정적 주기특성을 갖는 시계열패턴에 대한 기술적 분석의 어려움 등을, 위에서 제시한 푸리에 변환과 웨이블릿 변환으로 대표되는 신호처리분석(joint time-frequency analysis)을 통해 해결하고, 이렇게 각 주기성분으로 분해된 시계열들을 모형에 잘 반영시킬 수 있는 인공 신경망기법과 결합시킴으로써 새로운 인공신경망 예측모형을 제시하는 것이다.
본 연구에서 제시하는 결합모형은 다음과 같은 3가지 방법론으로 나누어지며, 이를 통해 단기적인 재무시계열의 예측성과를 분석하고자 하였다. 첫 번째 결합방법론에서는 기존연구에서 제시한 대표적인 통계모형, 단일 인공신경망기법, 그리고 전통적인 시간영역필터(time domain filter: AR, MA, ARMA filter)를 이용한 인공신경망 결합모형을 기존 연구모형으로 설정하고, 이들 모형들을, 본 연구에서 제시한 시간-주파수(또는 주기) 분석인 신호처리분석과 인공신경망기법의 결합모형과 비교함으로써 본 연구모형의 예측성과를 평가하였다.
두 번째 결합방법론에서는 신호처리분석중에서 이론적으로 보다 일반화된 형태인 웨이블릿(wavelet) 분석과 인공신경망기법의 결합모형을 제시하였다. 이들 알고리즘간의 결합방법은 웨이블릿분석에서 제시하는 다양한 웨이블릿 필터링(wavelet thresholding) 방법 등이 인공신경망기법의 예측성과에 어떻게 영향을 미치는 지를 보고자 하였다.
마지막 결합방법론은 기존의 결합방법론을 보다 일반화 시킨, 새로운 형태의 웨이블릿분석과 인공신경망기법의 결합모형을 제시하였다. 이상의 두 기법들에 기반한 결합모형은 다음과 같이 설계되었다. 즉, 웨이블릿 분석에서 추정되어야 할 신호분할기준(signal decomposition criteria)인 단기신호주기 및 장기신호주기를 구분해 주는 필터링 계수(threshold criteria or cut-off level)를, 본 연구에서는 기존 인공신경망모형의 추가적인 파라미터로서 정의하고, 이를 장, 단기 주기를 가지는 다수의 재무 시계열을 생성시키는 웨이블릿 주기분할층(multi-scale extraction layer)의 형태로 결합모형에 반영하였다.
한편, 이 결합모형을 위한 최적화 알고리즘기법으로서 다양한 제약조건을 충족시키고, 지역적 예측오차의 최소화(local minimum)를 효과적으로 극복할 수 있는, 전역적 탐색방법인 유전자 알고리즘을 적용하였다. 이를 통해 인공신경망 예측모형의 최적화와 더불어, 모형에 적합한 입력 신호를 최적화시키는 문제를 동시에 해결하고자 하였다. 즉, 이 새로운 통합모형은, 본 연구에서 제시한 유전자알고리즘을 이용하여, 기존모형에서 추정되는 학습 파라미터와 더불어, 본 연구에서 새롭게 제시된 주기분할층의 파라미터들이 모형의 학습성과인 예측오차를 줄이기 위해 모두 전역적 최적화가 이루어질 수 있도록 하였다. 이를 통해 보다 일반화된 형태의 신호처리분석 및 인공신경망모형의 결합모형이 새롭게 설계되었다.
본 연구의 의의는 다음과 같다. 첫째, 단기적인 자본시장에서 존재하는 시계열패턴을 이용한 기존의 예측모형들은 주로 전통적으로 적용되어져 왔던 시계열분석과 최근에 많은 연구가 진행되고 있는 인공지능기법에 기반한 단순한 형태의 연구가 대부분이었다. 그러나, 이들 연구에서의 한계점으로는 모형에 적합한 정보의 추출문제가 제기되고 있다. 본 연구는 시계열의 정보를 시간과 주기의 정보형태로 분석하는 신호처리 방법론과의 결합을 통해 이를 효과적으로 해결함으로써, 기존 모형의 예측력을 향상시킬 수 있었다.
둘째, 대표적인 신호처리 분석방법인 웨이블릿분석을 재무시계열 예측문제에 적용함에 있어서 발생되는 또 다른 문제는 예측모형에 적합한 웨이블릿 필터링을 어떠한 기준으로 선택할 것인가이다. 이 문제를 해결하기 위해서 본 연구에서는 새로운 결합모형을 제시하였다. 기존의 주기분할방법들은 대부분 모형개발자입장에서 여러 가지 형태의 통계적 추정치인 웨이블릿 필터링계수들 중에서 최적의 기준치를 합리적으로 선택해야 하는 문제들이 존재하였다. 그러나, 본 연구에서 제시한 새로운 결합모형은 이러한 문제들이 모형의 최적화과정에서 동시에 해결될 수 있도록 하였다.
이상에서 제시한 결합모형에 대한 실증분석결과는 일일 환율예측문제에 적용하였을 경우, 신호처리분석과 인공신경망기법의 결합모형이 기존모형보다 유의적으로 더 높은 예측력을 가지고 있음을 보여 주었다. 또한, 본 연구에서 새롭게 제안한 유전자알고리즘을 이용한 웨이블릿분석과 인공신경망기법의 결합모형이 기존의 웨이블릿필터링방법들을 이용한 결합모형보다 유의적으로 더 나은 예측성과를 가지는 것으로 나타났다.
