Temporal modeling refers to analyzing the causal relationship between given time series data and modeling the predictive function based on this, and it is widely used in various applications such as weather forecasting, market price prediction or anomaly detection.
Generally, in the case of causality analysis, Granger causality has been used for a long time, but it becomes computationally intractable when it uses a lot of past information called delay terms.
In this thesis, to solve the problem of previous Granger causality, we propose Granger neural encoding which consists of non-linear encoding and lasso Granger model.
In non-linear encoding, we use deep learning models such as CNN (convolutional neural networks) and RNN-LSTM (recurrent neural network - long short-term memory) which have state-of-the-art performance in various applications. Then we analyze the causality on those encoded time series data by using lasso Granger model. In addition to Granger neural encoding, we propose a two-staged dynamic capacity network, each consisting of a simple Granger neural encoding model for causal analysis and a complex one for precise prediction based on them.
In the end of this thesis, we verify dynamic capacity Granger neural encoding has improved modeling performance than other comparative temporal models.
시간적 모델링은 주어진 시계열 데이터간의 관계를 분석하고 이를 토대로 예측함수를 모델링 하는 것을 지칭하며, 날씨나 시장의 물가를 예측하거나 이상 징후 포착 등 다양한 영역에서 많이 쓰이고 있다.
일반적으로 시계열 데이터간의 인과관계 분석의 경우 오래전부터 그레인저 인과관계 기법을 사용하고 있으나, 이 방법은 과거의 정보를 많이 볼수록 계산적인 문제가 발생하게 된다.
이 논문에서는 기존의 그레인저 인과관계가 겪고 있는 문제를 해결하기 위하여 근래에 다양한 영역에서 뛰어난 성능을 보이는 컨벌루션 인공신경망이나 장단기 기억 재귀형 인공신경망 등의 딥러닝 모델을 사용하여 시계열 데이터에 대한 비선형적 압축을 진행하며 이러한 압축된 정보를 토대로 그레인저 인과관계 분석을 진행하는 그레인저 신경망 인코딩 기법을 제안한다.
이에 더하여 두 단계로 이루어진 동적 용량 신경망 모델을 제안하며, 각각 인과관계 분석을 위한 간단한 그레인저 신경망 인코딩 모델과 습득한 인과관계를 토대로 정밀한 예측을 위한 복잡한 그레인저 신경망 인코딩 모델 으로 구성되어져 있다.
최종적으로 논문에서 제안한 동적 용량 그레인저 신경망 인코딩 모델이 다양한 실험에서 기존의 시간적 모델에 비해 발전된 성능을 가짐을 검증한다.