A vector autoregressive (VAR) model is a statistical model that describes linear dependencies among vectors of current and previous values for multivariate time series data. Recently, there has been increasing demand to employ high-dimensional VAR models that can process large numbers of time series variables from areas such as systems biology, econometrics, and computational neuroscience. However, when the number of variables is too large compared to the limited length of the time series, computational obstacles, including singular matrix problems and overfitting, are encountered. Several methods have been proposed in literature to handle high-dimensional sparse data problems, but most have limited applications because of heavy computational costs and incorrect assumptions about data. In this thesis we propose a Bayesian approach for modeling VAR processes in order to incorporate proper dependence assumptions and deal with a large dimensionality of data with low computational costs. For the selection of the shrinkage parameter, which is regarded as a prior hyperparameter, we propose a new score function related to the limit of a marginal posterior distribution for the model coefficients. The proposed shrinkage is computationally carried out by using a variation of cross validation. Experimental results based on simulated data demonstrate that the suggested method performs better than the other methods reported in the literature when (1) the number of variables is large and the length of time series is small, or (2) there are strong cross correlations between the time series variables.
The proposed method is applied to real world data from systems biology and computational neuroscience. In both cases, the time series data contain limited numbers of observations with relatively large numbers of variables. Once a VAR model is estimated by the proposed method, the model structure that is determined based on nonzero VAR coefficients is discovered by further pruning spurious coefficients by means of the local false discovery rate (FDR). The proposed method is first applied to time course microarray data from systems biology, and a sparse model structure is inferred with at least as good efficiency as the other methods. It is subsequently applied to multitask functional magnetic resonance imaging (fMRI) data concerning the Brodmann areas in both hemispheres of the brain. The inferred VAR networks of the brain regions are shown to be statistically significant by using the skewness of degree distributions of the inferred directed networks. Moreover, based on a graph theoretical analysis, we discover (1) adaptive changes of the networks to different cognitive tasks and (2) the importance of
memory regions in the medial part of the brain for efficient visual information processing.
벡터자기회귀(VAR) 모형은 다변수 시계열 자료에 대해 현재와 과거 벡터 간의 선형 의존성을 설명하는 통계적 모형이다. 최근에 시스템 생물학, 계량경제학, 및 계산신경과학 등의 영역에서 많은 수의 시계열 변수를 처리할 수 있는 고차원 VAR 모형을 이용하고자 하는 요구가 증가하였다. 그런데 제한된 길이의 시계열에 비해 변수의 수가 너무 많은 경우 특이행렬 문제와 과적합 등을 포함하는 계산적인 장애물이 발생한다. 몇몇 방법들이 고차원 소량 자료 문제들을 처리하기 위해 제안되었으나 대부분 과중한 계산 비용과 자료에 대한 틀린 가정으로 인해 제한된 응용만 이루어지고 있다. 이 논문에서는 자료의 의존성 가정을 합당하게 반영하고 낮은 계산 비용으로 고차원 자료를 다루기 위해 VAR 과정의 모델링을 위한 베이즈 접근법을 제시한다. 사전 초모수로 다루어지는 축소 모수의 선택을 위해 모형 계수에 대한 주변 사후 분포의 극한과 연관된 새로운 점수함수를 제시한다. 제안된 축소 접근법은 교차타당성 방법의 변형을 통해 계산이 수행된다. 제안된 방법은 시뮬레이션 자료에 기반한 실험 결과를 통해 (1) 변수 개수가 많고 시계열 길이가 작은 경우, 또는 (2) 시계열 변수간에 강한 교차상관이 존재하는 경우 선행연구에 보고된 다른 방법들보다 좋은 성능을 나타냄을 입증한다.
제안된 방법은 시스템 생물학과 계산 신경과학으로부터 얻은 실제 자료들에 적용이 된다. 두 경우 모두 상대적으로 많은 수의 변수에 대해 제한된 수의 관찰값만이 시계열 자료에 포함되어 있다. VAR 모형이 제안된 방법에 의해 추정이 되고나면, 국지적 오발견률(FDR) 절차에 의해 거짓 계수값들을 제거하게 되고, 그 값이 영이 아니라고 판별된 계수값에 기반하여 모형 구조가 발견이 된다. 제안된 방법은 우선 시스템 생물학으로부터 얻은 시계열 마이크로어레이 자료에 적용이 되며, 희박한 모형 구조를 적어도 다른 방법들 보다 효과적으로 추론한다. 그 다음으로 그것은 두뇌의 양측 반구의 Brodmann 영역들을 고려한 다중작업 기능적 자기공명영상(fMRI) 자료에 적용이 된다. 추론된 두뇌 영역 VAR 네트워크는 노드의 연결 차수의 분포의 비대칭도를 사용하여 통계적으로 유의함이 보여진다. 더 나아가, 그래프 이론에 기반하여 (1) 서로 다른 작업들에 대한 네트워크의 적응적 변화와 (2) 효율적인 시각 정보 처리를 위한 두뇌의 내측 부분들에 있는 기억 영역들의 중요성을 밝혀낸다.
