Time series prediction is one of the most important nonlinear regression problems in machine learning. The performance of the prediction models constructed to solve this problem, such as the network with Gaussian kernel functions, is estimated and analyzed through the generalization error bounds. Recently suggested data dependent generalization error bounds utilizing so called Rademacher complexities look quite promising, but only a limited number of experiential results are currently available because of the difficulty in computing the actual Rademacher complexities. In this thesis, we introduce the data dependent generalization error bounds which are in a quite practical form. We also describe how to calculate the Rademacher complexities to make the bounds to be used for a model selection in non-linear regression problems. Experiments using networks with Gaussian kernel functions on artificial and real time series data suggest a potential of the data dependent generalization error bounds for model selections.
시계열 예측은 기계학습에서 가장 중요한 비선형 회귀 문제의 하나이다. 가우시안 커널함수 네트워크와 같이 이 문제를 풀기 위해 만들어지는 에측 모델의 성능은 일반화 오류 한계를 통해 측정되고 분석된다. 최근에 제시된 Rademacher 복잡도를 이용한 자료의존적 일반화 한계는 매우 장래성 있어 보이지만 반면 실제 Rademacher 복잡도를 계산하는 데에 있어서의 어려움 때문에 오직 제한된 수의 실험결과만이 현재 이용가능하다. 본 논문에서는 매우 실제적인 형태를 가진 자료의존적 일반화 한계를 소개한다. 또한 그 일반화 한계를 비선형 회귀 문제에서의 모델선택에 사용할 수 있도록 Rademacher 복잡도를 계산하는 방법을 설명한다. 인공적인 시계열 자료와 실제의 시계열 자료에 가우시안 커널 함수 네트워크를 사용한 실험을 통해서 모델선택에 대한 자료의존적 일반화한계의 가능성을 살펴본다.
