In the recent decade, machine learning plays an important role in wide real life applications, because there are many problems not to solve the problem with formal mathematical classic algorithms. But there are some problems of machine learning, like over-fitting and under-fitting. To find the solution of these problems, we decide the optimal model which make a trade-off between over-fitting and under-fitting. This thesis investigate new methods using the prediction of the expected error, and using regularization method with respect to smoothness measure.
First, we consider to construct the performance prediction model using the validation set to determine the optimal structure for the whole training data. We analyze risk bounds using the VC dimension theory and suggested the form of risk estimates for the performance prediction model. As a result, the suggested CV method referred to as parameterize CV (p-CV) method using the performance prediction model.
Secondly, we will suggest the prediction risk bounds of nonlinear regression models based on the the modulus of continuity for the target function and also for the simulation function. We also present the model selection criteria referred to as the modulus of continuity information criteria (MCIC) derived from the suggested prediction risk bounds. Through the simulation for function approximation, we have shown that the suggested MCIC is effective in nonlinear model selection problems with limited data.
Finally, we presents a new method of regularization in regression problems using a Besov norm (or semi-norm) acting as a regularization operator. This norm is more general smoothness measure to general approximation spaces than Sobolev norm and RKHS norm. In our work, we also suggest a new candidate of the regularization parameter, that is, the trade-off between the data fit and the smoothness of the estimation function. Through the simulation for function approximation, we have shown that the suggested regularization method is effective and the estimated values of regularization parameters are close to the optimal values to determine the regression models with the minimum expected risks.
실생활의 많은 문제들이 기존의 수학적 알고리즘으로는 문제를 풀 수 없기 때문에 최근 몇 십 년 동안 기계학습은 실생활의 모든 영역에서 중요한 역할을 하게 된다. 기계학습에 있어서 학습함에 따라서 과도학습(over-fitting)과 부족학습(under-fitting) 문제가 발생한다. 이러한 문제를 풀기 위해서 최적화된 모델 복잡도(model complexity)를 결정해야 하는데, 이러한 모델의 복잡도와 관련 있는 중요한 모델의 초월변수(hyperparameter)들로는 다층퍼셉트론(Multilayer perceptron)의 은닉층(hidden layer)의 개수, 은닉마디(hidden node)의 개수, Radial basis function networks(RBF)의 폭(width), 그리고 부드러움의 측도(smoothness measure) 등이 있다. 이 논문에서는 이런 최적화 문제를 구조적 오류 최소화(Structure Risk Minimization principle, SRM) 방법과 수학의 근사이론에 사용되는 부드러움의 측도를 이용하는 정형화 방법(regularization method)을 제안한다.
$\bullet$ 주어진 전체 학습 데이터를 가지고 최적의 학습 구조를 찾는데, 크로스 확인(cross validation)을 이용해 일반화 오차를 예측하는 모델을 제시한다. 이 논문에서는 VC차원을 이용해 오차의 상한을 분석하고, 성능 유추 모델을 위한 오차 추정모델을 제시한다. 이 결과와 크로스 확인을 사용해 오차 추정모델의 매개변수를 결정하고, 이것을 전체 학습 데이터에 적용함으로써 최적의 학습 복잡도를 구한다. 이것을 순수한 크로스 확인과 비교한다.
$\bullet$ 회귀함수의 연속과 부드러움의 일반환 된 고유의 특성인 modulus of continuity를 이용하여 학습 데이터의 근처에서 부드러운 정도를 설명함으로써 비선형 네트웍의 일반화 오차를 실험적 오차와 회귀함수의 부드러움의 정도를 이용하여 분석하였다. 또, 비선형 네트웍의 정의역에서 학습 데이터의 조밀도(density)를 이용해 학습의 최적화된 네트웍 사이즈를 결정하는 모델 선택의 기준을 만들었다.
$MCIC(n)=_{emp}(f_n)+\frac{\omega(f_n, h_o)}{3}\sqrt{\frac{1}{2N}log\frac{delta}{2}}$
이러한 결과를 이용하여 비선형 네트웍을 구성할 대, 최적의 기저의 개수를 추정하였다. 이 실험에서 기존의 통계적인 방법으로 유명한 AIC, BIC, 그리고 VC차원을 이용한 SEB를 비교하였는데, 우리의 새로운 방법의 기존의 방법보다 우월한 성능을 보였다.
$\bullet$ SRM에 기인한 방법과 다른 과도학습과 부족학습을 피하는 방법으로는 정형화 방법이 있다. 정형화 방법은 주어진 학습 데이터를 맞추는 실험적 오차와 회귀모델의 부드러움을 강조하는 정형화 연산자의 정형화 매개변수(regularization parameter)를 사용하여 타협하는 방법이다. 이 논문에서는 부드러움 측도로 Besov norm을 정형화 연산자(regularization operator)로 사용하여 회귀모형에서 새로운 정형화 방법을 제시하고, 새로운 부드러운 측도를 이용한 방법이 과도학습과 부족학습을 피함을 시험으로 확인한다. 정형화 연산자를 기존의 Sobolev, RKHS의 부드러움의 측도보다 일반화된 Besov 측도를 이용하여 쐐기함수(spline function)와 다층페셉트론에서의 정형화 방법을 제시하고, 더욱이 이론적 고찰에서 얻어지는 조밀도가 최적의 정형화 매개변수에 아주 가까움을 여러 상황의 실험을 통해 보였다.
