In this dissertation, a framework for automatic model selection is proposed to find an appropriate compromise between over-smoothing and over-fitting for online function approximation. Recently, most of model selection methods build experts network which is made up of local linear functions and corresponding basis functions. Unlike these methods, the proposed method builds experts network which is consisted of local feed-forward neural networks (FNNs) and corresponding basis functions. This strategy improves the accuracy of local approximation by the capability of FNNs (lower bias compared to local linear models) and complements the increasing variance by generation of smaller experts and continuity preservation function.
The basic structure of the proposed framework is mixture of experts whose experts are FNNs. The framework generates and adjusts gating network for FNNs to fit the local data from the receptive fields that is in the gating network. For the generation and adjustment, a type of adaptive resonance theory, Gaussian ART, is incorporated into the framework with modification. Using the error of FNNs to generate and adjust the receptive fields are an important idea for the framework. As a result, the proposed framework constructs function approximator from data in incremental way.
The proposed framework is significantly based on two different paradigm. Therefore, the implementation is not straightforward and hard to understand. However, real implementation is very easy and the effectiveness is shown through empirical evaluations of numerical function approximation, time-series prediction, and nonlinear plant modeling.
본 논문에서는 연속적으로 들어오는 데이터를 가지고 과대학습과 과소학습 사이를 적절하게 조절하여 함수를 모사하는 모델을 얻고자 하였으며, 이 과정에서 자동적으로 모델의 구조를 결정하는 방법에 대해 다룬다. 최근 대부분의 모델 결정 방법들은 선형 모델과 기반 함수를 토대로 이 들의 파라미터와 구조를 자동적으로 조절하고자 한다. 이러한 방법들과는 다르게, 제안된 방법은 비선형 모델인 다층 신경망 모델과 기반 함수를 토대로 한다. 이러한 전략은 점증식 학습 알고리즘과 잘 연계되어 정확도를 향상시키고 적은 수의 전문가 네트워크를 구성하여 일반성을 추구한다.
제안된 프레임워크의 기본 구조는 전문가가 다층신경망 모델인 혼합 전문가 모델이다. 제안된 방법은 신경망이 통문 네트워크로부터 받아지는 지역적 데이터를 가지고 과대학습이나 과소학습이 일어나지 않도록 통문 네트워크안의 반응 필드를 생성하고 조절한다. 이러한 생성과 조절을 위해서 적응공명이론중 하나인 가우시안 적응공명이론을 변형하여 사용한다. 이 때 특히 신경망의 오차를 이용하여 반응 필드를 생성하고 조절하도록 변형한다. 그 결과로 제안된 방법은 점증적인 방법으로 데이터로부터 함수를 학습하게 된다.
제안된 프레임워크는 이론적으로 매우 복잡하게 구현되어 있다. 점증식 학습과 지역기반함수네트워크라는 서로 다른 두 패러다임의 장점을 두루 가져와 사용하고 있기 때문이다. 하지만, 실제 구현은 매우 쉽게 이루어지며 구현된 방법의 효용성을 수학적 함수 근사화 문제와 시계열 예측문제 그리고 비선형 시스템 모델링을 통하여 보여주었다.
실제로 제안된 모델이 널리 사용되기 위해서는 수렴성에 있어서 보완이 있어야 한다. 수렴이 선형 모델이 비해 느리다는 단점은 제안된 방법이 정적인 시스템이나 아주 느린 동적 특성을 지닌 시스템에 한정되어 적용될 수 있다는 것을 의미한다. 현재 많은 관련 연구가 이루어지고 있고 제안된 방법 역시 비선형에 한정하지 않고 선형 모델과의 결합을 통해 수렴성을 보완할 수 있을 것이라 생각한다.
