In this dissertation, we propose self-organization algorithms for RBF and MLP networks. To construct an RBF network we develop the modified orthogonal least squares (OLS) algorithm. The proposed construction algorithm uses LM learning at each step of OLS algorithm to tune the parameters of an activation function and other weights in the network. As a result, the networks use much fewer neurons for a given training goal than the original OLS algorithm. We also develop a new pruning algorithm to prevent over-fitting and get a smaller network. The proposed algorithm uses two measures together, called least squares (LS) and least squares contribution ratio (LSCR). LS measure is to find the least significant neuron by measuring the error increase when we remove the neuron, and LSCR measure is to find neurons causing over-fitting. While conventional pruning algorithms cannot find the over-fitting neuron, and they stop pruning when the pruned network cannot be trained to satisfy the training goal even if the network still has over-fitting, the proposed pruning algorithm can obtain the network without over-fitting by compelling the network to prune neurons which have high probabilities of causing over-fitting. A mathematical proof is provided for the lower bound of the probability that the generalization error increases more than $\epsilon$, and for that of the probability that the generalization error decreases more than $\epsilon$ when we prune a neuron.
While the proposed algorithm shows good results for RBF networks, we cannot use the algorithms to construct or to prune MLP networks as it is, because the proposed algorithms use the linearity between the outputs of the neurons and the output of the network which is true for RBF networks but is not for MLP networks. To extend the proposed algorithms to MLP networks, we develop target back-propagation method which obtains the target of the output of each hidden layer in the networks. Then, by approximating the error between the target and the output of the network using the error in the hidden layer, the self-organization algorithm for MLP networks is developed.
The simulation results show that we can get more efficient network with smaller generalization error when we use the proposed self-organization algorithm. Especially, while the other pruning algorithms fail sometimes to prune over-fitting neurons, the proposed algorithm completely removes the over-fitting neurons. Therefore, through the experiments, the maximum of the generalization error is smaller than the other methods. In the comparison with the conventional function approximation methods, support vector machine and Gaussian process, the proposed self organization algorithm shows similar generalization performance with much smaller neurons than those of the conventional methods.
본 논문에서는 신경회로망을 이용하여 함수 근사화 문제를 풀 때, 신경회로망을 자기 구성하는 방법을 제안한다. 제안하는 방법은 먼저 주어진 학습 데이터를 근사화할 수 있는 RBF 신경회로망을 구하기 위해 기존의 Orthogonal Least Squares (OLS) 방법에 LM 학습 기법을 도입한 수정된 OLS 방법을 사용한다. 수정된 OLS 방법에서는 신경회로망에 뉴런을 추가할 때마다 LM 학습 방법을 이용하여 신경회로망의 각각의 매개변수를 조정하며, 이를 통해 기존의 OLS 방법보다 적은 수의 뉴런으로 주어진 데이터를 학습할 수 있다. 또한, 만들어진 신경회로망의 과도 학습 현상을 방지하고, 보다 작은 크기의 신경회로망을 얻기 위한 뉴런 제거 기법을 제안한다. 제안하는 뉴런 제거 기법은 데이터를 학습하는데 가장 적게 기여하는 뉴런을 찾아내기 위한 least squares (LS) 측정값과 신경회로망의 일반화 성능을 나쁘게 만드는 과도 학습 뉴런을 찾아내기 위한 least squares contribution ratio (LSCR) 측정값을 이용한다. 기존의 뉴런 제거 방법들이 과도 학습 뉴런을 판별하기 위한 방법을 갖지 못하고, 뉴런이 제거된 신경회로망이 원하는 오차 이하로 학습되지 않을 경우에 뉴런 제거 과정을 마치는데 비해, 제안하는 방법은 과도 학습이 일어날 확률이 높은 뉴런을 강제로 제거하기 때문에 일반화 성능이 좋은 신경회로망을 얻을 수 있다. 제안하는 방법을 이용하여 뉴런을 제거했을 때, 신경회로망의 일반화 성능이 적어도 $\epsilon$만큼 좋아질 확률에 대한 최저값과, 일반화 성능이 적어도 $\epsilon$만큼 나빠질 확률에 대한 최저값을 구하고, 이를 수학적으로 증명한다.
제안하는 방법은 RBF 신경회로망에서 그 출력과 각각의 뉴런의 출력 사이의 선형성을 이용하기 때문에, MLP 신경회로망에 같은 방법을 적용할 수 없다. 이를 해결하기 위해, 원래의 목표값을 신경회로망을 통해 역전파하여 MLP 신경회로망의 은닉층에 대한 목표값을 구하는 방법을 제안한다. 제안하는 방법을 통해 MLP 신경회로망의 각 은닉층에서 목표값을 구하고, 은닉층에서의 목표값과 실제 출력값 사이의 오차를 이용하여 실제 목표값과 신경회로망의 출력 사이의 오차를 근사화 한다. 근사화된 오차를 이용하여 MLP 신경회로망에 대한 자기 구성 방법을 제안한다.
실험 결과를 통해 제안하는 신경회로망의 자기 구성 방법이 기존의 방법보다 보다 적은 수의 뉴런으로 주어진 데이터를 학습하고, 일반화 성능이 우수함을 보인다. 특히 제안하는 방법이 과도 학습 뉴런을 강제적으로 제거함으로써, 항상 과도 학습 뉴런이 없는 신경회로망을 구성하는 것을 보인다. 또한, 제안하는 방법을 support vector machine과 Gaussian process의 다른 함수 근사화 방법과 비교하여, 신경회로망이 보다 적은 수의 뉴런으로 비슷한 일반화 성능을 보임을 보인다.
