When a neural network is used to solve a given problem, it is necessary to match the complexity of the network to the problem because the complexity of the network significantly influences its generalization performance. Thus, algorithms that can find appropriate network architectures are highly desirable.
This thesis proposes algorithms which automatically organize feedforward neural networks using fixed neurons and adaptive neurons for given problems. When the training data of a learning task is given, the proposed algorithms try to find the optimal network which is compact and shows good generalization performance for the task using constructive procedures and pruning procedures. In this thesis, two types of network architectures are involved. The first one is the neural network using fixed neurons. Two algorithms for this type of architecture are proposed. They organize the multi-layer perceptron (MLP) which is one of the most widely applied and researched neural network architectures. The second one is the neural network using adaptive neurons. The proposed algorithm for this type of architecture organizes networks with modular structure whose hidden units consist of MLPs. The MLP networks of the adaptive neurons are organized by the developed self-organizing algorithms for MLPs. The proposed algorithms generate compact networks having good generalization capability and are robust to random variations in several trials. The performances are tested on four function regression problems. The results demonstrate that the proposed algorithms outperform the other approaches.
신경회로망을 이용하여 주어진 문제를 해결할 때 신경망 구조의 복잡도와 문제의 복잡도를 맞추는 것은 중요한 일이다. 이것은 신경망의 구조가 그 일반화 성능에 큰 영향을 미치기 때문이다. 그러므로 문제에 적합한 신경망의 구조를 찾을 수 있는 알고리즘의 필요성이 크게 대두된다.
본 논문에서는 고정뉴런과 적응뉴런을 이용한 신경회로망을 자동적으로 구성하는 알고리즘을 제안한다. 제안된 알고리즘은 네트워크를 증가시키는 과정과 필요 없는 요소를 제거하는 과정을 모두 포함하고 있다. 해결하고자 하는 문제의 학습데이터가 주어졌을 때, 제안된 알고리즘은 좋은 일반화성능을 보이는 간결한 구조의 신경망을 찾는다. 본 논문은 두 가지의 신경회로망을 다루고 있다. 첫번째는 고정뉴런을 갖는 신경회로망으로써, 가장 널리 응용되고 연구되는 신경망 구조 중 하나인 다층 퍼셉트론을 위한 두 가지 알고리즘이 제안되었다. 두 번째는 적응뉴런을 갖는 신경망으로써, 은닉뉴런이 다층 퍼셉트론으로 구성되어 모듈구조를 갖는 신경망을 구성하는 알고리즘이 제안되었다. 은닉뉴런의 다층 퍼셉트론을 구성하기 위해서는 먼저 개발된 다층퍼셉트론을 위한 두 가지 알고리즘들이 쓰인다. 제안된 알고리즘들은 좋은 일반화 성능을 보이는 간결한 신경망을 생성하며 여러 번의 수행에 대해 신뢰할 수 있는 결과를 보여준다. 네 가지의 함수 근사화 문제를 통해서 그 성능을 보였으며 실험 결과 기존의 다른 방법들보다 우수한 성능을 보인다.
