Theoretical studies have shown that neural networks are capable of approximating any continuous function on a compact domain to any degree of accuracy. However, constructing a optimal neural network needs to find a good tradeoff between fitting the training data and keeping the network architecture simple. A simple neural network is not only more comprehensive and more manageable, but also less likely to overfit the training data, that is, has a higher capacity to generalize the unexperienced data.
Up to now, architecture design of neural networks has been a human expert's job for the most part. It depends heavily on the expert experience and it often needs a tedious trial-and-error process. Although considerable research on growing and pruning methods has pursued the automatic design of architectures, most works are susceptible to becoming trapped at structural local minima and those investigations are likely to be restricted to a topological subsets rather than the complete class of network architectures. Furthermore, few principled approaches exist in the literature because of the lack of a well-defined optimality criterion.
In this thesis, a promising solution, a new evolutionary optimization method is proposed to provide a general, systematic, and unified way to design an optimal neural network of the generalized mixture neural network class. The generalized mixture neural network class is newly defined here to include various kinds of neural networks with a linear-in-the-parameters structure. In the evolutionary process, a use of statistical information criteria in the fitness evaluation provides a principled way of finding an optimal tradeoff between the two conflicting modelling objectives. Furthermore, a practically available Pareto optimal selection is presented to provide the "best practically available networks" for the developers of neural networks, instead of recommending the only one network regarded as the best one. Therefore, the developers can choose more appropriate networks corresponding to their purpose. To increase the rate of optimization, an idea of credit assignment is infused into a crossover operator and thus it improves the capability of searching the architecture surface. Consequently, without any expert knowledge or tedious trial-and-errors, the optimized network can be designed for a given task automatically through the proposed evolutionary process. The practical applicability was examined through a series of simulations and real experiments with a mobile robot.
신경 회로망은 여러 연구자들의 연구에 의하여 임의의 연속 함수를 주어진 정밀도 이내로 근사할 수 있다는 사실이 이미 증명되었다. 하지만 신경 회로망의 최적화된 설계를 위해서는 주어진 학습 패턴에 대한 근사 정도를 좋게 하는 것과 회로망 구조를 간결하게 유지해야 하는 두 가지 목표를 동시에 만족시켜야하며 이 문제는 신경 회로망의 여러 문제 중 풀기 힘든 문제 중의 하나로 인식되고 있다. 특히 신경 회로망의 구조를 간결하게 유지함으로 인해서 얻을 수 있는 장점으로는 주어진 학습 패턴 외에 일반적인 패턴들이 주어질 경우에도 근사를 잘 할 수 있도록 하는 신경 회로망의 일반화 특성 (generalization property)이 좋아진다는 것이다.
이제까지 신경 회로망의 설계는 대부분 전문가에 의해서 이루어져 왔으며 전문가의 사전 지식이나 혹은 여러 번의 반복 시도를 통하여 이루어졌다. 이러한 단점을 극복하기 위하여 구조 증가 방법 (growing method) 및 구조 감소 방법 (pruning method) 등에 대한 상당한 연구가 이루어졌으나, 이러한 방법론들은 대부분 최적화된 신경 회로망보다는 국지적으로 최적화된 신경 회로망을 도출하는 경우가 많다. 또한 수학적으로 잘 정의된 최적화 기준의 부재로 인하여 신경 회로망의 최적화에 있어서 정량화된 방법론이 개발된 예는 실제로 신경 회로망 연구에 있어서 거의 드물다.
본 학위 논문에서는 이러한 기존 방법론들 외에 최근 새로운 최적화 기법으로서 각광받고 있는 진화 연산을 이용하여 신경 회로망 구조를 최적화하는 방법론을 제시하였다. 특히 제안된 방식은 본 논문을 통해서 새롭게 정의된 혼합 신경 회로망 클래스 (generalized mixture neural network class)에 속하는 신경 회로망들의 설계에 있어서 일반화되어 적용될 수 있으며, 또한 체계적이면서도 자동화된 방식으로 신경 회로망을 최적화하게 된다. 한편 새로이 제안된 진화 연산 과정에서는 신경 회로망을 하나의 개체로 표현하고 이들 개체를 여러 세대에 걸쳐서 진화시키게 되며, 특히 본 논문에서는 각 개체, 즉 각 신경 회로망의 적합도를 판정하는데 있어서 통계적인 정보 기준 (statistical information criterion)을 사용하였으며, 따라서 주어진 신경회로망의 좋고 나쁨을 판단하는데 있어서 수학적으로 잘 정의된 최적화 기준을 사용함으로써 정량적인 방법론을 제시하였다.
덧붙여서 일반적으로 기존의 진화 연산 방식은 최적화의 최종 해로서 단 하나만의 신경 회로망을 구하는데 비해서, 본 학위 논문에서는 파레토 최적화 (Pareto optimal)된 신경 회로망 중 실제로 사용될 수 있는 신경 회로망군을 최종 해로 제공하는 방식이 제안되었다. 따라서 신경 회로망 사용자들은 자신들의 목적에 맞는 신경 회로망을 이들 해들로부터 구해서 쓸 수 있는 장점을 가지게 된다. 그리고 최적화된 신경 회로망을 찾기 위한 탐색 속도를 향상시키기 위하여 다음 세대의 개체를 생성하기 위해서 진화 연산에서 사용되는 교배 연산 (crossover operator)에 새로운 신뢰도 부여 방식 (credit assignment)이 제안되었다.
결과적으로 제안된 진화 연산 기법은 전문가가 아니더라도 주어진 문제에 대해서 최적화된 신경 회로망을 자동으로 설계할 수 있도록 하며, 앞서 열거한 기존의 방법들의 문제점을 해결하였다. 또한 일련의 모의 실험과 실제 이동 로봇을 이용한 실험을 통해서 본 학위 논문에서 제안된 방식의 우수성과 실제적인 응용성이 검증되었다.