Multilayer neural networks have been popularly used to solve a variety of difficult problems like pattern recognition, signal processing, and intelligent control. For the given training data, they are usually trained in a supervised way to minimize the errors between the network outputs and the target outputs, which is a kind of optimization. Mostly used training algorithms are based on gradient descent like error backpropagation algorithm, quasi-Newton algorithm, and Levenberg-Marquardt algorithm. These gradient descent algorithms have limitations in two aspects: one is their locality. They will find different local solutions depending on the different initial parameter states. The other is the difficulty of solving multi-objective or constraint optimization.
Neural networks sometimes show overfitting phenomena although they are trained well for training data. Overfitting occurs mainly due to the over-complexity of the network. In this thesis, we are concerned with reducing the complexity of the network to prevent overfitting by finding smaller parameter values through simulated annealing. In order to speed up simulated annealing, a hybrid optimization algorithm of simulated annealing and gradient descent algorithm is suggested, and its convergence to a global solution is proved.
In order to be more specific with the relation between the dynamic range of parameters and generalization performance of the network, neural networks are trained with two-objective optimization using the proposed hybrid optimization algorithm. Simulation results reveal that our algorithms are very effective in reducing overfitting phenomena of multilayer neural networks.
다층 퍼셉트론은 패턴 인식, 신호 처리, 적응 제어 등의 다양한 분야의 문제를 푸는데 사용되어 왔다. 다층 퍼셉트론의 학습은 대부분 지도 학습 방식으로 이루어지며, 주어진 학습 데이터에 대한 목표값과 실제 네트워크 출력의 차이를 최소화하는 방향으로 진행된다. 일반적으로 모든 학습 데이터에 대한 오차 합을 최소화하는 경사 강하 알고리즘이 자주 이용되며, 대표적인 알고리즘으로는 오차역전파 알고리즘, 준뉴턴 알고리즘, 레벤버그-마쿼트 알고리즘이 있다. 경사 강하 알고리즘은 초기 변수값에 따라 시작점에서 가장 가까운 최소점을 찾고, 다목적 함수 최적화에 이용하기 어렵다.
신경 회로망은 학습한 데이터에 대해서 좋은 성능을 보이더라도 학습되지 않은 데이터에 대해서는 과도 학습 현상이 발생할 수 있다. 과도 학습은 주로 네트워크의 복잡도가 주어진 문제의 복잡도보다 큰 경우 발생한다. 본 논문에서는 과도 학습을 방지하기 위해 모의 담금질에 기반하여 적절한 크기의 파라미터를 찾는 알고리즘을 제안한다. 제안된 알고리즘은 모의 담금질의 수렴 속도 향상을 위해 학습 속도가 빠른 경사 강하 알고리즘과 결합한 하이브리드 알고리즘으로 수렴성이 증명되었다.
파라미터의 동적 범위는 네트워크의 일반화 성능에 큰 영향을 주므로 제안된 하이브리드 알고리즘에서는 두 개의 목적 함수 최적화를 이용한다. 실험 결과 제안된 알고리즘이 과도 학습 방지에 효과적임을 확일 할 수 있었다.
