The backpropagation algorithm based on the gradient descent method is a widely-used learning algorithm of neural networks. However, because of its inherited property, there exists cases in which the backpropagation algorithm is not adopted, or it costs to obtain the gradient information. This thesis classifies the learning methods as two categories: one is based on gradient descent method, and the other based on the stochastic search method such as Genetic Algorithms. It develops novel learning methods to alleviate the weakness of backpropagation algorithm such as local minima, slow speed, and size of structure. And it shows Genetic Algorithms as an efficient learning algorithm of neural networks, in case that the gradient information is not in use. For experimental simulations, the comparative results with several learning algorithms are provided to show effectiveness of the proposed algorithms in function approximation such as system identification and prediction of chaotic time series., and design of a neuro-controller of nonminimum phase systems. Simulation results show that the proposed algorithms are ones of efficient viable learning methods of neural networks.
Descent method에 바탕을 둔 오류 역전파 학습 방법은 신경 회로망의 학습 방법으로 가장 널리 이용된다. 그러나, descent method가 지닌 근본적인 문제점으로 오류 역전달 학습 방법을 이용할 수 없거나, 경사 ( gradient )정보를 얻기가 상당히 힘든 경우가 발생한다. 본 논문은 신경 회로망의 학습 방법을 크게 기울기 정보를 이용하는 것과 유전 알고리즘 ( Genetic Algorithm )과 같은 탐색 ( search ) 방법을 이용하는 것, 두 가지로 나눈다. 그리고, 오류 역전달 방법을 사용하는 경우의 local minima나 늦은 학습 속도, 신경망의 구조문제 등의 약점을 보완하기 위한 학습 방식을 제시하며, 유전 알고리즘이 기울기 정보를 이용할 수 없는 경우에 효과적인 신경망 학습 방법임을 보인다. 기존의 학습 방법들과 제안된 학습 방법과의 모의 실험상의 비교 결과는 제안된 학습 방법이 시계열 데이타의 예측, 시스템 동정화, 그리고 비최소 위상 시스템의 신경망 제어기 구성에 상당히 효과적임을 보여준다.
