Neural networks are parallel computational models comprised of densely interconnected adaptive processing units. These networks are parallel implementations of nonlinear static or dynamic systems. A very important feature of these networks is their adaptive nature, where learning by example replaces programming in solving problems. This feature makes such computational models very appealing in application domains where one has little or incomplete understanding of the problem to be solved but where training data is readily available. Another feature is the intrinsic parallel architecture that allows for fast computation of solutions when these networks are implemented on parallel digital computers or, ultimately, when implemented in customized hardware.
Neural networks are viable computational models for a wide variety of problems. These include pattern classification, speech synthesis and recognition, adaptive interfaces between humans and complex physical systems, function approximation, image compression, associative memory, clustering, forecasting and prediction, combinatorial optimization, nonlinear system modeling, and control. These networks are neural in the sense that they may have been inspired by neuroscience but not necessarily because they are faithful models of biologic neural or cognitive phenomena.
There are a number of kinds of neural networks, such as a Hopfield network, a multilayer perceptron, a radial basis function network, an so on. In this thesis, we have presented the learning algorithms of the feedforward neural networks and the generalized diagonal recurrent neural networks, and analyzed convergence and stability property of these algorithms.
In recent years, many researchers have studied feedforward multilayer neural networks quite extensively and various fruitful results have been obtained. In particular the feedforward neural network (FNN) with the backpropagation (BP) method proposed by Rumelhart and McClelland is one of the most stimulating products and has had a great impact on the development of this area. However, there are a number of disadvantages in the backpropagation learning algorithm. These limitations are mainly from the usage of the steepest descent method and the fixed learning rate in the conventional backpropagation method. The convergence of neural networks trained with the conventional backpropagation algorithm is affected by these limitations. To overcome these disadvantages, it is necessary to modify the steepest descent algorithm with some intelligent methods.
In this thesis, we have used a constrained optimization method to improve the convergence properties of the conventional backpropagation algorithm. The weight vectors of neural networks are moved to points closest to the present weight vector based on the total error function. The Optimization method minimizes the square of the norm of the total error function as
Minimize∥Changes of weight matrices∥
Subject to a posteriori output errors = 0
Therefore, from the above learning method, the neural networks, such as feedforward and recurrent networks can be effectively trained.
On the other hand, the most systems which we encounter in practical problems have nonlinear dynamic characteristics. It cannot identify, or control the given unknown systems without the past histories in feedforward neural networks. To be able to do these operations, we must know the order of the given systems in advance. However, it is very difficult to know the order of unknown nonlinear systems. From these problems, we have developed an architecture of the neural networks, a generalized diagonal recurrent neural network, which can train the dynamic characteristics described above, and which has a small number of parameters to decrease the random influences of the model.
Since it has tapped delays in hidden nodes, it has a mapping property of the dynamic characteristics. In this configuration, it is necessary to provide the stability with the recurrent weight vectors and its learning algorithm. It is because the tapped delays affect the system stability for linear and nonlinear systems. Therefore, we have also analyzed the stability and the convergence problem later.
신경회로망은 음성 인식, 영상 정보 처리 등과 같은 분야에서 기존의 컴퓨터와는 다른 계산 방식을 채택함에 따라 보다 진보된 결과들을 보여주었다. 이는 기존의 컴퓨터가 주어진 문제를 해결하는 데에 있어서 Programming을 하는 반면, 신경회로망은 주어진 예제 데이터들을 가지고 학습을 하면서 문제를 해결한다는 차이점에 기인한다. 이와 같은 장점을 가지고, 신경회로망은 패턴 인식, 음성 인식 및 분석, 영상 압축, 연상 기억, 예측, 비선형 시스템의 모델링 및 제어 등의 분야에 두루 쓰이고 있다.
신경회로망 가운데에서 Multilayer Perceptron은 기존의 비선형 필터와 비슷한 성질을 가지면서 여러 분야에 적용할 수 있는 신경회로망의 한 종류이다. Multilayer Perceptron을 학습시키는 방법에는 여러 가지가 있지만, 그 중에서도 역전사 알고리즘 (Backpropagation Learning Algorithm)이 가장 널리 사용되어 왔다. 하지만 역전사 알고리즘은 신경회로망 가중치에 대한 오차 비용 함수가 Convex 성질을 가지지 못하고, Steepest Descent 방법에 의해 신경회로망 가중치가 보정됨으로써 수렴성이 그다지 좋지 못한 단점이 존재한다. 이를 개선하기 위한 많은 노력들이 있어 왔는데, Extended Kalman Filter 방법, Quasi-Newton 방법, Layer-By-Layer 학습 방법 등 여러 가지가 존재한다. 하지만 이들 학습 방법들은 대부분 많은 계산량을 필요로 하고, 그 복잡성도 상당히 크다. 이 논문에서는 이와 같은 문제점들을 보완하기 위해 새로운 학습 알고리즘을 제안하였다.
제안한 학습 알고리즘은 신경회로망 가중치를 학습하기 위한 비용 함수를 전체 가중치의 변화량으로 삼고, 신경회로망의 A Posteriori 출력 오차를 0으로 하는 등가 제한 조건을 가지고 있다. 이는 제한 최적 문제라고 볼 수 있는데, 비제한 최적 문제로 만들기 위해 Lagrangian을 통해 Hamitonian을 구할 수 있다. 이 Hamitonian에 의해 얻어지는 새로운 비용 함수를 신경회로망 가중치와 Lagrangian에 대해 최적값을 취하면 구해지는 가중치의 값이 원하는 신경회로망의 가중치의 값으로 보정될 수 있다. 이와 같은 방법에 의해 구해지는 학습 알고리즘은 기존의 학습 알고리즘에 비해 수렴 속도가 빠르고, 수렴도도 상당히 개선될 수 있음을 볼 수 있다. 제안한 학습 알고리즘의 수렴성을 Lyapunov 함수 방법을 적용하여 해석할 수 있다. 즉, 모델링 오차가 존재하지 않을 경우에는 최적의 가중치 값으로 신경회로망을 학습시킬 수 있고, 모델링 오차가 존재할 경우에는 신경회로망의 오차를 모델링 오차만큼 학습을 시킬 수 있다.
Multilayer Perceptron과 같은 신경회로망에 있어서도 전방향 (Feedforward)와 재귀적 (Recurrent) 신경회로망이 존재한다. 전방향 신경회로망은 외부적인 Feedback의 도움없이는 정적 Mapping의 성질밖에 가질 수 없지만, 재귀적 신경회로망은 자체에 Feedback Loop를 가지고 있으므로 동적 Mapping이 가능하다. 하지만 재귀적 신경회로망은 각 노드들 사이의 연결과 재귀적 가중치들로 인하여 신경회로망 자체의 안정성 및 수렴성의 문제를 제기한다. 따라서 이 논문에서는 동적 Mapping 성질을 가지면서 안정성과 수렴성이 보장되는 새로운 구조의 재귀적 신경회로망을 제안하였다. 이는 은닉층에 Feedback Loop를 연결함으로써 외부적인 Feedback Loop를 제거할 수 있는 장점을 가지고 있고, 재귀적 가중치의 크기를 제한함으로써 안정성 및 수렴성을 보장할 수 있다.
따라서, 앞에서 제안한 신경회로망 학습 알고리즘과 새로운 신경회로망 구조를 가지고 비선형 시스템 모델링 및 비선형 채널 등화 등과 같은 문제에 적용하면 기존의 학습 방법에 의한 결과보다 나은 결과들을 얻을 수 있음을 시뮬레이션을 통해 알 수 있다. 즉, 제안한 학습 알고리즘과 신경회로망은 비선형 문제를 해결하는 데에 기존의 방법에 비해 보다 많은 장점들을 가지고 있다.
