During past several years, modeling and control of nonlinear systems with neural networks have emerged as one of the most active and fruitful areas for research in the application of neural networks. Nonlinear systems which are often encountered in industrial processes, in general, do not lend themselves to model by conventional methods because of a lack of informations on parametric and nonparametric nonlinearities. But in case the number of the input-output samples is abundant, neural network modeling provides an efficient way of nonparametric modeling by learning the input-output data samples and resolves most parts of the parametric and nonparametric identification problems.
In the modeling of nonlinear systems, multilayer neural networks have been widely accepted for their ability of generalizations and simple learning rules known as error backpropagation. In modeling nonlinear systems by learning the input-output data samples with neural networks, there may be some cases that Jacobian of system are available. Or in some cases, it is possible to extract Jacobian from input-output data, though it is very noisy. In this dissertation, we firstly develop the method of estimating Jacobian from multilayer neural networks and then the Jacobian learning method is developed. The Jacobian estimation can provide a valuable information in controlling the nonlinear systems. And the proposed Jacobian learning method is shown to be able to provide an efficient way of suppressing overfitting and acceleration of learning speed. The Jacobian learning method can be incorporated with conventional input-output data mapping and it is named as hybrid learning method. The proposed method is shown to be improve learning speed and promoting generalizations in modeling the highly nonlinear systems through numerical experiments.
The basic architecture of controlling nonlinear system with neural network is inverse control. Though inversion control has simple structure, it shows some disadvantages that the control result of inversion control only inevitably produces the error that is caused by modeling error of inverse neural network. And it seems that the learning of inverse neural network exhibits some difficulties. To reduce the error by inversion controller, there are many literatures that uses conventional controller with inverse neural network. But, in general, stability of the control system, in this case, are not guaranteed because the lack of the informations in neural network modeling error and structure of conventional controller. Only the structure of neural network controller with Proportional-Derivative(PD) controller as a conventional controller is proved for their stability. But the method also shows some degree of error that is caused by neural network modeling error, because the PD controller cannot completely compensate the neural network modeling error. The second part of this dissertation is devoted to overcoming these points. For this purpose, firstly we develop the method of inversion of multilayer neural networks which learns the forward dynamics, by Newton Raphson method. In the process of inversion, the estimated Jacobian plays an important role. The method uses the linearization of multilayer neural network, and solves the inversion problem by linearized neural network iteratively. The method is designed to provide the solutions for ill posed problems, which is almost impossible in inverse neural networks. This method overcomes the difficulties in learning the inverse controller and demonstrates other many beneficial features such as controlling ill posed problems. The proposed inversion method is shown to be effective in solving the problems such as the inverse kinematic problems of planar redundant robot through numerical experiments. Though the neural network has the ability of learning, it is the approximation of the plant. So, in controlling nonlinear systems by proposed inversion algorithms, there remains some degree of control errors which is dependent on the approximation precision of neural network. So we propose the method of controlling nonlinear systems by neural network which incorporates with conventional integral type controller. In this way, the control errors due to neural network modeling error are compensated by conventional integral type controller, and thus control errors converge asymptotically to zero in regulation problems. And the method is characterized as the combination of feedforward control and error feedback controller, which enables the fast response of feedforward controller and asymptotic convergence properties of error feedback controller. And the stability of the control algorithm is proved. The stability condition is mainly consisted of Jacobian learning which can be accomplished by the proposed learning method in this dissertation. The method is shown to be effective through experiments of controlling the nonlinear systems.
Recently, time delay control algorithm is introduced and it is shown to be effective in canceling the uncertainty or unmodeled dynamics. The signal synthesis adaptation is very fast and effective for the relatively slow change of the systems. But the method is developed for the linear systems with nonlinear unmodeled dynamics. So we propose time delay control of nonlinear system with neural network modeling. Unlike the compensated inversion algorithms, the proposed method does not require inversion procedure. For the linearized dynamic equations, the neural network is uses to linearize the identified model with the proposed Jacobian estimation method. In the proposed controller, neural network provides a control gain adaptation and time delay control provides a signal synthesis adaptation. Furthermore, the slow adaptation of neural networks and fast adaptation of time delay control is implemented in a unified fashion. In the initial stages of control, the proposed controller may yield some control errors, but time delay controller eliminates error caused by the neural network controller. As time evolves, the neural network refines its model to take into account the unmodeled dynamics of the initial control stages'. If there are changes of the system during control, it is compensated by time delay control at first and then the neural network will compensate it by learning the changed dynamics. The stability condition for the proposed control structure is proved and, in this case also, the condition is mainly consisted of Jacobian matching between plant and neural network modeler.
과거 수년동안 신경회로망을 이용한 비선형 시스템의 모델링과 제어에 대한 연구가 신경회로망의 가장 활발한 응용분야의 하나로서 발전되어 왔다. 실제로 자주 접하게 되는 비선형 시스템은 대부분 알고 있지 못한 비선형성과, 모델링 하지 못한 불확실성 때문에 기존의 제어방법으로는 동정하거나 제어하는 데에 어려움이 많다. 그러나 시스템의 입출력 샘플이 충분한 경우에는 신경회로망을 이용한 모델링을 이용하면 여러가지 동정에 관련된 문제들을 해결할 수 있다. 비선형 시스템의 모델링에 있어서, 다층 신경회로망은 일반화능력이 있고, 이른바 오차역전파법이라고 불리는 학습규칙이 간단하여 널리 이용되어 왔다. 신경회로망을 이용하여 시스템의 입출력 샘플을 학습함으로서 비선형 시스템을 모델링 할 때에, 시스템의 자코비안이 이용가능한 경우가 있다. 혹은 어떤 경우에는 입출력 데이타로부터, 비록 잡음이 있기는 하지만, 자코비안을 추출할 수 있는 경우도 있다. 이 경우에 입출력 모델을 배우는 신경회로망에 자코비안을 같이 학습 시켜줄 수 있다면 여러가지의 효과를 기대할 수 있다. 이를 위하여 이 논문에서는 먼저, 다층신경회로망의 자코비안을 계산하는 간단하면서도 효율적인 방법을 수식으로 표현하고, 이를 이용하여 자코비안 학습법을 유도하였다. 제안된 자코비안 계산법은 오차 역전파 학습에서 사용되는 매개변수들을 이용하기 때문에 계산이 간단하고, 이는 신경회로망의 역을 구하는 과정등에 효과적으로 쓰인다. 그리고 자코비안 학습법은 신경회로망의 학습속도를 현저히 높이며, 일반화 성능을 개선하는 등의 효과가 있는 것이 수치실험을 통하여 확인 되었다.
신경회로망을 이용하여 비선형 시스템을 제어하는 기본적인 구조는 역신경회로망을 구성하여 제어기로 이용하는 것이다. 이 방법은 구조가 간단하지만 역신경회로망의 학습시에 발생한 오차가 불가피하게 제어의 결과에 반영되는 단점이 있고, 불안정한 시스템이나 비최소위상 시스템의 제어에는 적합하지 않다. 이러한 역제어기의 단점을 보완하기 위한 제어 구조가 많이 제안되어 있는데 이들은 제어시스템의 안정성보장의 면에서 문제가 있는 등의 또 다른 단점들을 가지고 있다. 단지 비례미분제어기를 신경회로망 제어기와 같이 사용한 경우에 대하여서만 안정성이 증명되어 있다. 그런데 비례미분제어기는 위에 이야기한 학습시의 오차를 완전히 보상할 수 없다는 문제가 있다. 이 논문의 두번째 주제는 이러한 신경회로망의 단점을 보완하는 데에 있다. 이를 위하여 먼저 신경회로망을 선형화하고, 또한 뉴톤 방법을 이용하여 신경회로망의 역을 구하는 일반적인 방법을 제시하였다. 이렇게 역을 구하는 과정에서 자코비안의 계산방법을 이용한다. 이 방법은 역을 구하는 과정에서 불분명한 문제(ill-posed problem)를 최적제어의 입장에서 다룰 수 있는 방법을 제공한다. 그러나 단지 이렇게 시스템의 순방향 모델의 역을 구해서 제어입력으로 사용하는 것은 모델링 오차에 기인한 제어오차를 발생시키므로 이를 보상하기 위하여 적분제어기를 가지는 구조의 제어기를 제안하였다. 이 제어기는 역제어기와 적분제어기, 전방향 보상기(feedforward compensator)를 가지는 구조와 동일한 효과를 가지면서도 간단한 구조를 가지고 있다는 장점이 있고, 안정성을 증명하였다. 안정성의 조건은 시스템의 자코비안을 모사하는 정도에 관련된 문제이므로 자코비안의 학습이 중요하다.
최근 시간지연 제어기라는 알고리즘이 제안되었고, 이 방법은 불확실성이나 모델링되지 않은 동력학을 상쇄하는 효과를 나타낸다고 알려져 있다. 이 알고리즘이 사용하는 신호합성에 의한 적용은 비교적 늦은 변화에 대하여는 잘 적응하며 효율적이라고 알려져있다. 이러한 시간지연 제어기의 특성과, 학습에 의하여 대상시스템의 모델을 동정하는 신경회로망 모델을 결합하여, 두 방법의 장점을 가지는 제어구조를 제안하였다. 이 제어기는 초기에는 시간지연 제어기가 신경회로망이 발생한 모델링 오차 때문에 발생되는 제어오차를 보상하고, 시간이 지남에 따라 신경회로망이 모델링 오차나, 시스템의 변화를 학습함에 의하여 모델을 갱신함으로서 제어오차가 적어지는 구조이다. 이를 통하여 신호합성에 의한 적응과 제어이득의 적응이 동시에 이루어지는 효과를 얻을 수 있었다. 이러한 구조의 제어기의 안정성을 증명하였으며, 약한 조건을 만족하면 신경회로망 학습이 안정하다는 것을 증명하였다. 이 제어기의 안정성조건 역시 자코비안의 학습정도에 관련이 있으며 이 학습은 본논문에서 제안한 학습법을 이용할 수 있다. 또한 제어 입력을 계산하는 과정중 선형화된 모델을 구하는 과정에서 제안된 자코비안의 계산법이 이용된다.
이 논문에서는 신경회로망을 이용한 비선형 시스템의 모델링과 제어에 있어서의 자코비안의 역할에 대하여 연구하였다. 비선형 시스템의 모델링시 자코비안의 학습은 학습속도를 빠르게하고 일반화 성능을 촉진 시키는 효과가 있음을 보였고, 자코비안의 효율적인 학습방법을 유도하였다. 신경회로망을 이용한 비선형 시스템의 제어에 있어서는 보상된 역제어기를 제안하였고, 또 다른 형태의 제어기로서 신경회로망 모델러와 결합한 시간지연 제어기를 제안하였는데, 두가지의 제어기 모두 안정성은 자코비안의 학습정도에 관련된 것으로 밝혀졌으며, 신경회로망의 자코비안의 계산과 학습은 본논문에서 제안한 방법을 이용할 수 있다.
