Modeling nonlinear dynamical systems has been an important issue in many application areas such as control, communication and signal processing. Most of these problems demand nonlinear adaptive systems which can approximate systems only from observed data. Several methods have been developed to characterize such systems.
One way to approximate dynamical systems is to use recurrent neural networks (RNNs), which are used in various fields because of their powerful ability to approximate any kind of dynamical systems. The general disadvantage of using neural networks is that they lack the internal representation. For a discrete dynamical system having finite numbers of symbols of an input and an output and a finite number of states, a finite state machine (FSM) can be applied to identify the system. Unlike RNNs, FSMs are able to easily grasp the system's internal structures.
However, it is essential to know the internal structure of the system when implementing FSMs, so it is difficult to implement FSMs by only knowing its inputs and outputs. Therefore, we suggest a new RNN having internal states to approximate such a discrete dynamical system: First we approximate a discrete dynamical system using a RNN with only input and output data, analyze the internal structure of the RNN, from which we derive a state diagram, and finally implement the system using the neural FSM. Accordingly, an inverse of a FSM which is another neural FSM can be trained with the input and output sequences generated from an obtained neural FSM by changing the input and output sequences. We showed that the neural FSM is suitable for characterizing discrete dynamical systems.
비선형 동적 시스템을 모델링하고 동정화하는 것은 제어나 통신, 신호처리 등의 많은 분야에서 사용된다. 이런 문제를 해결하는 많은 경우에 선형 시스템만을 사용해서는 해결할 수 없는 경우가 생기며 이는 비선형 적응 시스템을 적용함으로써 해결될 수 있다. 시스템의 입출력을 특성화하는, 다시 말해서, 시스템을 근사화하는 많은 방법들이 현재까지 개발되었다.
동적 시스템을 근사화하는 방법 중의 하나는 회귀 신경 회로망(recurrent neural network, RNN)을 이용한 근사화이다. 회귀 신경 회로망은 어떤 형태의 동적 시스템이든지 근사화할 수 있는 강인한 능력을 갖고 있어서 동적 시스템을 근사화하는 데에 널리 사용되는 방법이다. 그러나 회귀 신경 회로망을 사용해서 시스템을 근사화하면 얻어진 회귀 신경 회로망을 갖고 시스템 내부 구조를 알아내기 힘들다는 단점이 있어 왔다.
동적 시스템이 특별히 이산 시스템일 때에는 유한 상태 기계(finite state machine, FSM)를 이용한 근사화를 들 수 있다. 입력과 출력의 기호가 한정되어 있는 경우에 시스템이 유한한 상태를 갖는다고 가정하면 유한 상태 기계를 이용한 근사화가 가능하다. 유한 상태 기계는 회귀 신경 회로망과 달리 내부 구조 파악이 매우 쉬우며 게이트와 플립-플롭으로 간단하게 구현할 수 있다. 그러나 유한 상태 기계를 구현하기 위해서는 내부 구조를 표현하는 상태 전이표나 상태 전이도(state transition diagram)을 알아내는 것이 필수적이다. 그러나 단순히 시스템의 입출력만을 알고 유한 상태 기계를 구현해내기는 힘들다.
여기서 우리는 회귀 신경 회로망의 강력한 근사화 특성과 유한 상태 기계의 구조적 용이성을 합친 새로운 이산 동적 시스템의 근사화 방법을 생각해낼 수 있다. 시스템을 회귀 신경 회로망으로 근사화하고, 그 내부 구조를 분석하고, 그런 다음 분석한 결과를 이용해서 상태 전이도를 얻어내고, 마지막으로 얻어진 상태 전이도를 이용해서 유한 상태 기계를 구현하는 것이다. 여기서 사용되는 회귀 신경 회로망은 동적 시스템을 근사화하는 데에 적합한 형태를 지닌 새로이 제안된 회귀 신경 회로망이다. 이 방법을 이용하면 유한 상태 기계의 역이 존재하는 경우 역 유한 상태 기계도 설계할 수 있다. 처음에 입력과 출력을 뒤바꾼 채로 회귀 신경 회로망을 학습시키고 나머지 과정을 따르면 유한 상태 기계의 역이 구해지는 것이다. 이 논문에서는 위에서 설명한 내용을 토대로 입력과 출력이 주어졌을 때 그 입출력간 관계를 만족시키는 유한 상태 기계를 구하는 알고리즘을 주로 다룬다.
