The proposed chaotic neuron has an internal dynamics, which is represented by the form of linear self-feedback and nonlinear self-feedback. Nonlinear self-feedback, as a product of a switching function and Gaussian function, has an effective value near the origin. Judging by externals, a neuron with negative nonlinear self-feedback is denoted as M1, while a neuron with positive one is denoted as M2. The ouput of M1 has a continuous value using sigmoid function, where as the output of M2 has 1 or 1 using sign function. Chaos is only evoked near the origin and its functional role is to divide the input space into two regions of positive and negative with an ambiguous intersection. Local minima problem, posed in gradient-based search, is solved using M1. For an unstructured search space the proposed local minima free search algorithm using M1 activates the search agent to jump from current configuration when the gradient-based algorithm get stuck in a local minimum. To accommodate the amount of chaotic jump to the search space an adaptation scheme, which increases the expectation value of the chaotic jump, is proposed by investigating the order statistics of multiple trials numerically. Bidirectional associative memory (BAM) is an important neural network model, which can be employed to model human thinking and machine intelligence by association. Owing to its lowest connection complexity, guaranteed convergence and stronger error-correction capability, BAM has attracted particular attention in neural network research. However, BAMs suffer from low storage capacity. Furthermore, all the bidirectional associative memories with neurons of Hopfield type are internally static at the neuron-level, so that an input pattern in X-layer cannot be learned with multiple output patterns in Y-layer. Learning process itself is impossible because multiple access with a key pattern cannot be represented by any function. Chaotic neural network as a BAM consists of two layers with m chaotic neurons in X-layer and n chaotic neurons in Y-layer, fully interconnected interlayer weights, and partially connected intralayer weights. Based on Pontryagins minimum principle, the interlayer weights are learned to satisfy the linear separability condition, so that the storage capacity is comparable to, and even exceeds to, the number of neurons in the layer. Selection mechanism of the chaotic neurons inputs makes the proposed dynamic BAM (DBAM) has a salient feature to access multiple memory pairs. The DBAM with intralayer weights plays a role to model a concentration and distraction in human thinking.
제안된 혼돈 뉴런은 내부적으로 동역학을 가지고 있으며 이는 선형 되먹임과 비선형 되먹임으로 표현된다. 비선형 되먹임 항은 가우스 함수와 스위칭 함수의 곱으로 표현되어 원점 근처에서만 의미 있는 값을 가진다. 외형상으로 볼 때 비선형 되먹임 항이 음이 되는 뉴런을 M1, 양이 되는 뉴런을 M2라 명명하였다. M1은 출력 함수로서 시그모이드 함수를 사용하여 연속적인 값을 가질 수 있으며, M2는 sign함수를 사용하여 1 또는 -1의 두 값만을 가질 수 있다. 혼돈 뉴런의 내부 동력학의 입출력 관계를 보면 혼돈은 원점 부근에서만 일어나며, 원점에서 멀어질수록 입력과 출력은 거의 같은 값을 갖는다. 혼돈 뉴런의 평형점에 대한 분석으로부터 혼돈이 일어나는 메커니즘을 규명하였으며, 두 뉴런간의 상호 작용에 따른 영향에 관하여 분석하였다.
혼돈 뉴런 M1은 경사 탐색법에 있어서 가장 큰 문제인 국부 최소점 문제를 해결하는데 이용되었다. 경사 탐색법은 최적화 문제에 있어서 최적화 대상 함수의 경사정보를 이용하는데 이러한 경사값이 0이 되는 부분이 여러 개가 존재하는 경우 탐색법은 최적의 해를 찾지 못하는 경우가 있다. 이러한 경우에 혼돈 뉴런의 동역학을 이용하여 경사값이 0인 부분에서 발생된 혼돈적인 값을 이용하여 탐색법이 국부 최소점에서 탈출할 수 있도록 하는 방법이 제안되었다.
연상·기억 모델은 컴퓨터에서 사용되는 기억 소자와는 달리 내용을 가지고 기억을 추출한다는 면에서 사람의 기억 모델이나 기계에 지능을 심는 수단으로 널리 이용되고 있는 신경 회로망의 일종이다. 양방향 연상 기억 모델은 연상 기억 모델의 기억 추출에 있어 양방향의 동역학을 이용하여 저장된 기억쌍을 추출한다는 의미이며, 표현되는 신경 회로망의 크기에 비해 저장할 수 있는 기억 용량이 적다는 단점과 하나의 입력에 대하여 여러 개의 기억을 추출하는 다중 연상이 불가능하다는 단점을 가지고 있다.
