In this thesis we have developed two neural network models, which not only provide robust hetero-association and classification performance but also are suitable for hardware implementation.
The multi-layer bidirectional associational associative memory (MBAM) is an extension of Kosko's bidirectional associative memory (BAM) into multi-layer architecture, of which synapses are defined as sum of vector outer products. By storing the binary vectors, one can emulate multi-valued synapses with only binary storages for easy hardware implementations. To train the MBAM one need adjust the binary vectors by genetic algorithm or simulated annealing. A new error term is added to push the hidden-layer activations into saturation regions, which reduces effects of hard-limiting nonlinearity, instead of Sigmoid nonlinearity, at practical hardware implementations. Computer simulation and VLSI hardware implementation demonstrate much better performance than single-layer BAM. Also the bidirectional recall process provides much better error correction capability than multi-layer Perceptron.
The additional hidden-layer error is also introduced to train multi-layer Perceptron for good generalization and robust classification. Good generalization is achievable only with proper combination of the training data size, the underlying problem complexity, and the network complexity.
Unlike other methods which reduce network complexity to improve generalization by putting restrictions on synaptic weights, this algorithm increases complexity of the underlying problem by imposing appropriate additional requirements on hidden-layer neurons, i.e. low output sensitivity to the input values or equivalently saturation of hidden-layer activations. Learning is based on gradient-descent error minimization, and the additional gradient-descent term turns out to be Hebbian. Hence this new algorithm incorporates both the error back-propagation and Hebbian learning rules. The developed hybrid learning algorithm also speeds up learning convergence due to the feature extraction capability of the Hebbian learning. In addition, for many practical hardware implementations, the network complexity is already determined by the hardware itself and one would like to fully utilize existing hardware capability. Computer simulation demonstrates much faster learning convergence, improved robustness, and increased fault tolerance for classification and hetero-association problems.
본 논문에서는 두가지의 신경회로망 모델을 개발하였는데, 이들은 분류기와 연상기억 등에 robust한 특성을 줄 뿐만 아니라 하드웨어 구현에 적합하다.
다층구조 양방향 연상기억 (MBAM) 모델은 Kosko의 양방향연상기억 (BAM) 모델을 다층구조로 확장한 것으로, 시냅스는 벡터의 외적의 합으로 정의된다. MBAM 에서는 이진벡터들을 저장하여 Multi-value 시냅스값을 취할 수 있도록 함으로 하드웨어 구현에 적합하다. MBAM 학습은 유전 알고리즘(Genetic algorithm)이나 시뮬레이티드 어닐링 방식으로 이진벡터들을 조정함으로 이루어진다. 이 모델에서 도입된 새로운 오차항은 은닉층의 활성화 값을 포화영역 (saturation region)으로 가도록 유도하는 역할을 함으로 실제 하드웨어 구현에서 Sigmoid의 비선형 특성을 대신하여 사용된 하드리미트 비선형 특성의 효과를 줄여 준다.
컴퓨터 시뮬레이션과 하드웨어 실험은 단층구조 형태의 BAM보다 훨씬 우수한 성능을 보여준다. 또한 연상시에 양방향특성은 오차 보증능력을 증가시켜준다.
새로 도입된 부가적인 은닉층 오차의 개념을 generalization과 robustness 특성의 향상을 위해서 다층구조 퍼셉트론에도 적용하여 보았다. 일반적으로 우수한 generalization 능력은 단순히 학습데이타의 양, 문제의 복잡성(complexity), 그리고 네트워크의 복잡성 등의 적절한 조합에 의해 얻을 수 있다.
Genralization 능력을 향상시키기 위해 네트워크의 시냅스에 제한을 줌으로 네트워크의 complexity를 줄이는 기존의 방식과는 달리 은닉층의 뉴런에 부가적인 제한성을 적절히 가함으로 주어진 문제의 complexity를 향상시켜서 입력에 대한 출력의 sensitivity를 줄이는 효과를 가져오게 하였다. 즉, 은닉층의 활성화 값을 포화영역으로 유도함으로 이 결과를 얻는다. 학습은 gradient-descent항이 Hebb법칙을 따른다는 것이 입증되었다. 따라서, 제안된 알고리즘은 오차역전파 법칙과 Hebb법칙이 동시에 적용되는 복합학습 법칙의 결과를 가져왔다. 개발된 학습 알고리즘은 Hebb학습법칙이 갖는 특징추출 기능을 가지고 있으므로 기존의 오차역전파 학습법칙의 느린 학습속도의 향상을 가져왔다. 더우기, 실제의 많은 하드웨어 구현에서는 네트워크의 complexity가 설계될 때 이미 주어지는데, 기존의 설계된 하드웨어 기능을 충분히 활용하기를 원한다. 제안된 알고리즘은 분류기와 연상기억 메모리 문제에 적응한 결과 다층구조 퍼셉트론보다 학습속도, robustness, fault tolerance 면에서 훨씬 우수한 결과를 보였다.