In this thesis, a methodology for integrating knowledge-based techniques into connectionist approaches for visual pattern recognition is presented. We first propose a connectionist model called Adaptive Inference Network (AINET) which has expert system capability as well as instance-based learning capability.
The proposed model has acyclic feedforward network structure and can be trained by Back-Propagation learning algorithm. In the model, there are two types of connections which represent the fuzzy relations between feature variables. We discuss the role of the dual connections in comparison with the conventional neural network models.
We describe the network structure and behavior, the learning method, and other features of the proposed model, and then introduce a knowledge representation technique based on fuzzy relations and a knowledge utilization method in the learning process. To evaluate the usefulness of the model for the practical applications, we consider a pattern recognition system model which consists of two stages : feature extraction stage and classification stage. For the feature extraction stage, modular structure neural networks and conventional approaches are used together to extract the features more effectively.
The proposed model exhibits four major characteristics: 1) logical inference ability, 2) knowledge acquisition by learning, 3) performance improvement by utilizing expert knowledge and 4) the capability of explaining about the final decisions. Networks for simple logical operations such as AND and XOR functions are illustrated to evaluate these effects.
Some advantageous features of the proposed model for the general pattern recognition applications are also discussed in this thesis. First, the model upgrades the learning speed in comparison with the ordinary Multi-Layer Perceptron which is the most popular neural network model. Second, the model provides the useful facilities for rule validation and refinement, and learning data validation. Additional learning can be carried out more effectively by these characteristics. Methods and algorithms for them are presented in this thesis.
From the results of the typed or handwritten digit recognition, the feasibility of the proposed model is evaluated.
본 논문에서는 패턴인식 문제에서 지식기반형 접근방식과 신경회로망 접근 방식을 상호 결합하는 방법론을 제시하였다. 이를 위해 적응형 추론 네트워크라 불리는 신경회로망 모델을 제안하였는데 이는 전문가 시스템의 추론 능력과 예제기반 학습 능력을 제공한다. 제안된 모델은 사이클이 없는 전방향성 네트워크 구조를 가지며, 역전파 알고리즘에 의해 학습된다. 이 모델은 특징 변수들간의 퍼지관계를 표현하는 두가지 유형의 연결구조를 가진다. 이러한 이중연결구조의 역할에 관하여 기존의 신경회로망의 경우와 비교, 고찰하였다. 본 논문에서는 제안된 네트워크 모델의 구조 및 동작특성, 학습 알고리즘 등을 기술하고, 학습과정에서 전문가의 지식을 활용하는 방법론으로서, 퍼지관계 형태의 지식표현과 이에대한 활용방법을 제안하였다. 제안된 모델의 유용성을 실제 패턴인식 시스템을 대상으로 보이기 위하여, 두개의 모듈 구조로 이루어지는 패턴인식 시스템을 고려하였다. 이는 특징추출 단계와 분류단계의 두 단계로서 구성된다. 특징추출 단계에서는 모듈구조의 신경회로망과 기존의 프로그램 방식을 병행하여 사용함으로써 주어진 특징들을 효과적으로 추출할 수 있도록 하였다.
제안된 모델의 특성은 네가지로 요약될 수 있는데, 논리적 추론 기능, 학습에 의한 지식의 획득, 전문가 지식의 활용에 의한 성능의 개선 및 결과에 대한 설명기능 등이다. 이들 각각에 대하여 간단한 논리 연산인 AND 및 XOR등의 예로서 제안된 이론의 타당성을 고찰하였다. 패턴인식의 문제에 대하여, 제안된 모델은 유용성은 다음 두가지로 요약된다. 우선 가장 일반적으로 사용되는 신경회로망 모델인 다층퍼셉트론에 비하여 보다 효율적인 학습이 가능하다. 두번째로는 효과적인 학습을 위하여 주어진 지식 및 학습데이타에 대한 검증기능을 제공하며, 신경회로망의 학습 상태를 구체적으로 평가할 수 있게 함으로써 추가학습이 용이하다는 점을 들 수 있다. 본 논문에서는 이들 각각에 대하여 방법론 및 알고리즘을 제시하고, 필기체 숫자 인식시스템을 대상으로 한 실험결과로부터 제안된 각 이론들의 타당성을 실험적으로 보였다.
