Feedforward neural networks have been successfully applied to a variety of classification problems, but current-generation neural networks are reportedly inadequate for difficult problems in pattern recognition, regardless of implementation issues. In nontrivial problems, a single network trained with conventional framework would be large and would require a long training time, owing to the requisite size of the training data set. Indeed, straight-forward neural network approaches to pattern recognition, in general, seem tractable only for relatively rudimentary tasks.
In this thesis, we attempt to develop a pragmatic framework of methodologies for increasing the efficiency of training process and improving the generalization capability of neural network classifiers. Our methodologies are devised for resolving problems primarily in three areas: learning, architecture, and data representation. For learning we present a rapid learning method based on Aitken's $\Delta^2$ process and a training schedule called selective reinforcement learning; for architecture, a multistage classification scheme, a multiple network scheme, and a weight matrix reduction scheme; and for data representation, a data generation method that includes systematic noise into training samples and a preprocessing method by hidden Markov model.
In order to investigate the behavior of neural network classifiers with the proposed methodologies, we designed and implemented neural networks for recognizing printed Hangul (Korean script) syllables of which the images were obtained by an optical scanner, and for recognizing on-line handwriting characters obtained by an LCD tablet. Experimental results with the 990 most frequently used printed Hangul syllables and a large-set of on-line handwriting characters show the usefulness of the proposed methodologies.
신경망은 학습기능에 의하여 주어진 입출력의 연관관계를 자동으로 생성해 낼 뿐만 아니라, 자체의 일반화 특성과 결합극복 능력으로 기존의 계산방식으로는 해결하기 어려운 문제를 융통성있게 해결할 수 있는 방법으로 대두되고 있다. 특히, 적절한 조건하에서 학습된 신경망의 출력값은 주어진 입력값이 해당 부류에 속할 사후확률을 추정한다는 것이 증명되어 패턴인식의 문제에 널리 사용되고 있다. 하지만, 현실적인 문제를 해결하는데 간단한 문제에서 사용하는 것과 같은 단순한 적용으로는 학습시간이 너무 많이 소요될 뿐만 아니라 일반화 성능도 크게 떨어지는 단점이 있다. 본 논문에서는 신경망을 분류기로 사용하여 현실적인 문제를 해결하고자 할 때 발생하는 학습 알고리즘의 계산 복잡도를 현실적으로 극복하고 학습된 신경망의 성능을 개선하기 위한 방법론들을 제안한다.
논문의 기본구성은 신경망 적용의 세가지 측면, 즉 신경망의 학습과 구조 및 데이타의 표현방법에 대해서 각각 유용한 방법론들을 개발하는 것이다. 먼저 학습에 있어서는 기존 방법론들을 세가지의 부류로 나누어 각각의 장단점을 비교한 후, 수치해석에 기반한 방법으로 Aitken의 $\Delta^2$과정을 이용한 빠른 학습방법을, 학습전략에 기반을 둔 방법으로는 선택적 재학습 방법을 제안한다. 벤치마크 문제에 대한 실험결과 Aitken의 $\Delta^2$ 과정을 이용한 학습방법이 가장 빠르게 수렴하였으며, 선택적 재학습 방법은 좀처럼 국부 최소점에 빠지지 않는 안정된 결과를 보여주었다.
다음으로 신경망의 구조 설계방법으로는 다단계 구조와 다중 구조, 그리고 연결강도의 축소법등을 제안한다. 다단계 구조는 문제를 분할하여 복잡도를 낮춘 후 각각을 모듈화 신경망으로 학습시키는 방식이고, 다중 구조는 조건에 따라서 여러개의 신경망을 구축한 후 이들을 효과적으로 결합하여 신뢰도 높은 결과를 얻어내는 방식이다. 특히, 다중구조에서 각 신경망의 중요도를 고려하여 결합할 수 있는 방법으로 퍼지적분에 의한 방법론을 제안한다. 연결강도의 축소법은 이와는 달리 학습된 신경망에서 불필요한 연결선을 제거함으로써 일반화 정도를 향상시키는 방법이다. 세번째로 데이타의 표현방식에 대해 서는 주어진 학습 데이타로 부터 체계적인 변형을 가해 추가적으로 학습 데이타를 생성하는 방법과 은닉 마르코프 모델을 이용하여 시간적인 변형을 흡수하는 방법을 제안한다.
이러한 방법론들의 유용성을 입증하기 위해서 실제로 인쇄체 한글문자와 온라인의 필기체 영문자를 인식하는 문제에 적용하여 보았다. 990자의 한글문자 인식문제에 적용한 결과 선택적 재학습으로는 거의 2배 이상의 학습속도 개선을 가져왔으며, 학습된 신경망에서 불필요한 연결선을 제거한 후에 인식률의 변화정도를 관찰한 실험에서는 전체 연결선의 64% 정도를 제거한 후에도 인식률이 거의 저하되지 않았다. 또, 상하좌우로 변형을 첨가한 학습의 경우에는 전체 인식률을 98.28%까지 높일 수 있었다.
온라인 필기문자의 인식문제에 대해서는 다단계 구조로 시스템을 구성한 경우에 일반화 성능이 높아짐은 물론이고 전체 시스템을 학습시키는데 소요되는 시간이 크게 감소되었다. 또, 다중 구조에서는 퍼지적분을 사용하여 각 신경망의 신뢰도를 고려하여 결합시킨 경우에 높은 통계적 유의수준으로 인식률이 향상됨을 볼 수 있었다. 더 나아가서 은닉 마르코프 모델을 결합시킨 방법은 시간적인 변형을 효과적으로 처리하여 시스템의 성능을 개선시킬 수 있었다.
