In this thesis, a new method for modeling and recognizing cursive words with hidden Markov models (HMM) is presented. Hidden Markov models have been successfully applied to speech recognition tasks, and recently, there have been approaches for applying it to character recognition. However, it is difficult to find a system that extensively made use of the abundant experiences accumulated in speech recognition. We have employed HMM as the main statistical framework, utilizing many of the efficient tools provided in the literature. The framework is described in terms of three processes: Encoding, Modeling, and Recognition.
In the proposed method, a sequence of thin fixed-width vertical frames are extracted from the image, capturing the local features of the handwriting. Each frame is considered as a segmentation hypothesis by the recognition algorithm. This can be distinguished from the previous approaches with HMM, where the character segmentation points were heuristically hypothesized and, thus, had the risk of missing the actual segmentation points. By quantizing the frames, the input word image is represented as a Markov chain of discrete symbols.
A handwritten word is regarded as a sequence of characters and three types of character junctures. Therefore, the junctures are also explicitly modeled. This can be distinguished from the general view of regarding a word as a sequence of characters only. With this view, an interconnection network of character and juncture HMMs is constructed to model words of indefinite length. This model can ideally describe any form of handwritten words including discretely spaced words, pure cursive words, and unconstrained words of mixed styles. Each character and juncture models are trained with the Baum-Welch method.
The recognition algorithm follows the maximum a posteriori decoding rule. Various efficient implementations of the Viterbi search is proposed and evaluated. They are based on the forward and backward evaluation score. A simple binary n-gram language model has been merged into the recognition algorithm. As the recognition result, candidate words with corresponding scores and segmentations are obtained. An experimental system has been developed based on the proposed scheme. A set of experiments over the system have been conducted with a standard database to evaluate the performance of the overall scheme. Even though simple features were used, encouraging results were obtained. It has been revealed that explicit juncture modeling contributes to the improvement of recognition accuracies. The performance of various search strategies have been evaluated. Experiments on the use of a preclassifier based on global features show that this approach may be useful for even large-vocabulary recognition tasks.
본 논문에서는 은닉마르코프모델(HMM)을 이용하여 오프라인 필기단어를 모델링하고 인식하는 새로운 방법론을 제안한다. HMM은 그동안 성공적으로 음성인식 분야에 적용되었으며 최근에는 이를 문자인식에 적용하고자 하는 시도들이 있다. 그러나 음성인식에서 쌓은 풍부한 경험을 제대로 활용하는 예를 찾기는 쉽지않다. 본 논문에서는 HMM을 통계적인 프레임워크로 수용하였고 기존에 연구된 효율적인 알고리즘들을 적용하였다. 이러한 방법론을 부호화(Encoding), 모델링, 그리고 인식이라는 세과정으로 설명하였다.
제안된 방법에서는 입력 단어영상을 일련의 가늘고 긴 수직프레임으로 변환하고 각 프레임에서 국소정보를 추출한다. HMM을 방법론으로 하는 기존의 알고리즘에서는 일반적으로 휴리스틱을 사용하여 문자경계의 가설을 설정하므로 실제의 문자경계점을 놓칠 위험성을 포함하고 있는 데 반해, 제안된 방법에서는 각 프레임이 인식알고리즘에서의 문자경계후보가 되므로 보다 정확한 문자경계선을 찾을 확률이 높다. 각 프레임에서 추출된 특징벡터는 벡터양자화를 통하여 이산 심볼로 변환됨으로써 입력 단어영상은 이산심볼의 마르코프 체인으로 표현된다.
필기단어는 문자와 세종류의 문자연결부가 교대하는 순열로 정의되어 문자뿐만이 아니라 문자연결부 또한 직접적으로 모델링한다. 이러한 방법을 사용함으로써, 필기단어를 문자의 스트링으로 간주하는 일반적인 방법에 비해 더욱 섬세하게 필기단어를 모델링하게된다. 이러한 관점에서 임의의 길이를 가지는 필기단어를 모델링하기 위해 문자 HMM과 문자연결부 HMM을 상호연결하여 하나의 네트워크를 구성하였다. 이 모델은 문자간에 공간이 있는 단어, 순수한 필기체, 그리고 여려 형태의 필기형태가 혼합된 단어 등등 대부분의 유형을 처리할 수가 있다. 각 문자 및 문자연결부 모델은 Baum-Welch의 방법을 통하여 훈련된다.
인식 알고리즘은 Maximum a posteriori decoding rule을 따른다. 이에 바탕을 두고 전위 및 후위확률을 이용한 여러가지의 탐색 알고리즘을 제안하였고 실험을 통하여 이들의 성능을 비교 평가하였다. 탐색 알고리즘에는 간단한 이진 n-gram 확률이 포함되어 사전에 없는 단어는 미리 제거된다. 인식의 결과로는 여러개의 후보인식 단어와 스코어가 얻어진다.
제안된 방법론에 기초하여 구성된 실험적인 시스템을 이용하여 제안된 방법론을 평가하였다. 실험에 사용된 데이타는 일반적으로 많이 사용하는 표준 데이타베이스를 사용함으로써 실험의 공정성을 높였다. 실험 결과 간단한 특징만을 사용했는데도 불구하고 좋은 결과를 보여주어 가능성을 보였고, 직접적인 문자연결부 모델링이 인식률 개선에 도움을 준다는 것을 입증하였다. 또한 제안된 여러가지 탐색알고리즘을 평가하였으며, 전체적인 단어의 특징을 이용하여 단어사전을 필터링하는 실험은, 제안된 방법이 많은 어휘를 대상으로 하는 분야에도 적용될 수 있음을 보였다.
