Recognition of unconstrained handwriting is a challenging task since writers may mix different styles, connecting characters and delaying strokes to continue writing next characters. Several difficulties are anticipated in developing successful recognizers for truly unconstrained handwritings. The first sort of difficulties is due to large shape variations of mixed character styles. The second sort of difficulties lies in the segmentation of cursively handwritten words into individual characters. The third sort of difficulties is due to ligatures, which are formed at the end of character strokes by dragging pen into next character without pen lift. Successful recognizer should be capable to separate character parts from ligature parts to ease the character recognition task. Handling delayed stroke is another difficulty.
In this thesis, we proposed an approach for recognizing unconstrained handwritten English words using circular interconnection of hidden Markov models (HMMs). Hidden Markov modeling is the most popular stochastic approach, successfully applied in speech recognition systems and recently being applied for character recognition problems. In order to model words of indefinite length, we interconnected character models circularly with intermediate ligature models. It is based on the view that a handwritten word is an alternating sequence of character and ligature. With the interconnected network of HMMs, the recognition problem is regarded as finding the maximal probability path from the initial state to the final state through HMMs for the given input sequence. From the maximal probability path which consists of an alternating sequence of character HMMs and ligature HMMs, optimal segmentation and associated character labels are obtained simultaneously. Such a network approach allows a natural combination of recognition with post processing utilizing language models.
In the word recognition experiments, a lexicon of about 25,000 words was used. For the training data, 11,002 characters and 4,505 ligatures from eight writers were used. Part of character data and all the training data for the ligature model were acquired by manual segmentation of unconstrained hand-written words. For 728 words (71 distinct words) written by three writers, we got 80.49% word recognition rate for the best choice and 90.66% for the top 5 candidates with the ligature modeling. It was observed that ligature modeling improved the recognition rates by 6.31%, reducing 24.44% of error rate. We also achieved reasonable segmentation results without an explicit character segmentation method.
무제약 필기의 인식은 도전해볼 만한 연구 과제인데, 왜냐하면 필기자가 다른 유형의 문자 모양을 혼합해서 필기하고, 인접 문자를 떼어서 필기하거나 펜을 들지 않고 연결해서 필기하기도 하는 어려운 문제이기 때문이다. 이러한 무제약 필기를 인식하는 성공적인 인식기를 개발하는 데에는 몇가지 어려움이 예견된다. 첫번째 어려움은 혼합된문자 필기의 변형이 크다는 것이다. 두번째 어려움은 필기 단어를 문자별로 분리하기가 용이하지 않다는 것이다. 세번째 어려움은 필기 문자 사이에 존재하는 연결획의 처리 문제이다. 성공적인 인식기는 또한 지연획의 처리도 해결해야 한다.
본 연구에서는, 순환적으로 상호 연결된 은닉 마르코프 모델을 이용하여 무제약 필기 단어를 인식하는 방법을 제안하였다. 은닉 마르코프 모델을 음성 인식 분야에 적용되어 좋은 결과를 보여주고 있고, 최근에는 문자 인식 분야에 적용되고 있는 확률적 모델링 방법이다. 필기 단어를 문자와 연결획이 교대하는 연속이라고 보고, 정해지지 않은 길이의 필기 영어 단어를 모델링하기 위해 순환적으로 연결된 은닉 마르코프 모델로 네트웨크를 구성하였다. 그러면 인식 문제는 네트웨크 상에서 주어진 입력 데이타에 대한 최대 확률을 갖는 경로를 탐색하는 문제로 간주된다. 그 최적 경로로 부터 문자열의 레이블과 최적 문자 분리 결과를 동시에 얻는다. 이러한 방법은 인식 단어의 가능성이 확률로 구해지기 때문에 언어모델과 자연스럽게 결합할 수 있다.
단어 인식 실험에서 25,000단어의 사전을 사용하여 실험을 하였다. 8명이 필기한 11,002 문자와 4,505 연결획 데이타를 훈련에 사용하였는데, 문자 데이타의 일부와 연결획 데이타는 수작업으로 필기 단어를 문자 부분과 연결획 부분으로 분리함으로써 획득하였다. 728 단어에 대한 인식 실험 결과 80.49%의 정인식률과 90.66%의 5후보 인식률을 얻었는데, 이것은 연결획을 모델링하지 않았을 때보다 오인식의 24.44%를 감소시켰다. 문자 단위의 외부 분할 기법 없이 좋은 문자 분리 결과도 동시에 얻었다.
