Handwriting is convenient to input mathematical expressions(MEs) into computers, since MEs have two-dimensional structures that make writers uncomfortable to use keyboard and mouse based input systems. Although many studies developed handwritten ME recognition, it is still hard to obtain robust recognition results for complex input MEs.
Utilizing context can help improve recognition accuracy of handwritten MEs, since contextual information can resolve ambiguities in MEs. However, learning ME context from data is not a practical approach, since MEs need much larger corpus than natural languages due to lack of syntactic information, two dimensional structures and larger set of symbols.
This paper presents a novel approach that utilizes contextual information to improve the accuracy of handwritten mathematical expression(ME) recognition. First we present examples of consistencies from customary usages and general patterns in MEs. We aim to increase these consistencies in recognition result MEs by correcting both symbols and structures using not only local(distance dependent) context but also global(distance independent) context in a entire input. To do this, we represent a ME as a score and revise the score by checking consistencies.
Experimental results show that our approach is useful to increase the performance of handwritten ME recognition systems
본 연구에서는 수식에서 존재하는 문맥 정보를 활용하여 필기 수식 인식 시스템의 성능 향상을 도모하였다. 수식 인식은 비슷한 모양의 많은 기호를 포함하고 정해진 단어의 집합이 없으며 2차원 구조를 지니기 때문에 매우 높은 복잡도를 가지는 문제이다. 이러한 수식에서 문맥 정보를 활용하는 것 역시 어려운 문제로서, 자연언어처리 분야에서 데이터로부터 문맥을 학습하는 방법을 적용하기에는 훨씬 큰 데이터가 필요하고, 자연언어에서는 고려하지 않는 전역적 문맥 정보의 활용이 필요하기 때문에 사실상 불가능하다. 현재까지 이루어진 수식에서의 문맥 연구는 특정한 기호에 국한된 문법이나 지식을 구현하거나 빈번히 등장하는 기호 순서를 고려해 기호의 레이블을 교정하는 수준으로 이루어졌다. 본 연구에서는 이에 대한 대안으로 효과적인 규칙에 의한 수식 문맥을 구현함으로써 실재 필기 수식 인식 시스템에 적용하여 인식 성능을 향상시키는 것을 실현하였다. 첫 단계로 수식에서 존재하는 전형적인 일관성의 종류를 살펴보고 그 중 일부를 구체화하여 실제로 활용하는 것을 목표로 하였다. 문맥 정보를 통해 기호의 교정뿐 아니라 기호간의 위치관계 역시 교정 목표에 포함함으로써 문맥 정보 활용을 극대화하였다. 수식에 존재하는 많은 일관성들은 수식을 작성할 때 사용되는 관습적인 용법에 기인한다. 이러한 일관성들을 그 성질에 따라 분류하고, 각 일관성의 측정에 대한 적절한 기준을 제안해 주어진 수식을 일관성을 측정하고, 높은 일관성을 가지는 수식을 우선 순위가 높은 인식 결과가 되도록 하여 문맥 정보 활용 방법을 제안하였다. 제안한 방법을 탐색 기반의 필기 수식 인식 시스템에 구현하여 문맥 정보 비 활용 시와 활용 시의 인식 성능 차이를 보임으로써 필기 수식 인식 성능 향상에 중요한 정보가 된다는 것을 보였다.