Text separation in natural scenes is a crucial step to recognize scene text. Since computational power in a mobile device is limited, current text extraction methods are impractical in real-time devices. We propose an efficient text extraction method and scene text recognition system by utilizing user`s indication.
When the user simply draws the line on touch screen, the system can extract text in natural scenes efficiently using this information. Text region is estimated from user`s touch and color candidates are extracted. After that, the system chooses color candidates which have high probability of texts. By using the assumption that the text components are aligned along the line, we verify the true text region between text candidates. Finally, we expand text region to deal with partially drawn lines and severe color gradation.
In the experiments on ICDAR 2003 database, our method demonstrated effective performance. Additionally, we showed usability of our method in a portable device by implementing demonstration system.
영상 혹은 문서 내부에서의 문자열은 명확하고 구체적인 정보를 담고 있는 경우가 많으므로 이를 제대로 인식할 수 있다면 여러 분야에서 유용하게 사용할 수 있다. 만약 영상 내에서 글자 영역을 효율적으로 추출해 낼 수 있다면 이를 통해 쉽게 문자열을 인식할 수 있다. 하지만 일반적인 자연영상 내의 글자를 인식하는 것의 어려움으로 인해 영상 내 문자 인식에 대한 연구는 주로 정형화된 문서에 대해서만 수행되어 왔다. 최근 들어 휴대용 기기의 폭발적인 보급과 함께 휴대기기에서의 문자인식에 대한 관심이 증가하고 있다. 하지만 휴대기기의 제한된 연산 능력은 문자인식을 어렵게 한다. 본 논문은 사용자의 입력을 통해 자연영상 내 문자 영역 추출의 계산량을 줄이고, 사용자의 관심사가 아닌 영역을 제거함으로써 오인식을 줄이는 효과를 얻고자 한다.
터치스크린을 활용하여 사용자가 문자 영역 위에 손가락으로 그어준 선 정보를 이용하여 문자 영역 추출을 효율적으로 수행할 수 있다. 이 인터페이스는 사용자에게 있어 직관적이고 편리할 뿐만 아니라, 여러 줄의 문자열이나 기울어진 문자열 또한 쉽게 처리할 수 있다.
원본 영상과 함께 사용자가 그어 준 선 정보가 입력되면, 대부분의 문자 영역이 선 주위에 존재한다고 가정하여 선 주변의 픽셀들을 샘플링한다. 글자 색상이 선 주변에 많이 나타날 가능성이 높으므로 클러스터링 방법을 통해 실제 글자 색상과 유사한 후보 색상을 찾아낼 수 있다. 이후 복잡한 배경에 대응하기 위해 적응형 이진화 방법을 통해 글자 컴포넌트들을 추출한다. 이진화 시에는 HCL 색상거리를 사용하여 조명변화에 강인한 결과를 얻는다. 각각의 후보 색상을 통해 추출된 문자열 후보 중에서 하나의 이진화 결과를 얻게 되는데, 이때는 기본적인 문자열의 형태상의 특징과 함께 사용자가 입력한 선 정보를 활용하여 문자열을 선택한다. 최종 문자열을 구한 후에는 좌우 문자 영역을 확장함으로써 좌우 문자 영역의 조명변화에 대응하고, 문자 영역의 일부에만 선이 그려졌을 경우에도 전체 문자열을 추출할 수 있다.
ICDAR2003 데이터베이스에서 선택된 70개의 이미지로 수행된 실험을 통해 본 방법의 우수성을 확인하였고, 실제 인식 시스템과 결합된 서버/클라이언트 형태의 데모 시스템의 구현 및 시연을 통해 실제 모바일 환경에서 제안된 시스템의 유용성을 확인할 수 있었다.
