This paper describes a system that traces handwriting made on paper document under overlooking video camera. This work is motivated to capture annotations on paper documents made by ordinary pen as an input to computer. As the trajectory of the pen tip is extracted from the video, each part of the trajectory is classified as ‘pen-down’ or ‘pen-up’, according to whether the part makes a dark line.
Detecting written inks is not simple when handwriting is made over printed documents. Because written inks may fall on dark regions of the document and often overlap previously written inks, simple background checking may not work on dark regions. So, the decisions at the entering and the exiting of the dark region are interpolated to the dark region.
The system makes two-level decisions to achieve both speed and accuracy. The classifier makes quick decisions based on local information in order not to lose pen trace. The local pen up-down decisions are corrected in the global point of view when the whole information of the writing process is available, such as when the hand is out of the view. Experimental result shows that the system detects handwritings accurately even on printed documents.
본 연구에서는 카메라를 이용한 인쇄문서 상의 필기궤적 복원 방법을 제안하였다. 사용자가 필기하는 동안 그 과정을 카메라로 입력 받으면, 그 일련의 영상으로부터 펜 궤적이 자동으로 추출된다. 추출된 펜 궤적은 pen-up/pen-down 분류에 의해 pen-up 부분과 pen-down 부분 분류된 뒤 실제 필기궤적을 나타내는 pen-down 부분만이 남겨진다. 이 과정에서 처리 속도와 성능을 모두 높이기 위해 두 단계 결정을 이용한다. 첫 단계로, 사용자가 필기를 하는 동안, 지금까지 쓰여진 부분에 대해 현재 구적 선분 주변의 정보만을 이용하는 지역적 pen-up/pen-down 분류를 적용함으로써 빠른 처리가 가능하다. 두 번째 단계로, 모든 필기과정이 끝난 후에, 전체 펜 궤적에 대해 전체 펜 궤적 정보를 종합해서 이용하는 전역적 pen-up/pen-down 분류를 적용함으로써 분류의 정확도를 높일 수 있다.
인쇄문서에서 인쇄된 잉크와 쓰여진 잉크를 구분하고, 궤적이 어두운 영역(인쇄된 잉크 영역)을 지나가는 경우에는 펜 궤적이 어두운 영역으로 들어가기 직전과 그 영역에서 나온 직후에 쓰여진 잉크의 존재 여부를 보고 그 상태를 어두운 영역으로 내삽하는 방법을 사용함으로써 백지 위에서의 필기뿐만 아니라 인쇄 문서 위에서의 필기에 대해서도 필기궤적을 복원하는 것이 가능하다.
