In scene image, signboards contain rich information. They are distinctive one another and can be used to recognize the location. As similar research, there are traffic sign recognition and car license plate recognition. Both of them have much prior knowledge. Therefore top-down approach which detects region of object using shape and color information at first and recognizes is taken. However, for signboard recognition, prior knowledge can not be utilized because signboards have various shapes and colors.
This paper proposes bottom-up approach that extracts local features and verifies global consistency. SIFT is used as a local feature. At first, local features in query images are matched with pre-extracted features in template images. Matching results of local features contain some errors. By searching proper homography between query image and template image, we can verify global consistency of matching results. For further verification, we compared color of each pixel in template image with that of corresponding pixel in query image.
For robust recognition of perspectively-distorted signboard, we generated several perspective shapes of templates by adjusting parameters of perspective transform. For fast recognition, we used 2-phase method in the matching of template images and query image.
In our experiment, the proposed method shows maximum 95\% recognition rate on high quality images.
일반 영상에서, 간판은 중요한 정보를 포함하고 있다. 제한된 지역 내에서는 동일한 간판은 존재하지 않기 때문에, 간판은 위치를 인식하는데 중요한 단서가 된다. 비슷한 연구로서, 교통 표지판 인식과 자동차 번호판 인식이 수행되고 있다. 두 경우는 모두 풍부한 사전 정보를 가지고 있으므로, 영상내에서 모양이나 색상 정보를 통해 물체의 위치를 검출하고 인식을 하는 하향식 방법이 사용된다. 하지만 간판은 다양한 종류가 존재하므로 사전 정보를 활용할 수 없다.
본 논문에서는 지역적 특징을 추출하고 전역적 일관성을 검사하는 상향식 방법의 간판 인식을 제안한다. 지역적 특징으로서 SIFT가 사용된다. 질의 영상에서 지역적 특징이 추출되고 원형 영상으로부터 미리 추출된 지역적 특징과의 매칭이 수행된다. 지역적 특징의 매칭에는 잘못된 결과가 포함되므로, 질의 영상과 원형 영상 간의 적절한 변환 모델을 탐색함으로서 매칭 결과의 전역적 일관성을 검증한다. 추가적인 검증을 위해 질의 영상과 원형 영상의 대응점들의 색상을 비교한다. 그리고, 투영 변화에 의한 변이에도 강인한 인식을 하기 위해, 투영 변환의 인자들을 조정하여 원형 영상의 변환 모양을 생성하여 원형 영상을 확장하였다. 빠른 인식을 가능하게 하기 위해 지역적 특징의 색인화를 통한 두 단계 매칭을 사용하였다.
실험 결과에서, 제안된 방법은 좋은 화질의 영상에 대해서 최대 95\%의 인식률을 나타내었다.
