Intelligent transportation systems (ITSs) aim at improving transportation safety and productivity. To that end, these systems make use of advanced technologies such as automatic license plate recognition (LPR), which has recently attracted considerable amount of research attention. Although significant progress has been made during the last few decades, it is still difficult to achieve effective LPR for real-world imagery, mainly due to the challenging nature of the capturing conditions of vehicle images. Indeed, it is typical for vehicle images to have low spatial resolution and to contain a substantial amount of (motion) blur and noise, due to the frequent use of closed circuit television (CCTV) camera in long distance. In order to handle the aforementioned problems, we pay attention to the following observations in developing a practical LPR system than can be applied to real-world environment. Firstly, we have prior knowledge about target license plates such as color configurations of license plates and location of characters. Secondly, recent CCTV captures color image, which can provide rich information for object recognition. Thirdly, since content of CCTV is not a still image, we can make use of more than one frame of same vehicle for LPR. In light of these observations, we propose an improved LPR system for recognizing degraded vehicle images in real-world applications. Our contributions in this thesis are threefold. First, we propose an improved character segmentation method using ROI calibration. Even if not all the characters are found at once in initial character detection due to the severe degradation, we calibrate ROI based on prior knowledge and find the missing characters in estimated region. Second, we propose an enhanced character feature which exploits Gabor wavelet with color information, which is proven to be robust to low-resolution object recognition. Third, we incorporate image sequence of same vehicle to find vehicle identification number. To achieve this, probabilistic voting is adopted for multiple frames, providing reliable LPR result. Extensive experiments have been conducted on two datasets composed of Korean vehicle images captured by CCTV camera. Experimental results show that the proposed LPR can be effectively applied to CCTV surveillance systems for identifying severely degraded vehicle images.
지능형 교통 시스템이 안전과 생산성 증대를 위해 발전함에 따라 차량 번호판 인식 기술의 수요와 연구적 관심도 날로 증가하고 있다. 차량 번호판 인식에 대해서 그 동안 많은 연구들이 이루어져 왔지만, 실제 환경에서는 여러 가지 성능 저해 요인을 포함하는 차량 영상의 획득 환경으로 인해 효과적인 번호판 인식 알고리즘의 적용이 어렵다. 특히 CCTV로 촬영된 영상은 긴 촬영거리로 인해 차량 영상이 저해상도를 가지며, 차량의 움직임으로 인한 블러나 잡음을 많이 포함하는 경우가 일반적이다. 이러한 문제점들에 직면하여, 우리는 실제 환경에 적용 가능한 실용적인 차량 번호판 인식 시스템을 개발하기 위해서 다음과 같은 사실에 주목한다. 첫 째, 우리는 인식 대상인 차량 번호판들의 색상 조합과 글자 배열 등의 사전 정보를 이용할 수 있다. 둘 째, 최근에 사용되는 CCTV는 컬러 영상을 촬영하기 때문에 객체 인식에 있어서 풍부한 정보를 제공하는 컬러 정보를 활용할 수 있다. 셋 째, CCTV는 스틸 영상이 아닌 동영상을 제공하기 때문에 동일 차량이 등장하는 다중 프레임의 정보를 차량 번호판 인식에 이용할 수 있다. 이와 같은 사실에 기반하여, 우리는 실제 환경에서 촬영되어 열화된 차량 영상을 효과적으로 인식할 수 있는 개선된 차량 번호판 인식 시스템을 제안한다. 본 논문에서는 크게 세 가지 방법을 제안하여 번호판 인식 성능을 개선한다. 첫 째, 본 논문에서는 관심영역 조정 방법을 제안한다. 제안하는 방법을 통하여 번호판의 글자 영역이 한 번에 검출되지 않는 경우에도 글자 위치에 대한 사전 정보를 활용하여 글자 추출 성능을 개선한다. 둘 째, 본 논문에서는 기존의 가보 웨이블릿 방법에 기반하여 컬러 정보를 활용한 개선된 글자 특징정보 추출 방법을 제안한다. 셋 째, 본 논문에서는 동일 차량에 대한 영상 시퀀스를 확률적 투표 방법을 통하여 하나의 인식 과정에 포함시켜 차량 번호판 인식 성능을 개선시킨다. 제안하는 방법의 성능을 검증하기 위해서, 실제 CCTV로 촬영된 한국 차량 번호판 영상들을 두 개의 데이터 셋으로 나누어 실험에 이용하였다. 폭넓은 실험에 대한 결과를 통해서, 제안하는 차량 번호판 인식 시스템이 CCTV 감시 시스템의 열화된 차량 영상들에 대해서 효과적으로 적용될 수 있음을 입증하였다.
