In this dissertation, a novel descriptor is proposed to classify rotated or flipped images/videos. The proposed descriptor is defined as a rotation-and-flipping-robust region binary pattern (RFR). In order to extract RFRs, an input image is converted into a feature map such as luminance or gradient magnitudes. Then, the feature map divided into several rings, and each ring is divided into several sub-regions. Next, mean feature values are computed from each sub-region. From these mean feature values, two types of region binary patterns (RBP) are extracted: intra-RBP and inter-RBP. These RBPs represent horizontal information and vertical information in rings, respectively. Finally, all extracted RBPs are converted into RFR. The proposed RFR has high discrimination since it was based on spatial structure which considers the locations of features in images. In addition, it has the fast feature extraction time and the compact descriptor size.
RFR was assessed from two applications which are required to classify rotated or flipped image/videos such as video copy detection and image-based coin recognition. For each application, MUSCLE video copy detection dataset and MUSCLE coin images Seibersdorf dataset were used to compare the-state-of-the-arts, respectively. In the experimental results, RFR showed outperformed results for each application. Especially, RFR could have high recognition and detection rates with smaller descriptor size and shorter feature extraction time. Therefore, the proposed descriptor RFR is very suitable to classify rotated or flipped images/videos.
본 학위 논문에서는 회전과 반전으로부터 변형된 이미지/비디오를 식별하기 위한 새로운 서술자를 제안한다. 제안된 서술자는 rotation-and-flipping-robust region binary pattern (RFR)로 정의 된다. RFR을 추출하기 위하여 입력된 이미지는 밝기나 기울기와 같은 특징 맵으로 변환한다. 그리고 특징 맵은 여러 개의 원(ring)으로 나눠지고 각 원은 다시 하위영역(sub-region)으로 나눠진다. 다음, 각 하위영역으로부터 평균 특징 값들이 계산되고, 이들을 이용하여 두 종류의 영역 이진 패턴을 추출하게 된다. 각 영역 이진 패턴들은 내부(intra) 영역 이진 패턴과 외부(inter) 영역 이진 패턴으로 정의 되는데, 각각 수평과 수직 방향으로의 공간적 구조를 나타낸다. 최종적으로 추출된 영역 이진 패턴들은 RFR로 변환하게 된다. 제안된 RFR은 영상에서 특징들의 위치를 고려하는 공간적 구조 기법에 기반하였기 때문에 높은 분별력을 가지게 된다. 게다가 RFR은 빠른 특징 추출 속도와 소형의 서술자 크기를 가진다.
제안된 RFR은 회전되었거나 반전된 영상의 식별이 필요한 복제 비디오 검출과 영상 기반의 동전 인식을 통하여 성능 평가를 진행하였다. 복제 비디오 검출을 성능을 측정하기 위하여 MUSCLE 복제 비디오 검출 데이터 셋을 사용하였고, 영상 기반의 동전 인식을 위하여 MUSCLE CIS-Benchmark Preview 데이터 셋을 사용하였다. 또한 각 응용영역에 최신 방법들과 비교를 하여 성능을 측정하였다. 그 결과 제안된 RFR은 기존 방법들을 뛰어넘는 높은 성능을 보여주었다. 특히, 높은 인식률 및 검출률을 지니면서도 서술자의 크기도 작으며 추출 속도로 빠르다. 그러므로 제안된 RFR은 회전 및 반전으로 변형된 영상을 식별하기 위한 최적의 서술자이다.
