Video fingerprints are short feature vectors that uniquely characterize one video clip from another. The goal of video fingerprinting is to identify a given video query in a database by measuring the distance between the query fingerprint and the fingerprints in the database. The video fingerprinting systems generally consist of three parts: fingerprint extraction, database search, and fingerprint matching. In this dissertation, various issues of fingerprint extraction and matching are addressed. First, a video fingerprinting method based on a novel fingerprint called the centroid of gradient orientations is proposed. The proposed fingerprint is not only pairwisely independent but also robust against common video processing steps including lossy compression, resizing, frame rate change, etc. A threshold used to reliably determine a fingerprint match is theoretically derived by modelling the proposed fingerprint as a stationary ergodic process, and the validity of the model is experimentally verified. Second, a video fingerprinting method based on a novel machine learning algorithm called the symmetric pairwise boosting is proposed. Given a set of training data, the symmetric pairwise boosting learns a binarization method which can convert a real-valued fingerprint into a robust and pairwisely independent binary fingerprint. Third, a video fingerprinting method based on the discriminant analysis of affine covariant regions is proposed. To achieve robustness against geometric transformations such as cropping and rotation, fingerprints are extracted from local regions covariant with affine transformations. Robust local fingerprints are extracted using a novel discriminant analysis algorithm called the 2-dimensional oriented principal component analysis. For reliable matching of local fingerprints, only spatio-temporally consistent matches are taken into account. The performance of all the proposed methods is experimentally evaluated using a database of video clips from various genres, and the results show that the proposed methods outperform other state-of-the-art video fingerprinting methods.
비디오 핑거프린트(fingerprint)는 한 비디오를 다른 비디오로부터 고유하게 구분지을 수 있는 일종의 특징 벡터이다. 비디오 핑거프린팅(fingerprinting)은 입력 비디오로부터 추출한 핑거프린트를 이미 구축되어 있는 핑거프린트 데이터베이스에서 검색하여 입력 비디오를 인식하는 데에 그 목적이 있다. 비디오 핑거프린팅 시스템은 일반적으로 핑거프린트 추출, 데이터베이스 검색, 그리고 핑거프린트 매칭(matching)의 3 부분으로 구성된다. 본 학위 논문은 그 중 핑거프린트 추출 및 매칭과 관련된 다양한 문제들을 푸는 데 초점을 맞추었다. 첫 번째로 본 논문에서는 비디오 영상의 그래디언트(gradient) 방향의 중심점에 기반한 새로운 비디오 핑거프린팅 방법을 제안하였다. 제안된 핑거프린트는 구분 가능성(pairwise independence)이 뛰어날 뿐 아니라 크기 변환, 프레임율 변환, 손실 압축 등 비디오에 통상적으로 가해질 수 있는 다양한 왜곡에 강인한 성능을 나타내었다. 핑거프린트 매칭을 위한 문턱값은 핑거프린트를 정상 에르고딕(stationary ergodic) 과정으로 모델링하여 이론적으로 도출하였으며 그 적합성을 실험적으로 검증하였다. 두 번째로 본 논문에서는 새로운 기계 학습 기법인 대칭적 짝 부스팅(symmetric pairwise boosting)에 기반한 비디오 핑거프린팅 방법을 제안하였다. 제안된 부스팅 기법을 사용하면 학습 데이터가 주어졌을 때, 임의의 핑거프린트를 이진 핑거프린트로 변환할 수 있는 최적의 이진화 방법을 얻을 수 있다. 마지막으로 본 논문에서는 기하학적 변환에 공변하는 영역(affine covariant region)의 판별 분석(discriminant anslysis)에 기반한 비디오 핑거프린팅 방법을 제안하였다. 제안된 방법은 절삭(cropping), 회전 등 기하학적인 변환에 대한 강인성을 얻기 위해 지역적 핑거프린트(local fingerprint)를 기하학적 변환에 공변하는 영역으로 부터 추출한다. 강인한 지역적 핑거프린트는 새로운 판별 분석 방법인 2차원 지향성 주성분 분석(2-Dimensional Oriented Principal Component Anslysis, 2D-OPCA)을 이용하여 추출하였다. 지역적 핑거프린트의 매칭의 신뢰도를 향상시키기 위하여 시공간적으로 일관성있는 매칭 결과만을 이용하였다. 본 논문에서 제안된 방법들의 성능은 다양한 특성을 지니는 비디오들로 구성된 데이터베이스를 이용하여 실험적으로 평가 및 검증하였으며, 실험 결과에 따르면 제안된 방법들이 비디오 핑거프린팅의 관점에서 기존의 방법들보다 우수한 성능을 나타냄을 확인할 수 있었다.
